부록 부록
A.5 (부록) 참고 자료·논문·출처
이 부록은 본문에서 "자세한 건 원논문을 보라"고 미뤄 둔 대목들의 목적지를 한곳에 모은 것이다. 각 기법을 처음 제안한 논문, 실제로 실행해 볼 수 있는 표준 구현, 스펙을 확정적으로 확인할 공식 문서 — 이 세 종류의 1차 출처로 가는 이정표다. 원리는 본문 각 장에서 이미 풀어 놓았으니 여기서는 "그걸 어디서 직접 확인하나"만 가리킨다. 그래서 이 장은 산문이 짧고 표가 길다.
A.5.1 이 목록을 읽는 법 — 그리고 믿지 말아야 할 부분
먼저 이 목록의 한계부터 정직하게 밝힌다. 이 목록은 완전하지 않고, 앞으로도 계속 갱신된다. 이 분야는 논문이 arXiv 프리프린트로 먼저 나온 뒤 학회 버전으로 개정되면서 제목·저자 순서·연도가 판본마다 달라지고, 표준 구현은 릴리스마다 API가 바뀐다. 그래서 아래 표의 제목·주저자·연도는 정확한 서지사항이 아니라 개략적인 이정표다 — 널리 알려진 논문을 "제목·제1저자·핵심 개념" 수준으로만 확인해 찾아갈 실마리를 준다. 정확한 인용(전체 저자 목록·정식 제목·게재 연도·DOI·URL)은 반드시 원출처로 가서 확인하라. 표에 적힌 값을 그대로 인용문에 복사하지 말 것. 이 목록의 값어치는 "정확한 인용 형식"이 아니라 "무엇을 어디서 찾을지"에 있다. 이 장에 URL과 DOI를 일부러 싣지 않은 것도 같은 이유다 — 정확한 링크는 arXiv·학회·프로젝트 공식 페이지에서 제목으로 검색해 얻는 편이 안전하고, 어설프게 적어 둔 링크는 며칠이면 노후화되거나 틀린다.
읽는 방식은 이렇다. 아래 표는 모두 주제 → 대표 자료 → 무엇을 보러 가나 → 관련 장 네 칸으로 되어 있다. 본문에서 어떤 기법을 만났다면 그 장 번호로 이 표에서 해당 줄을 찾아 원출처로 건너뛰면 되고, 반대로 이 표에서 흥미로운 자료를 골랐다면 관련 장으로 가 원리를 먼저 이해한 뒤 논문으로 들어가는 편이 대개 빠르다. 연도에 붙인 "경"은 대략의 발표 시점(주로 arXiv 최초 공개)을 뜻하며 학회 게재 연도와 다를 수 있으니, 인용할 때는 어느 판본을 봤는지 함께 적어야 한다.
한 가지 더. 모델 이름·크기·가격·컨텍스트 길이·벤치마크 순위처럼 자주 바뀌는 값은 이 장에 싣지 않는다. 그런 변동 정보는 각 벤더의 공식 문서에서 그 시점 기준으로 확인해야 하며, 특히 Anthropic·Claude 관련 스펙은 기억이나 이 책이 아니라 공식 문서와 이 저장소의 claude-api 스킬을 단일 출처로 삼는다(A.5.13).
A.5.2 표를 인용하기 전에 — 판본·재현성
논문의 주장과 검증된 공학은 다른 층위다. "이 기법이 항상 낫다"는 문장은 대개 그 논문의 특정 실험 조건에서의 주장이고, 벤치마크 점수는 데이터 누출·평가셋 오염·하이퍼파라미터 튜닝에 민감하다(4.1). 표의 자료를 인용할 때 "그 논문이 무엇을 보여줬는가"와 "무엇이 일반적으로 성립하는가"는 다른 질문임을 잊지 마라.
재현이 목적이라면 두 가지를 함께 고정한다. 하나는 프리프린트의 버전 번호 — arXiv v1과 v3은 결론·수식·저자 목록까지 다를 수 있다. 다른 하나는 구현 프레임워크의 릴리스 버전이다. vLLM·Hugging Face 같은 리포지토리는 마이너 버전 사이에도 인터페이스가 바뀌므로, 코드 예제는 버전을 핀(pin)해야 몇 달 뒤에도 동작한다(8.3, A.2).
끝으로, "원논문"이 늘 최선의 입문 자료는 아니다. 낯선 주제일수록 최근 서베이나 잘 쓰인 공식 문서가 원논문보다 빠른 길일 때가 많다. 이 표는 1차 출처로 가는 문이지, 그것만 읽으라는 뜻이 아니다.
A.5.3 제1부 — 기반: 언어모델·트랜스포머·아키텍처 (1.1~1.7)
제목 표기는 널리 통용되는 형태를 따랐으나 대소문자·부제는 원출처에서 확인하라. 아키텍처 변형은 발전이 빨라, 같은 이름이 판본마다 다른 알고리즘을 가리키기도 한다.
A.5.3.1 트랜스포머·어텐션의 근원
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 트랜스포머 아키텍처 | "Attention Is All You Need" — Vaswani 외, 2017경 | 셀프어텐션·멀티헤드·스케일드 닷프로덕트의 원 정의와 $\sqrt{d_k}$ 스케일 논거 | 1.4, 1.5 |
| 어텐션의 기원(seq2seq) | "Neural Machine Translation by Jointly Learning to Align and Translate" — Bahdanau 외, 2014경 | 트랜스포머 이전, RNN 위에 어텐션을 처음 추가한 정렬 개념 | 1.4 |
| 어텐션 변형(초기) | "Effective Approaches to Attention-based NMT" — Luong 외, 2015경 | dot/general/concat 스코어 함수의 초기 비교 | 1.4 |
| 잔차 연결 | "Deep Residual Learning for Image Recognition"(ResNet) — He 외, 2015경 | 잔차 스트림·기울기 고속도로의 원류(비전이지만 개념 원천) | 1.4, 1.3 |
A.5.3.2 토큰화·임베딩
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| BPE 서브워드 | "Neural Machine Translation of Rare Words with Subword Units"(BPE) — Sennrich 외, 2015경 | 언어모델 토큰화의 사실상 표준이 된 병합 알고리즘 | 1.2 |
| Unigram·SentencePiece | Kudo(Unigram LM) / Kudo & Richardson(SentencePiece), 2018경 | 확률적 서브워드·언어중립 토크나이저(공백 처리 포함) | 1.2 |
| 분산 표현(word2vec) | "Efficient Estimation of Word Representations…"(word2vec) — Mikolov 외, 2013경 | 임베딩 공간·유추 벡터 산술의 고전적 근거 | 1.2 |
| GloVe | "GloVe: Global Vectors for Word Representation" — Pennington 외, 2014경 | 공기행렬 기반 임베딩(대안 관점) | 1.2, 6.2 |
A.5.3.3 사전학습 목표를 정의한 대표 모델 계열
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 디코더-온리·자기회귀 LM | GPT-1/2/3 계열 — Radford 외(2018·2019), Brown 외(GPT-3, 2020경) | 다음 토큰 예측·in-context 학습·스케일의 효과 | 1.1, 6.1 |
| 인코더-온리(양방향) | "BERT: Pre-training of Deep Bidirectional Transformers…" — Devlin 외, 2018경 | 마스크드 LM·양방향 이해·문장 임베딩 | 1.4, 6.2 |
| 인코더-디코더(text-to-text) | "Exploring the Limits of Transfer Learning…"(T5) — Raffel 외, 2019경 | 모든 과제를 텍스트→텍스트로 통일한 seq2seq | 1.4 |
A.5.3.4 위치·정규화·활성함수·현대 변형
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| RoPE(회전 위치) | "RoFormer: Enhanced Transformer with Rotary Position Embedding" — Su 외, 2021경 | 상대 위치를 회전으로 인코딩, 롱컨텍스트 외삽의 기초 | 1.5, 1.6 |
| ALiBi | "Train Short, Test Long"(ALiBi) — Press 외, 2021경 | 위치 임베딩 없이 거리 페널티로 외삽 | 1.5 |
| 위치 보간(롱컨텍스트) | "Extending Context Window…"(Position Interpolation) — Chen 외, 2023경 | RoPE 스케일링으로 컨텍스트 창 확장 | 1.6, 5.6 |
| RMSNorm | "Root Mean Square Layer Normalization" — Zhang & Sennrich, 2019경 | LayerNorm 간소화, 현대 대형모델 다수의 정규화 | 1.5 |
| Pre-LN 안정성 | "On Layer Normalization in the Transformer Architecture" — Xiong 외, 2020경 | Pre-LN이 깊은 스택에서 안정적인 이유 | 1.4, 1.5 |
| GELU | "Gaussian Error Linear Units (GELUs)" — Hendrycks & Gimpel, 2016경 | ReLU 대체 활성함수 | 1.5 |
| SwiGLU·GLU 변형 | "GLU Variants Improve Transformer" — Shazeer, 2020경 | FFN 게이팅 활성(SwiGLU 등)의 근거 | 1.5 |
| 전문가 혼합(MoE) | "Outrageously Large Neural Networks: Sparsely-Gated MoE" — Shazeer 외, 2017경 | 조건부 연산으로 파라미터는 키우되 토큰당 연산은 유지 | 1.6 |
| Switch Transformer·GShard | Fedus 외 / Lepikhin 외, 2020경 | MoE 라우팅·부하 균형·대규모 확장 | 1.6 |
| MQA·GQA | Shazeer(MQA, 2019경) / Ainslie 외(GQA, 2023경) | 여러 질의헤드가 K·V 공유 → KV 캐시 절감 | 1.6, 5.1 |
| MLA(잠재 어텐션) | DeepSeek-V2 기술보고서 계열 — 2024경 | KV를 잠재공간으로 압축하는 변형 | 1.6 |
| SSM·Mamba | "Mamba: Linear-Time Sequence Modeling…" — Gu & Dao, 2023경; S4 — Gu 외 | 어텐션 대안(선형 시간) 상태공간 모델 | 1.6 |
| 샘플링·디코딩 | "The Curious Case of Neural Text Degeneration"(nucleus/top-p) — Holtzman 외, 2019경 | top-p 샘플링·반복 붕괴 완화 | 1.7 |
A.5.4 제2부 — 사전학습: 데이터·스케일링·분산학습 (2.1~2.6)
데이터셋과 기술보고서는 판본·라이선스가 자주 바뀐다. 실제 사용 전 구성·라이선스는 각 프로젝트 공식 페이지에서 그 시점 기준으로 확인하라.
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 대규모 코퍼스(공개) | The Pile — Gao 외, 2020경; C4(T5 논문 부산물) | 공개 사전학습 코퍼스의 구성·혼합 사례 | 2.1 |
| 웹 데이터 정제 | "The RefinedWeb Dataset…" — Penedo 외, 2023경; Dolma(AllenAI) 계열 | 필터링·품질·중복제거가 성능에 미치는 영향 | 2.1 |
| 중복 제거 | "Deduplicating Training Data Makes Language Models Better" — Lee 외, 2021경 | 학습 데이터 중복이 왜 해로운가 | 2.1 |
| 스케일링 법칙(초기) | "Scaling Laws for Neural Language Models" — Kaplan 외, 2020경 | 파라미터·데이터·컴퓨트와 손실의 멱법칙 | 2.2 |
| 컴퓨트 최적(Chinchilla) | "Training Compute-Optimal Large Language Models" — Hoffmann 외, 2022경 | 데이터·파라미터의 균형(토큰 수 재검토) | 2.2 |
| 옵티마이저(Adam) | "Adam: A Method for Stochastic Optimization" — Kingma & Ba, 2014경 | 적응적 모멘트 옵티마이저 | 2.3 |
| AdamW(가중치 감쇠) | "Decoupled Weight Decay Regularization" — Loshchilov & Hutter, 2017경 | LLM 표준 옵티마이저·정칙화 분리 | 2.3 |
| LR 스케줄(코사인) | "SGDR: Warm Restarts" — Loshchilov & Hutter, 2016경 | 코사인 감쇠·웜업 스케줄의 근거 | 2.3 |
| 텐서 병렬 | "Megatron-LM…" — Shoeybi 외, 2019경 | 층 내부를 분할하는 텐서 병렬화 | 2.4 |
| ZeRO/FSDP | "ZeRO: Memory Optimizations Toward Training Trillion Parameter Models" — Rajbhandari 외, 2019경 | 옵티마이저 상태·기울기·파라미터 분할 | 2.4 |
| 파이프라인 병렬 | "GPipe…" — Huang 외, 2018경 | 층을 스테이지로 나누는 파이프라인 병렬 | 2.4 |
| 활성 재계산·3D 병렬 | "Reducing Activation Recomputation in Large Transformer Models" — Korthikanti 외, 2022경 | 메모리↔연산 트레이드오프, 3D 병렬 실무 | 2.4, 2.5 |
| 통신 라이브러리 | NCCL 공식 문서(NVIDIA) | 집합통신(all-reduce 등) 개념·튜닝 | 2.5 |
| 혼합정밀도 | "Mixed Precision Training" — Micikevicius 외, 2017경 | FP16·손실 스케일링의 원리 | 2.6 |
| FP8 학습 | "FP8 Formats for Deep Learning" — Micikevicius 외, 2022경 | 저정밀 학습 포맷(E4M3/E5M2) | 2.6, 5.2 |
| 대표 기술보고서 | PaLM(Chowdhery 외), LLaMA(Touvron 외, "Open and Efficient…") 계열 | 대규모 학습의 데이터·인프라·안정화 사례 | 2.1~2.6, 9.2 |
A.5.5 제3부 — 사후학습·정렬: SFT·RLHF·DPO·추론모델·PEFT (3.1~3.9)
정렬 기법은 "우리 방법이 더 낫다"는 강한 주장이 유난히 많은 영역이다. 아래 자료의 결론은 각 논문의 실험 조건에서의 주장으로 읽고, 일반화 가능성은 별도로 따져야 한다(3.5, 4.1).
A.5.5.1 SFT·RLHF 계보
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 인간 선호 RL(초기) | "Deep Reinforcement Learning from Human Preferences" — Christiano 외, 2017경 | 보상을 인간 선호로 학습하는 발상의 원류 | 3.3 |
| 요약 RLHF | "Learning to Summarize from Human Feedback" — Stiennon 외, 2020경 | 보상모델+RL로 생성 품질 개선한 초기 대표 사례 | 3.3 |
| InstructGPT·RLHF 파이프라인 | "Training language models to follow instructions with human feedback"(InstructGPT) — Ouyang 외, 2022경 | SFT→보상모델→PPO의 표준 3단계 정렬 | 3.1, 3.2, 3.3, 3.4 |
| PPO | "Proximal Policy Optimization Algorithms" — Schulman 외, 2017경 | RLHF의 RL 부분(클리핑·KL 페널티) | 3.4 |
A.5.5.2 보상모델 없는·AI 피드백 정렬
Anthropic 계열 자료(헌법적 AI 등)의 개념·방법론은 각 공식 발표 원문을 1차 출처로 삼는다(A.5.13 경유).
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| DPO | "Direct Preference Optimization: Your Language Model is Secretly a Reward Model" — Rafailov 외, 2023경 | 보상모델 없이 선호쌍으로 직접 최적화 | 3.5 |
| IPO | "A General Theoretical Paradigm to Understand Learning from Human Preferences" — Azar 외, 2023경 | DPO 과적합 분석·정칙화 변형 | 3.5 |
| KTO | "KTO: Model Alignment as Prospect Theoretic Optimization" — Ethayarajh 외, 2024경 | 쌍이 아닌 이진 신호로 정렬 | 3.5 |
| ORPO | "ORPO: Monolithic Preference Optimization without Reference Model" — Hong 외, 2024경 | SFT와 선호 정렬을 한 손실로 결합 | 3.5 |
| GRPO | DeepSeekMath / DeepSeek-R1 기술보고서 계열 — 2024~2025경 | 그룹 상대 정책 최적화(추론 RL에 활용) | 3.5, 3.7 |
| 헌법적 AI·RLAIF | "Constitutional AI: Harmlessness from AI Feedback" — Bai 외(Anthropic), 2022경; RLAIF — Lee 외 | 원칙 기반·AI 피드백으로 스케일 가능한 감독 | 3.6 |
A.5.5.3 추론 모델·test-time compute
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 사고사슬(CoT) | "Chain-of-Thought Prompting Elicits Reasoning…" — Wei 외, 2022경 | 중간 추론 단계를 유도하는 프롬프트 | 3.7, 6.1 |
| 제로샷 CoT | "Large Language Models are Zero-Shot Reasoners" — Kojima 외, 2022경 | "차근차근 생각해보자" 트리거 | 6.1 |
| 자기일관성 | "Self-Consistency Improves Chain of Thought…" — Wang 외, 2022경 | 여러 추론 경로 표결로 성능 향상 | 3.7 |
| 자기학습 추론 | "STaR: Self-Taught Reasoner" — Zelikman 외, 2022경 | 스스로 생성한 근거로 추론 능력 부트스트랩 | 3.7, 3.9 |
| 과정 보상(PRM) | "Let's Verify Step by Step" — Lightman 외, 2023경 | 결과가 아닌 과정 단계별 보상 | 3.7 |
| 사고 트리 | "Tree of Thoughts…" — Yao 외, 2023경 | 탐색으로 추론 경로를 넓히는 프레임 | 3.7 |
| RL로 추론 유도(공개) | "DeepSeek-R1: Incentivizing Reasoning…" — DeepSeek, 2025경 | RL만으로 추론을 높인 공개 사례(재현성 유의) | 3.7 |
| 추론 모델(상용) | OpenAI o1 등의 시스템 카드·공식 발표 자료 | 상용 추론 모델의 개념 안내(논문 아님, 공식 문서 확인) | 3.7 |
A.5.5.4 PEFT·증류·합성데이터
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| LoRA | "LoRA: Low-Rank Adaptation of Large Language Models" — Hu 외, 2021경 | 저랭크 어댑터로 적은 자원 미세조정 | 3.8 |
| QLoRA | "QLoRA: Efficient Finetuning of Quantized LLMs" — Dettmers 외, 2023경 | 4비트 양자화+LoRA 결합 | 3.8, 5.2 |
| 어댑터 | "Parameter-Efficient Transfer Learning for NLP" — Houlsby 외, 2019경 | PEFT의 원류(어댑터 층 삽입) | 3.8 |
| 프리픽스/프롬프트 튜닝 | Li & Liang(Prefix, 2021경) / Lester 외(Prompt, 2021경) | 소프트 프롬프트 계열 PEFT | 3.8 |
| 지식 증류 | "Distilling the Knowledge in a Neural Network" — Hinton 외, 2015경 | 큰 모델로 작은 모델 가르치기의 고전 | 3.9 |
| 합성/자기지시 데이터 | "Self-Instruct…" — Wang 외, 2022경; Alpaca 계열 | 모델로 지시 데이터 생성 | 3.9 |
| 모델 붕괴 | "The Curse of Recursion / model collapse" — Shumailov 외, 2023경 | 합성데이터 재귀 학습의 위험 | 3.9 |
A.5.6 제4부 — 평가 (4.1~4.3)
벤치마크 점수는 데이터 누출·오염·오버핏에 특히 취약하다(4.1). 아래 자료를 인용할 때는 "어떤 조건에서 나온 점수인가"를 반드시 함께 확인하라 — 같은 벤치마크라도 프롬프트·few-shot 수·채점 방식이 다르면 숫자가 달라진다.
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 지식 벤치마크 | "Measuring Massive Multitask Language Understanding"(MMLU) — Hendrycks 외, 2020경 | 다분야 객관식 평가·그 한계 | 4.1 |
| 종합 평가 프레임 | "Holistic Evaluation of Language Models"(HELM) — Liang 외, 2022경 | 다차원(정확·견고·공정) 평가 관점 | 4.1 |
| 수학·추론 | "Training Verifiers to Solve Math Word Problems"(GSM8K) — Cobbe 외, 2021경 | 초등 수학 추론 벤치마크 | 4.1, 3.7 |
| 코드 생성 | "Evaluating Large Language Models Trained on Code"(HumanEval) — Chen 외, 2021경 | pass@k·코드 실행 기반 평가 | 4.1 |
| 오염·재현성 | 벤치마크 오염(contamination) 관련 서베이·분석 다수 | 점수를 의심하는 법(누출·중복) | 4.1 |
| LLM-as-judge | "Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena" — Zheng 외, 2023경 | 모델로 모델 채점·위치 편향·보정 | 4.2 |
| 페어와이즈·Elo 아레나 | Chatbot Arena / LMSYS 계열 자료 | 인간 선호 페어와이즈·Elo 랭킹 방법 | 4.2 |
| 자동 평가(G-Eval) | "G-Eval…" — Liu 외, 2023경 | 기준 기반 LLM 채점 설계 | 4.2 |
| 진실성 | "TruthfulQA…" — Lin 외, 2021경 | 통념·오정보에 낚이는지 측정 | 4.2, 4.3 |
| 레드팀(자동) | "Red Teaming Language Models with Language Models" — Perez 외, 2022경 | 모델로 취약 프롬프트 자동 생성 | 4.3 |
| 레드팀(방법론) | Anthropic·기타 기관의 레드팀 방법론 자료 | 유해성·탈옥 측정 절차(공식 문서 확인) | 4.3 |
A.5.7 제5부 — 추론·서빙: 양자화·FlashAttention·PagedAttention·speculative (5.1~5.6)
서빙 기법은 정확(exact) 최적화와 근사(approximate) 최적화를 구분해서 봐야 한다. FlashAttention은 출력이 수학적으로 동일한 정확 최적화이고, 희소 어텐션이나 저정밀 양자화는 결과가 달라질 수 있는 근사다 — 인용할 때 이 구분을 흐리지 마라.
A.5.7.1 어텐션 커널·메모리
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| FlashAttention | "FlashAttention: Fast and Memory-Efficient Exact Attention with IO-Awareness" — Dao 외, 2022경 | IO 인식으로 어텐션을 정확·저메모리 계산 | 5.1, 5.3 |
| FlashAttention-2/3 | Dao 외 후속(2023~2024경) | 병렬화·워프 스케줄 개선 후속 | 5.1, 5.3 |
| PagedAttention·vLLM | "Efficient Memory Management for LLM Serving with PagedAttention" — Kwon 외, 2023경 | KV 캐시를 페이지로 관리(단편화 제거) | 5.3, 5.4 |
A.5.7.2 배칭·투기적 디코딩
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| Continuous batching | "Orca: A Distributed Serving System…" — Yu 외, 2022경 | 반복 수준 스케줄링(연속 배칭)의 근거 | 5.3 |
| 투기적 디코딩 | "Fast Inference from Transformers via Speculative Decoding" — Leviathan 외, 2022경; DeepMind 병행 연구(Chen 외) | 초안 모델로 다중 토큰 검증·가속 | 5.3 |
| Medusa 등 변형 | "Medusa…" — Cai 외, 2024경 | 다중 헤드로 초안을 내는 변형 | 5.3 |
A.5.7.3 양자화
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| GPTQ | "GPTQ: Accurate Post-Training Quantization for Generative Pre-trained Transformers" — Frantar 외, 2022경 | 2차 정보 기반 사후학습 가중치 양자화 | 5.2 |
| AWQ | "AWQ: Activation-aware Weight Quantization…" — Lin 외, 2023경 | 활성 인지 가중치 양자화 | 5.2 |
| LLM.int8() | "LLM.int8()…" — Dettmers 외, 2022경 | 이상치 보존 8비트 행렬곱 | 5.2 |
| SmoothQuant | "SmoothQuant…" — Xiao 외, 2022경 | 활성 이상치를 가중치로 이전해 양자화 | 5.2 |
A.5.7.4 서빙 프레임워크·롱컨텍스트
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| vLLM | vLLM 공식 문서·리포지토리 | PagedAttention 기반 처리량 최적 서빙 | 5.4 |
| TGI | Text Generation Inference(Hugging Face) 공식 문서 | 프로덕션 추론 서버 | 5.4 |
| TensorRT-LLM | NVIDIA 공식 문서 | GPU 특화 컴파일·최적 커널 | 5.4 |
| SGLang·RadixAttention | "SGLang: Efficient Execution of Structured LM Programs" — Zheng 외, 2023경 | 구조적 프로그램·프리픽스(래딕스) 캐시 | 5.4, 5.6 |
| GPU 아키텍처·운영 | NVIDIA CUDA·GPU 아키텍처 공식 문서 | 커널·메모리 계층·점유율 기초(자매서 nvidia 참고) | 5.5 |
A.5.8 제6부 — 응용: 프롬프트·임베딩·RAG·에이전트·도구·MCP·멀티모달 (6.1~6.9)
여기의 자료는 각 기법이 무엇을 개선했는지를 가리키는 포인터이지 완전한 보장이 아니다. 이를테면 "RAG가 환각을 없앤다"는 자주 듣는 과장으로, 원논문이 실제로 보인 것은 특정 지식집약 과제에서의 개선이다(6.3, 6.4).
A.5.8.1 프롬프트·임베딩·검색
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 추론+행동 프롬프트(ReAct) | "ReAct: Synergizing Reasoning and Acting in Language Models" — Yao 외, 2022경 | 추론과 행동을 번갈아 결합하는 프롬프트(CoT·자기일관성은 A.5.5.3) | 6.1, 6.6 |
| 문장 임베딩 | "Sentence-BERT…" — Reimers & Gurevych, 2019경 | 의미 검색용 문장 임베딩 | 6.2 |
| 밀집 검색(DPR) | "Dense Passage Retrieval for Open-Domain QA" — Karpukhin 외, 2020경 | 이중 인코더 밀집 검색 | 6.2, 6.3 |
| 대조학습 임베딩 | Contriever / E5 / BGE 계열 — 2021~2023경 | 비지도·대조학습 임베딩 모델 | 6.2 |
| 임베딩 벤치마크 | "MTEB: Massive Text Embedding Benchmark" — Muennighoff 외, 2022경 | 임베딩 모델 비교 기준 | 6.2 |
| ANN 인덱스(HNSW) | "Efficient and robust approximate nearest neighbor search using HNSW graphs" — Malkov & Yashunin, 2016경 | 근사 최근접 이웃 그래프 인덱스 | 6.2 |
| 벡터 검색 라이브러리 | FAISS — Johnson 외, 2017경 | 대규모 유사도 검색 구현 | 6.2 |
A.5.8.2 RAG·리랭크
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| RAG(원류) | "Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks" — Lewis 외, 2020경 | 검색+생성 결합의 원 정의 | 6.3 |
| REALM | "REALM: Retrieval-Augmented Language Model Pre-Training" — Guu 외, 2020경 | 검색을 사전학습에 통합 | 6.3 |
| FiD | "Leveraging Passage Retrieval…"(Fusion-in-Decoder) — Izacard & Grave, 2020경 | 여러 근거를 디코더에서 융합 | 6.3 |
| RETRO | "Improving language models by retrieving from trillions of tokens" — Borgeaud 외, 2021경 | 대규모 청크 검색 증강 | 6.3 |
| 후기 상호작용(ColBERT) | "ColBERT…" — Khattab & Zaharia, 2020경 | 토큰 수준 후기 상호작용 검색·리랭크 | 6.4 |
| HyDE | "Precise Zero-Shot Dense Retrieval without Relevance Labels"(HyDE) — Gao 외, 2022경 | 가설 문서 생성으로 질의 확장 | 6.4 |
| Self-RAG | "Self-RAG…" — Asai 외, 2023경 | 검색·비판 토큰으로 자기 조절 | 6.4 |
| Graph RAG | Microsoft GraphRAG 등 공식 자료 | 지식그래프 기반 RAG(공식 문서 확인) | 6.4 |
A.5.8.3 도구·에이전트·MCP
MCP 사양과 각 벤더의 function/tool calling 규약은 스펙이 자주 개정되므로 공식 문서를 단일 출처로 확인한다(Anthropic 자료는 A.5.13 경유).
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 도구 사용 학습 | "Toolformer: Language Models Can Teach Themselves to Use Tools" — Schick 외, 2023경 | 모델이 API 호출을 스스로 학습 | 6.5 |
| 함수 호출(구현) | 각 벤더의 function/tool calling 공식 문서 | 툴 스키마·호출 규약(공식 문서 확인) | 6.5 |
| 반성·자기수정 | "Reflexion…" — Shinn 외, 2023경 | 언어적 피드백으로 시행착오 개선 | 6.6 |
| 생성 에이전트 | "Generative Agents…" — Park 외, 2023경 | 메모리·계획을 가진 에이전트 시뮬레이션 | 6.6 |
| 도구 API 대량화 | "Gorilla…" — Patil 외, 2023경 | 대규모 API 호출 학습 | 6.5, 6.7 |
| MCP(도구 프로토콜) | Model Context Protocol — Anthropic 공식 사양·문서, claude-api 스킬 | 도구·컨텍스트 표준 프로토콜 | 6.7 |
| 멀티에이전트·오케스트레이션 | 관련 서베이·프레임워크 문서 다수 | 역할 분업·워크플로우 오케스트레이션 | 6.7 |
A.5.8.4 멀티모달·구조화 출력
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 이미지-텍스트 대조(CLIP) | "Learning Transferable Visual Models From Natural Language Supervision"(CLIP) — Radford 외, 2021경 | 이미지·텍스트 공동 임베딩 | 6.8 |
| 비전 트랜스포머(ViT) | "An Image is Worth 16x16 Words"(ViT) — Dosovitskiy 외, 2020경 | 이미지를 패치 토큰으로 처리 | 6.8 |
| 시각-언어 결합 | Flamingo(Alayrac 외) / BLIP-2(Li 외) / LLaVA(Liu 외) — 2022~2023경 | LLM에 시각 입력을 붙이는 대표 방식 | 6.8 |
| 음성 인식 | "Robust Speech Recognition via Large-Scale Weak Supervision"(Whisper) — Radford 외, 2022경 | 대규모 약지도 음성 인식 | 6.8 |
| 이미지 생성(확산) | "Denoising Diffusion Probabilistic Models"(DDPM) — Ho 외, 2020경; Latent Diffusion — Rombach 외 | 확산 기반 이미지 생성의 기초 | 6.8 |
| 제약 디코딩 | "Efficient Guided Generation for LLMs"(Outlines 계열) — Willard & Louf, 2023경 | 유한상태·문법 제약 디코딩 | 6.9 |
| 구조화 출력(구현) | JSON 모드·문법(GBNF 등) 프레임워크·공식 문서 | 스키마 강제 출력 구현(공식 문서 확인) | 6.9 |
A.5.9 제7부 — 제품·서비스: 안전·가드레일·보안·OWASP LLM (7.1~7.6)
제품·비용·관측성 영역은 논문보다 벤더 공식 문서나 오픈소스 프로젝트가 1차 출처인 경우가 많다. 스펙·가격은 이 장에 싣지 않으니 각 공식 문서에서 그 시점 기준으로 확인하라(A.5.13).
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 안전 분류(가드레일) | "Llama Guard…" — Inan 외, 2023경 | 입출력 안전 분류기 사례 | 7.3 |
| 가드레일 프레임워크 | NeMo Guardrails(NVIDIA) 등 공식 문서·리포지토리 | 정책·레일 기반 입출력 통제 | 7.3 |
| 모더레이션(구현) | 각 벤더 모더레이션 API·정책 공식 문서 | 콘텐츠 분류·정책 카테고리(공식 문서 확인) | 7.3 |
| OWASP LLM Top 10 | OWASP Top 10 for LLM Applications(OWASP 프로젝트) | LLM 특유 위험 10대 분류·완화(프로젝트 공식 문서) | 7.4 |
| 프롬프트 인젝션(직접) | "Ignore Previous Prompt…" — Perez & Ribeiro, 2022경 | 지시 무시형 프롬프트 공격 | 7.4 |
| 간접 인젝션 | "Not what you've signed up for…"(indirect prompt injection) — Greshake 외, 2023경 | 외부 콘텐츠 경유 인젝션 | 7.4 |
| 탈옥(원리·자동) | "Jailbroken: How Does LLM Safety Training Fail?" — Wei 외, 2023경; "Universal and Transferable Adversarial Attacks…"(GCG) — Zou 외, 2023경 | 안전학습 실패 양상·적대적 접미사 | 7.4, 4.3 |
| 비용·유닛 이코노믹스 | 각 벤더 가격·토큰 산정 공식 문서 | 토큰 경제학의 실제 수치(가격은 시점 의존, 공식 문서 확인) | 7.5 |
| 관측성 | OpenTelemetry 공식 문서 + LLM 트레이싱 도구 문서 | 트레이싱·로깅·품질 지표 표준 | 7.6 |
A.5.10 제8부 — 운영·LLMOps (8.1~8.4)
이 영역은 확립된 "원논문"보다 엔지니어링 실무 문헌과 프로젝트 문서가 주 출처다. 아래는 개념 포인터이며, 구체 절차는 각 도구·프레임워크의 공식 문서를 그 버전 기준으로 따른다.
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| ML 시스템 기술부채 | "Hidden Technical Debt in Machine Learning Systems" — Sculley 외, 2015경 | 데이터·파이프라인 부채의 고전적 경고 | 8.1, 8.3 |
| 데이터 플라이휠·피드백 | LLMOps·데이터 중심 AI 실무 문헌 | 사용 데이터로 모델·프롬프트·검색 개선 순환 | 8.1 |
| 실험·A/B·릴리스 | 온라인 실험·A/B 테스트 표준 문헌 | 프롬프트·모델 실험 설계·회귀 방지 | 8.2 |
| 파인튜닝 운영·라이프사이클 | MLOps·모델 거버넌스 실무 자료; 각 학습 프레임워크 문서 | 버전·재현·롤백·거버넌스 절차 | 8.3 |
| 온디바이스·엣지 배포 | llama.cpp·GGUF·MLC-LLM 등 프로젝트 공식 문서 | 양자화·경량 런타임으로 엣지 배포 | 8.4, 5.2 |
A.5.11 제9부 — 사업·전략·법·규제: 라이선스·EU AI Act·GDPR (9.1~9.4)
법·규제는 특히 조심해서 다뤄야 한다. 법령·규제·라이선스는 개정·발효 일정·관할이 계속 바뀌고, 아래 표는 "어디를 봐야 하는가"의 이정표일 뿐 법률 자문이 아니다. 정확한 조문·발효일·적용 범위는 반드시 공식 1차 출처(관보·해당 기관)에서 그 시점 기준으로 확인하라.
A.5.11.1 라이선스·오픈 웨이트·거버넌스 문서
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 오픈 웨이트 라이선스 | 각 모델의 공식 라이선스 원문(예: Llama 커뮤니티 라이선스, Apache-2.0, OpenRAIL 계열) | "오픈"의 실제 의미·상용/재배포 제약(라이선스 원문 확인) | 9.2 |
| 모델 카드 | "Model Cards for Model Reporting" — Mitchell 외, 2018경 | 모델 문서화·투명성 표준 양식 | 9.2, 9.4 |
| 데이터시트 | "Datasheets for Datasets" — Gebru 외, 2018경 | 데이터셋 문서화·출처 투명성 | 9.2, 2.1 |
A.5.11.2 법·규제·프라이버시 (1차 출처로 가라)
| 주제 | 대표 1차 출처 | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| EU AI Act | EU 공식 관보·EUR-Lex의 규정 원문 | 위험 등급·GPAI 의무·발효 일정(판본·시점 반드시 확인) | 9.3 |
| GDPR | GDPR(Regulation (EU) 2016/679) 원문 — EUR-Lex | 개인정보 처리 원칙·권리·역외 적용 | 9.3 |
| 개인정보보호법(한국) | 국가법령정보센터의 「개인정보 보호법」 원문·개정 이력 | 국내 개인정보 처리·이전 규율(개정 확인) | 9.3 |
| 저작권·학습데이터 | 진행 중인 소송·각국 저작권법·정책 자료 | 학습·산출물의 저작권 리스크(사안별·관할별, 확정 아님) | 9.3 |
| AI 위험관리 프레임 | NIST AI Risk Management Framework 공식 문서 | 조직 차원 위험관리 절차(자율 프레임) | 9.3, 9.4 |
A.5.11.3 윤리·편향·안전 거버넌스
| 주제 | 대표 자료 (제목·주저자 개략) | 무엇을 보러 가나 | 관련 장 |
|---|---|---|---|
| 대규모 LM의 위험 | "On the Dangers of Stochastic Parrots…" — Bender 외, 2021경 | 규모·데이터·편향·환경 비용의 비판적 논의 | 9.4 |
| 사회적 위해 분류 | "Ethical and social risks of harm from Language Models" — Weidinger 외, 2021경 | LLM 위해의 체계적 분류 | 9.4 |
| 편향 벤치마크 | "BBQ: A Hand-Built Bias Benchmark for QA" — Parrish 외, 2021경 | 사회적 편향 측정 벤치마크 | 9.4, 4.3 |
A.5.12 표준 구현·리포지토리·공식 문서
원논문이 "무엇을·왜"라면, 아래는 "어떻게 실제로 돌리나"의 1차 출처다. 버전마다 API가 바뀌므로 반드시 버전을 고정해 재현하라(8.3, A.2). 특정 제품의 우열·순위는 여기서 정하지 않는다 — 카테고리와 용도만 다룬다.
| 범주 | 대표 구현·문서 | 무엇에 쓰나 | 관련 장 |
|---|---|---|---|
| 모델·학습 라이브러리 | Hugging Face Transformers·Datasets·PEFT·TRL·Accelerate 공식 문서 | 모델 로드·데이터·PEFT·정렬(RLHF/DPO)·분산 | 2.4, 3.2, 3.5, 3.8 |
| 프레임워크·분산 | PyTorch, DeepSpeed, Megatron-LM 공식 문서 | 학습 프레임워크·ZeRO·텐서/파이프라인 병렬 | 2.4, 2.5 |
| 추론·서빙 | vLLM, TGI, TensorRT-LLM, SGLang, llama.cpp 공식 문서 | 처리량·지연 최적 서빙, 엣지 런타임 | 5.4, 5.5, 8.4 |
| 벡터 검색·DB | FAISS, HNSWlib; Milvus·Qdrant·Weaviate·pgvector 문서 | ANN 인덱스·벡터 데이터베이스 | 6.2, 6.3 |
| RAG·에이전트 프레임 | LangChain, LlamaIndex 등 공식 문서 | RAG 파이프라인·에이전트 오케스트레이션(빠르게 변함) | 6.3, 6.6, 6.7 |
| 평가 하네스 | EleutherAI lm-evaluation-harness, HELM 등 | 표준 벤치마크 재현·자동 평가 | 4.1, 4.2 |
| 메타 출처 | arXiv, Papers with Code, OpenReview | 논문·코드·리뷰를 제목으로 찾는 관문 | A.5.14 |
A.5.13 Anthropic·Claude 자료 — 공식 문서·claude-api를 단일 출처로
이 책은 대화형 LLM을 다루므로 Anthropic의 Claude·API·MCP·헌법적 AI를 여러 곳에서 예로 든다. 이런 자료에는 다음 원칙을 지킨다.
구체 스펙을 기억이나 이 책으로 단정하지 않는다. 모델 ID·컨텍스트 길이·가격·rate limit·기능 지원 여부·베타 헤더·엔드포인트 스펙은 모두 수시로 개정되므로, 이런 정보는 Anthropic 공식 문서와 이 저장소의 claude-api 스킬을 단일 출처로 확인한다. claude-api 스킬은 모델 목록·파라미터·스트리밍·도구 사용·MCP·에이전트·캐싱·토큰 계산·모델 마이그레이션을 그 시점 기준의 값으로 관리하도록 유지된다. 이 드리프트는 실제로 사람을 넘어뜨린다 — 예컨대 "extended thinking을 budget_tokens로 켠다" 같은 과거 통념은 최신 모델에서 이미 바뀌어(적응형 thinking) 그대로 쓰면 오류가 나기도 한다. 이런 변화는 스킬·공식 문서에서만 최신 상태로 확인된다.
반면 개념·방법론 자료는 원문으로 간다. 헌법적 AI, 트랜스포머 회로 해석 계열(예: A Mathematical Framework for Transformer Circuits), MCP 사양 같은 발표는 각 공식 발표·연구 페이지 원문을 1차 출처로 삼는다(3.6의 헌법적 AI, 1.4의 잔차 스트림 관점, 6.7의 MCP).
| 무엇을 찾나 | 어디로 가나 | 관련 장 |
|---|---|---|
| 모델·API 스펙(ID·컨텍스트·기능·파라미터) | Anthropic 공식 문서 + claude-api 스킬 (기억으로 단정 금지) | 7.2, 7.5 |
| 가격·rate limit·베타 기능 | 각 벤더 공식 가격·문서 (시점 의존) | 7.2, 7.5 |
| 헌법적 AI(개념) | Anthropic 연구 발표 원문 | 3.6 |
| MCP(도구 프로토콜) | MCP 공식 사양·문서 | 6.7 |
| 도구 사용·에이전트·캐싱 구현 | 공식 문서 + claude-api 스킬 | 6.5, 6.6, 5.6 |
다른 벤더(OpenAI·Google·Meta·Mistral·DeepSeek 등)의 스펙도 똑같이 "각 공식 문서 확인"으로 취급한다. 이 책도 이 목록도 어느 벤더의 최신 스펙을 보증하지 않는다.
A.5.14 자료를 계속 따라가는 법
이 목록은 곧 노후화된다. 그러니 목록을 외우기보다 스스로 최신 1차 출처를 찾고 검증하는 습관이 더 오래 간다. 실전에서는 대략 이렇게 움직이면 된다.
표의 제목(개략)으로 arXiv나 Papers with Code를 검색하면 최신 버전·코드·후속 연구까지 이어진다 — 재현할 거라면 본 버전 번호를 반드시 기록한다. 프리프린트가 NeurIPS·ICML·ICLR·ACL·EMNLP 등에 게재되며 개정되므로, 정식 인용은 게재 버전을 쓴다. 낯선 주제라면 원논문보다 최근 서베이·리뷰로 지형을 먼저 파악하는 편이 빠르되, 서베이도 판본·편향에서 자유롭지 않다는 점은 잊지 않는다. 구현·스펙은 블로그 요약보다 공식 문서·리포지토리가 정확하니 그쪽을 1차로 삼고 버전을 고정한다. 법·규제·가격은 반드시 그 시점의 1차 출처 — 관보·기관 공식 페이지·벤더 가격 페이지 — 에서 발효일·조문·수치를 확인한다. 그리고 새 논문의 "SOTA"·"항상 낫다"는 조건부 주장으로 읽고 재현·반박 여부를 함께 본다.
이 부록까지 더해, 본문(0.1~9.4)과 다른 부록(A.1 수학·A.2 환경·A.3 워크드 예제·A.4 용어집)이 가리키던 1차 출처의 지도가 대략 채워졌다. 원리는 본문에서 이해하고, 정확한 서지·최신 스펙은 여기 이정표를 따라 직접 원출처에서 확인하는 것 — 그것이 이렇게 빨리 바뀌는 분야에서 정직하게 아는 유일한 방법이다.