부록 부록
A.4 (부록) 용어집·약어
이 책을 읽다 낯선 말에 걸렸을 때 두 가지를 한꺼번에 얻어가라고 만든 목록이다. 하나는 그 말이 대략 무슨 뜻인지 한 줄로 떠올리는 것이고, 다른 하나는 그것을 제대로 심층 분석한 장이 어디인지 바로 찾는 것이다. 그래서 각 항목은 용어(원어) — 이 책 맥락의 짧은 정의 — 참조 장 SV-NN 세 칸으로만 되어 있다. 정의는 개념을 되살리는 실마리이지 사전 표제어가 아니다. 엄밀한 수식·유도·예외는 참조 장 본문에 있으니, 여기서 뜻을 이해했으면 반드시 그 장으로 건너가 원리를 확인하라 — 정의 한 줄만 보고 결론 내리는 것은 이 목록의 용도가 아니다.
가나다·알파벳 순 대신 책의 흐름(기반 → 학습 → 정렬 → 평가 → 서빙 → 응용 → 제품·운영·전략)을 따라 묶었다. 찾는 말의 분야가 대충 떠오르면 해당 절로 바로 가면 된다. 분야는 안 떠오르고 약어 철자만 아는 경우엔 맨 끝 절(A.4.11)의 알파벳 색인에서 찾아 본문 절로 되짚어 가라. 약어는 처음 쓸 때 풀어 쓰고 원어를 병기했고(예: 전문가 혼합(Mixture of Experts, MoE)), 참조 SV-NN은 그 개념을 가장 깊이 다루는 장을 가리킨다 — 한 개념이 여러 장에 걸치면 대표 장과 관련 장을 함께 적었다.
일부러 뺀 것도 있다. 모델명·크기·가격·벤치마크 점수처럼 자주 바뀌는 수치는 담지 않았다. 이 목록은 개념과 기법의 이름·뜻만 다루고, 변동하는 구체값은 본문에서, 특정 벤더 API 스펙은 공식 문서에서 확인하는 것이 맞다. 한 가지 더 — 정렬·서빙·에이전트처럼 빠르게 움직이는 영역은 같은 이름이 구현마다 다른 것을 가리키기도 한다. "이름이 같으니 같은 것"이라 단정하지 말고 문맥으로 무엇을 뜻하는지 확인하라. 핵심 논문·표준 구현·공식 문서 포인터는 A.5에 모았다.
A.4.1 기반 — 언어모델·토큰·임베딩
언어를 확률로 다루고, 텍스트를 모델이 입력받을 수 있는 벡터로 바꾸는 층의 말들. 제1부 앞부분(1.1~1.3)에 대응한다.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 언어모델 (Language Model, LM) | 텍스트에 확률을 부여하는 모델. 현대 LLM은 "다음 토큰의 확률분포"를 예측한다. | 1.1 |
| 대규모 언어모델 (Large Language Model, LLM) | 방대한 텍스트로 사전학습한 대형 트랜스포머 기반 언어모델. 이 책의 주인공. | 0.1 · 1.1 |
| 자기회귀 (Autoregressive, AR) | 앞의 토큰들을 조건으로 다음 토큰을 하나씩 생성하는 방식. $p(x)=\prod_t p(x_t \mid x_{<t})$. | 1.1 |
| 다음 토큰 예측 (Next-Token Prediction) | 주어진 앞맥락에서 바로 다음 토큰을 맞히는, 학습·추론의 기본 과제. | 1.1 |
| 퍼플렉서티 (Perplexity, PPL) | 모델이 다음 토큰에 얼마나 "놀라는지". 교차엔트로피의 지수이며 낮을수록 예측이 좋지만, 능력의 대리 지표일 뿐 그 자체가 유용성은 아니다. | 1.1 · 4.1 |
| 토큰 (Token) | 모델이 다루는 최소 단위(대개 서브워드 조각). 문자도 단어도 아닌 중간 단위. | 1.2 |
| 토큰화 (Tokenization) | 텍스트를 토큰 열로 분할하는 과정. 모델의 어휘·비용·다국어 성능을 좌우한다. | 1.2 |
| 서브워드 (Subword) | 단어보다 작고 문자보다 큰 조각. 희귀어·신조어를 조합으로 표현해 어휘 폭발을 막는다. | 1.2 |
| 바이트 페어 인코딩 (Byte-Pair Encoding, BPE) | 자주 붙어 나오는 조각을 반복 병합해 어휘를 만드는 대표적 서브워드 토큰화 알고리즘. | 1.2 |
| 어휘 (Vocabulary) | 모델이 아는 토큰들의 집합. 크기가 임베딩·출력층·토큰 효율의 트레이드오프를 만든다. | 1.2 |
| 임베딩 (Embedding) | 토큰·텍스트를 의미를 담은 실수 벡터로 사상한 것. 가까운 벡터일수록 비슷한 의미. | 1.2 · 6.2 |
| 문맥 창 (Context Window) | 모델이 한 번에 볼 수 있는 최대 토큰 수. 롱컨텍스트 기법이 이를 늘린다. | 1.2 · 1.6 · 5.6 |
| 로짓 (Logits) | 소프트맥스를 거치기 전, 각 토큰에 매긴 원점수 벡터. 온도·top-k/p 등 디코딩 제어가 이 위에서 작동한다. | 1.3 · 1.7 |
| 순전파 (Forward Pass) | 입력에서 출력·손실까지 신경망을 앞으로 통과시키는 계산. | 1.3 |
| 역전파 (Backpropagation) | 손실의 기울기를 출력에서 입력 방향으로 연쇄법칙으로 전파해 파라미터 갱신량을 구하는 것. | 1.3 |
| 경사하강 (Gradient Descent) | 기울기 반대 방향으로 파라미터를 조금씩 움직여 손실을 줄이는 최적화의 기본. | 1.3 · 2.3 |
| 소프트맥스 (Softmax) | 실수 벡터를 합이 1인 확률분포로 바꾸는 함수. 어텐션 가중치·출력 분포에 쓰인다. | 1.3 · 1.4 |
A.4.2 기반 — 어텐션·트랜스포머·아키텍처
이 책의 핵심부(제1부 뒷부분, 1.4~1.7). 어텐션·트랜스포머 블록과, 파라미터·KV·문맥을 키우는 현대 아키텍처 변형들.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 어텐션 (Attention) | 질의와 키의 유사도로 값들의 가중 평균을 뽑는 미분 가능한 "연상 조회". | 1.4 |
| 셀프어텐션 (Self-Attention) | 한 시퀀스 안에서 각 위치가 같은 시퀀스의 다른 위치를 참조하는 어텐션. | 1.4 |
| 스케일드 닷프로덕트 어텐션 (Scaled Dot-Product Attention) | $\text{softmax}\!\big(\tfrac{QK^\top}{\sqrt{d_k}}\big)V$. 점수를 $\sqrt{d_k}$로 나눠 분산을 안정화한다. | 1.4 |
| 질의·키·값 (Query·Key·Value, QKV) | 각각 "무엇을 찾나·무엇에 대한 것인가·넘겨줄 내용". 어텐션의 세 역할. | 1.4 |
| 멀티헤드 어텐션 (Multi-Head Attention, MHA) | 어텐션을 여러 부분공간(헤드)에서 병렬로 수행해 서로 다른 관계를 포착한다. | 1.4 |
| 인과 마스킹 (Causal Masking) | 각 위치가 미래 토큰을 못 보게 어텐션 점수를 가리는 것. 자기회귀 생성의 전제. | 1.4 |
| 트랜스포머 (Transformer) | 어텐션 + 위치별 FFN + 잔차 + 정규화로 쌓은 블록 구조의 신경망. LLM의 골격. | 1.4 |
| 피드포워드 신경망 (Feed-Forward Network, FFN) | 각 토큰 위치에 독립으로 적용되는 2층 MLP. 트랜스포머 블록의 "계산·기억" 부분. | 1.4 |
| 잔차 스트림 (Residual Stream) | 각 층이 읽고 더해 쓰는 공용 벡터 통로. 트랜스포머 내부를 해석하는 유용한 관점. | 1.4 |
| 잔차 연결 (Residual Connection) | 층의 출력을 입력에 더해 기울기 흐름과 학습 안정성을 돕는 연결. | 1.4 · 1.5 |
| 프리노름·포스트노름 (Pre-Norm / Post-Norm) | 정규화를 잔차 블록 앞에 두느냐 뒤에 두느냐. 프리노름이 깊은 모델의 학습을 안정화해 주류가 됐다. | 1.5 |
| 디코더-온리 (Decoder-Only) | 인과 마스킹된 셀프어텐션만 쓰는 생성형 구조. 현대 대화형 LLM의 주류. | 1.4 |
| 인코더-디코더 (Encoder-Decoder) | 입력을 인코딩한 뒤 교차어텐션으로 출력을 생성하는 구조(번역 등). | 1.4 |
| FlashAttention | 어텐션을 타일 단위로 계산해 큰 중간 행렬을 메모리에 안 쓰는, 정확하면서 빠른 커널. | 1.4 · 5.1 |
| 위치 인코딩 (Positional Encoding) | 순서를 모르는 어텐션에 "어디에 있는지"를 주입하는 장치. | 1.5 |
| 회전 위치 임베딩 (Rotary Position Embedding, RoPE) | 질의·키를 위치에 따라 회전시켜 상대 위치를 인코딩하는, 널리 쓰이는 방식. | 1.5 · 5.6 |
| ALiBi (Attention with Linear Biases) | 거리가 멀수록 어텐션 점수에 선형 페널티를 더해 위치를 반영하는 방식. | 1.5 |
| 층 정규화 (Layer Normalization, LayerNorm) | 각 토큰 벡터를 평균·분산으로 정규화해 학습을 안정화하는 층. | 1.5 |
| RMS 정규화 (RMSNorm) | 평균 빼기를 생략하고 제곱평균근으로만 정규화하는 경량 정규화. LLM에서 흔하다. | 1.5 |
| GELU / SwiGLU | 트랜스포머 FFN에 쓰는 활성함수 계열. SwiGLU는 게이트를 둔 변형으로 성능 이득이 보고된다. | 1.5 |
| 전문가 혼합 (Mixture of Experts, MoE) | 여러 FFN "전문가" 중 일부만 토큰마다 활성화해, 총 파라미터는 크되 연산은 아끼는 구조. | 1.6 |
| 라우터·게이팅 (Router / Gating) | MoE에서 각 토큰을 어느 전문가로 보낼지 정하는 소형 네트워크. | 1.6 |
| 그룹 질의 어텐션 (Grouped-Query Attention, GQA) | 여러 질의 헤드가 키·값 헤드를 공유해 KV 캐시를 줄이는 절충안. | 1.6 · 5.1 |
| 다중 질의 어텐션 (Multi-Query Attention, MQA) | 모든 질의 헤드가 하나의 키·값을 공유하는 극단. KV 메모리 최소, 품질과의 절충. | 1.6 · 5.1 |
| 다중 헤드 잠재 어텐션 (Multi-Head Latent Attention, MLA) | 키·값을 저차원 잠재로 압축해 KV 캐시를 크게 줄이는 최신 변형. | 1.6 |
| 롱컨텍스트 (Long Context) | 아주 긴 입력을 다루는 능력. 위치·메모리·비용이 함께 커지고, 긴 창을 준다고 그 안을 고르게 활용하진 못한다. | 1.6 · 5.6 |
| 상태공간모델 (State Space Model, SSM) / Mamba | 어텐션 대신 선형 순환 상태로 시퀀스를 처리해 긴 문맥을 저비용으로 노리는 계열. | 1.6 |
| 샘플링·디코딩 (Sampling / Decoding) | 출력 확률분포에서 실제 토큰을 뽑아 텍스트를 만드는 과정과 그 전략들. | 1.7 |
| 그리디 디코딩 (Greedy Decoding) | 매 단계 최고확률 토큰을 고르는 결정적 방식. 빠르지만 다양성·품질이 갇힐 수 있다. | 1.7 |
| 온도 (Temperature) | 분포를 날카롭게·평평하게 조절하는 값. 높으면 다양·모험적, 낮으면 보수적. | 1.7 |
| 상위-k / 상위-p 샘플링 (Top-k / Top-p, Nucleus) | 후보를 상위 k개 또는 누적확률 p까지로 잘라 그 안에서만 뽑는 다양성 제어. | 1.7 |
| 빔 서치 (Beam Search) | 여러 후보 경로를 동시에 유지하며 탐색하는 디코딩. 대화형 생성보다 번역 등에 주로. | 1.7 |
| 반복 억제 (Repetition Penalty) | 이미 나온 토큰의 확률을 낮춰 같은 말 반복을 줄이는 장치. | 1.7 |
A.4.3 사전학습·분산학습
모델을 처음부터 대규모로 학습하는 층(제2부, 2.1~2.6). 데이터·스케일링·병렬화·안정화.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 사전학습 (Pretraining) | 방대한 일반 텍스트로 다음 토큰 예측을 학습해 기반 능력을 쌓는 첫 단계. | 2.1 · 2.3 |
| 기반 모델 (Foundation / Base Model) | 사후학습 전, 사전학습만 마친 원형 모델. 정렬·파인튜닝의 출발점. | 2.1 · 3.1 |
| 데이터 정제 (Data Cleaning / Curation) | 저품질·유해·중복 문서를 걸러 학습 코퍼스의 질을 높이는 작업. 데이터가 곧 모델이다. | 2.1 |
| 중복제거 (Deduplication) | 거의 같은 문서·구절을 제거해 암기·편향·낭비를 줄이는 것. | 2.1 |
| 데이터 혼합 (Data Mixture) | 웹·코드·책 등 도메인 비율을 정하는 레시피. 능력의 균형을 좌우한다. | 2.1 |
| 스케일링 법칙 (Scaling Laws) | 손실이 파라미터·데이터·컴퓨트의 멱함수로 예측 가능하게 준다는 경험 법칙. 관측 구간을 크게 벗어난 외삽은 보장되지 않는다. | 2.2 |
| 토큰 예산 (Token Budget) | 주어진 컴퓨트로 학습에 투입할 총 토큰 수. 모델 크기와 함께 스케일링의 두 축을 이룬다. | 2.2 |
| 친칠라 최적 (Chinchilla-Optimal) | 주어진 컴퓨트에서 손실을 최소화하려면 파라미터와 학습 토큰을 대략 비례로 함께 키우는 것이 낫다는 결과. 단 이는 학습 비용만 따진 최적이며, 추론까지 감안하면 작은 모델을 더 오래 학습하는 편이 유리할 수 있다. | 2.2 |
| 컴퓨트 최적 (Compute-Optimal) | "가진 연산 예산"을 기준으로 모델 크기·데이터량을 고르는 관점. | 2.2 |
| 창발 (Emergent Ability) | 규모가 커지며 특정 능력이 갑자기 나타나 보이는 현상. 다만 이 급격한 점프는 불연속적 채점 기준이 만든 착시라는 반론이 강하다 — 부드러운 지표로 보면 향상은 대체로 점진적이다. | 2.2 |
| 교차엔트로피 손실 (Cross-Entropy Loss) | 예측 분포와 정답 토큰의 불일치를 재는 언어모델의 기본 손실. | 2.3 |
| AdamW | 가중치 감쇠를 분리한 Adam 계열 옵티마이저. LLM 학습의 사실상 표준. | 2.3 |
| 학습률 스케줄 (LR Schedule) | 학습률을 웜업 후 코사인 등으로 낮춰가는 계획. 안정·수렴에 핵심. | 2.3 |
| 웜업 (Warmup) | 초반에 학습률을 서서히 높여 초기 발산을 막는 구간. | 2.3 · 2.6 |
| 그래디언트 누적 (Gradient Accumulation) | 여러 미니배치의 기울기를 모아 한 번에 갱신해, 적은 메모리로 큰 유효 배치를 흉내 내는 것. | 2.4 · 2.3 |
| 분산학습 (Distributed Training) | 모델·데이터를 여러 GPU·노드에 나눠 함께 학습하는 것. | 2.4 · 2.5 |
| 데이터 병렬 (Data Parallelism, DP) | 같은 모델 복제본이 서로 다른 데이터 배치를 처리하고 기울기를 합치는 병렬화. | 2.4 |
| 텐서 병렬 (Tensor Parallelism, TP) | 한 층의 행렬 연산을 여러 GPU에 분할하는 병렬화(층 내부 분할). | 2.4 |
| 파이프라인 병렬 (Pipeline Parallelism, PP) | 모델의 층들을 단계로 나눠 GPU 간 파이프라인처럼 흘리는 병렬화. | 2.4 |
| 전문가 병렬 (Expert Parallelism, EP) | MoE 전문가들을 여러 장치에 분산 배치하는 병렬화. | 2.4 |
| ZeRO (Zero Redundancy Optimizer) | 옵티마이저 상태·기울기·파라미터를 GPU들에 나눠 메모리 중복을 없애는 기법. | 2.4 |
| FSDP (Fully Sharded Data Parallel) | 파라미터·기울기·상태를 샤딩해 큰 모델을 데이터 병렬처럼 학습하는 방식. | 2.4 |
| 활성값 재계산 (Activation Checkpointing) | 순전파 중간값을 저장 대신 역전파 때 다시 계산해 메모리를 아끼는 것. | 2.4 · 2.5 |
| NCCL (NVIDIA Collective Communications Library) | GPU 간 집합통신(all-reduce 등)을 담당하는 통신 라이브러리. | 2.5 |
| 올리듀스 (All-Reduce) | 모든 장치의 값을 합쳐 다시 모두에게 전송하는 집합통신. 기울기 동기화의 핵심. | 2.5 |
| 인터커넥트 (Interconnect) | GPU·노드를 잇는 고속 연결(NVLink·InfiniBand 등). 분산학습 속도의 병목. | 2.5 |
| 체크포인팅 (Checkpointing) | 학습 상태를 주기적으로 저장해 실패 시 재개하게 하는 것. | 2.5 |
| 혼합정밀도 (Mixed Precision) | FP32와 저정밀(FP16·BF16·FP8)을 섞어 속도·메모리를 얻고 정확도를 지키는 학습. | 2.6 |
| BF16 / FP16 / FP8 | 부동소수 저정밀 형식들. 표현 범위·정밀도·안정성의 트레이드오프가 서로 다르다. | 2.6 · 5.2 |
| 손실 스파이크 (Loss Spike) | 학습 중 손실이 갑자기 치솟는 현상. 발산의 전조이자 진단 대상. | 2.6 |
| 기울기 클리핑 (Gradient Clipping) | 기울기 크기에 상한을 둬 폭주를 막는 안정화 기법. | 2.6 |
A.4.4 사후학습·정렬
기반 모델을 유용·정직·무해하게 다듬는 층(제3부, 3.1~3.9). SFT·RLHF·DPO·추론 모델·PEFT·증류.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 사후학습 (Post-Training) | 사전학습 이후 SFT·선호최적화 등으로 모델을 쓸 만하게 다듬는 단계들의 총칭. | 3.1 |
| 정렬 (Alignment) | 모델의 행동을 인간의 의도·가치·안전 기준에 맞추는 일. | 3.1 |
| HHH (Helpful·Honest·Harmless) | 정렬이 겨누는 세 축: 유용성·정직성·무해성. 이 셋은 서로 긴장하며 트레이드오프가 있다. | 3.1 |
| 지도 미세조정 (Supervised Fine-Tuning, SFT) | 좋은 (지시, 응답) 시연으로 모델을 미세조정하는 정렬의 첫 단계. | 3.2 |
| 인스트럭션 튜닝 (Instruction Tuning) | 다양한 지시-응답으로 "시키는 대로 하기"를 가르치는 SFT의 한 형태. | 3.2 |
| 채팅 템플릿 (Chat Template) | 시스템·유저·어시스턴트 역할과 경계를 표시하는 대화 포맷 규약. | 3.2 · 7.1 |
| 손실 마스킹 (Loss Masking) | 프롬프트 부분은 손실에서 빼고 응답 토큰만 학습하도록 가리는 것. | 3.2 |
| 파국적 망각 (Catastrophic Forgetting) | 새 과제로 미세조정하다 이전에 하던 것을 잃는 현상. 데이터 혼합·PEFT로 완화한다. | 3.8 · 3.2 |
| 보상 모델 (Reward Model, RM) | 인간 선호를 학습해 응답에 점수를 매기는 모델. RLHF의 신호원. | 3.3 |
| 선호 데이터 (Preference Data) | "A가 B보다 낫다"는 쌍 비교(페어와이즈) 라벨. 정렬 학습의 원료. | 3.3 |
| RLHF (Reinforcement Learning from Human Feedback) | 인간 선호로 보상 모델을 만들고 그 보상으로 정책을 강화학습해 정렬하는 파이프라인. | 3.3 · 3.4 |
| PPO (Proximal Policy Optimization) | RLHF의 대표 RL 알고리즘. 정책을 조금씩 갱신하며 급변을 억제한다. | 3.4 |
| 정책·가치 (Policy / Value) | 강화학습에서 행동을 내는 정책과 상태의 좋음을 추정하는 가치함수. PPO의 두 축(액터-크리틱). | 3.4 |
| KL 페널티 (KL Penalty) | 정렬 중 정책이 원 모델에서 너무 멀어지지 않게 KL 발산으로 제한하는 항. | 3.4 |
| 보상 해킹 (Reward Hacking) | 모델이 실제 목표 대신 보상 지표의 허점을 악용해 점수만 높이는 현상. 정렬이 어긋나는 대표적 실패 모드. | 3.4 · 4.2 |
| DPO (Direct Preference Optimization) | 별도 보상 모델·RL 없이 선호 쌍으로 정책을 직접 최적화하는 방법. | 3.5 |
| IPO·KTO·ORPO·GRPO | DPO 계열·변형들. 각각 목적함수·데이터 요구·안정성에서 트레이드오프가 다르다. | 3.5 |
| 거절 샘플링 (Rejection Sampling) | 여러 후보를 뽑아 보상·규칙으로 좋은 것만 남겨 학습·응답에 쓰는 것. best-of-N 정렬·데이터 생성에 흔하다. | 3.9 · 3.2 |
| RLAIF (RL from AI Feedback) | 인간 대신 AI가 선호·비평을 생성해 정렬 신호로 쓰는 확장. 감독을 스케일링한다. | 3.6 |
| 헌법적 AI (Constitutional AI) | 명시된 원칙("헌법")으로 모델이 자기 응답을 비평·수정하게 해 정렬하는 방법. | 3.6 |
| 추론 모델 (Reasoning Model) | 답 전에 사고 과정을 길게 펼쳐 어려운 문제를 푸는 데 특화된 모델 계열. | 3.7 |
| 추론 시간 연산 (Test-Time Compute) | 추론 순간에 사고사슬·검증·탐색으로 연산을 더 써 성능을 사는 것. | 3.7 |
| 사고사슬 (Chain-of-Thought, CoT) | 최종 답 전에 중간 추론 단계를 말로 풀어내게 하는 기법. | 3.7 · 6.1 |
| PEFT (Parameter-Efficient Fine-Tuning) | 소수 파라미터만 학습해 적은 자원으로 미세조정하는 기법군. | 3.8 |
| LoRA (Low-Rank Adaptation) | 가중치 변화량을 저랭크 행렬로 근사해 적은 추가 파라미터로 튜닝하는 PEFT. | 3.8 |
| QLoRA (Quantized LoRA) | 기반 모델을 양자화한 채 LoRA를 추가해 메모리를 더 아끼는 방식. | 3.8 · 5.2 |
| 어댑터 (Adapter) | 층 사이에 작은 학습 모듈을 삽입해 기반 가중치를 얼린 채 튜닝하는 PEFT. | 3.8 |
| 증류 (Distillation) | 큰 "교사" 모델의 출력·행동으로 작은 "학생" 모델을 가르쳐 성능을 옮기는 것. | 3.9 |
| 합성데이터 (Synthetic Data) | 모델이 생성한 학습 데이터. 값싸게 양을 늘리지만 편향 증폭·품질 저하·붕괴 위험을 안아 걸러 쓰는 규율이 필요하다. | 3.9 |
| 모델 붕괴 (Model Collapse) | 합성데이터로 세대를 거듭해 재학습하면 다양성·품질이 붕괴한다는 현상. 다만 이는 실데이터를 버리고 합성만 투입했을 때의 결과로, 실데이터를 섞거나 품질을 거르면 피할 수 있다 — 합성데이터 자체가 곧 붕괴는 아니다. | 3.9 |
A.4.5 평가
무엇을, 어떻게 믿을 만하게 재는가(제4부, 4.1~4.3). 벤치마크·오염·LLM 심판·레드팀.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 벤치마크 (Benchmark) | 표준 과제·데이터셋으로 능력을 재는 시험. 점수는 프롬프트·설정에 민감하고 오염되면 부풀려지므로 절대치보다 조건을 함께 읽어야 한다. | 4.1 |
| 데이터 오염 (Data Contamination) | 평가셋(또는 유사 데이터)이 학습 데이터에 섞여 점수가 부풀려지는 문제. | 4.1 |
| 오버핏 (Overfitting to Benchmark) | 특정 벤치마크에만 맞춰져 실제 일반화가 부풀려 보이는 것. | 4.1 |
| LLM 심판 (LLM-as-Judge) | 강한 LLM으로 다른 모델의 출력을 채점·비교하게 하는 자동 평가. 빠르고 저렴하지만 심판 자신이 순서·길이·자기 출력 선호 같은 편향을 지녀 정답이 아니라 보정 대상이다. | 4.2 |
| 페어와이즈 평가 (Pairwise Evaluation) | 두 응답 중 어느 쪽이 나은지 상대 비교로 판정하는 방식. | 4.2 |
| 위치·길이 편향 (Position / Length Bias) | 심판 모델이 순서·길이 같은 표면 특징에 휘둘리는 편향. 위치 스왑·정규화로 보정이 필요. | 4.2 |
| 엘로·아레나 (Elo / Arena) | 쌍 비교의 승패를 누적해 상대 실력을 점수화하는 방식. 대결형 평가에 쓰인다. | 4.2 |
| 골든셋 (Golden Set) | 정답·기준을 사람이 신중히 매겨 둔 소규모 평가셋. 자동 평가의 신뢰를 재는 잣대. | 4.2 |
| 오프라인 평가 (Offline Evaluation) | 배포 전 고정 데이터셋으로 하는 평가. 온라인(실사용) 평가와 대비된다. | 4.2 · 7.6 |
| 안전성 평가 (Safety Evaluation) | 유해·위험 출력의 발생을 체계적으로 측정하는 것. | 4.3 |
| 레드팀 (Red Teaming) | 일부러 공격·유도해 모델의 취약점·위험 행동을 찾아내는 활동. | 4.3 · 7.4 |
| 탈옥 (Jailbreak) | 안전장치를 우회해 금지된 출력을 끌어내는 프롬프트 공격. | 4.3 · 7.4 |
A.4.6 추론·서빙
학습된 모델을 낮은 지연·높은 처리량으로 운용하는 층(제5부, 5.1~5.6). KV 캐시·양자화·배칭·캐시.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 추론 (Inference) | 학습된 모델로 실제 출력을 생성하는 실행 단계. 서빙의 핵심 비용. | 5.1 |
| 프리필 (Prefill) | 입력 프롬프트 전체를 한 번에 병렬로 처리해 첫 상태를 만드는 단계(컴퓨트 바운드). | 5.1 |
| 디코드 (Decode) | 토큰을 하나씩 순차 생성하는 단계(메모리 대역폭 바운드). | 5.1 |
| KV 캐시 (Key-Value Cache) | 이미 처리한 토큰의 키·값을 저장해 매 스텝 재계산을 피하는 것. 메모리를 크게 차지한다. | 5.1 |
| 산술 강도 (Arithmetic Intensity) | 연산량 대 메모리 이동량의 비. 이 값이 낮으면 메모리 바운드, 높으면 컴퓨트 바운드로 갈린다. | 5.1 |
| 메모리 바운드 / 컴퓨트 바운드 (Memory-Bound / Compute-Bound) | 성능이 메모리 대역폭에 막히는지 연산량에 막히는지의 구분. 최적화 방향을 정한다. | 5.1 |
| 첫 토큰 지연 (Time To First Token, TTFT) | 요청부터 첫 토큰이 나오기까지의 시간. 체감 반응성의 지표. | 5.1 · 7.5 |
| 토큰당 시간 (Time Per Output Token, TPOT / ITL) | 이후 토큰 사이의 평균 간격. 생성 속도의 지표. | 5.1 |
| 처리량 (Throughput) | 단위 시간당 처리하는 토큰·요청 수. 지연과 트레이드오프를 이룬다. | 5.1 · 5.5 |
| 양자화 (Quantization) | 가중치·활성을 저비트(INT8·FP8 등)로 낮춰 메모리·비용을 줄이는 것. 정확도 손실과 균형을 맞춘다. | 5.2 |
| GPTQ / AWQ | 대표적 사후학습 가중치 양자화 기법들. 오차를 보정해 저비트에서도 품질을 지키려 한다. | 5.2 |
| 연속 배칭 (Continuous Batching) | 요청이 끝나는 대로 새 요청을 실시간 삽입해 GPU를 유휴 상태로 두지 않는 배칭. | 5.3 |
| 투기적 디코딩 (Speculative Decoding) | 작은 초안 모델이 여러 토큰을 미리 제안하고 큰 모델이 한 번에 검증·수용해 가속하는 기법. | 5.3 |
| 청크 프리필 (Chunked Prefill) | 긴 프롬프트의 프리필을 조각으로 나눠 디코드와 번갈아 처리해 지연을 고르게 하는 기법. | 5.3 · 5.6 |
| PagedAttention | KV 캐시를 페이지 단위로 관리해 메모리 단편화를 없애는 vLLM의 핵심 기법. | 5.3 · 5.4 |
| vLLM | PagedAttention·연속 배칭을 앞세운 널리 쓰이는 오픈소스 서빙 엔진. | 5.4 |
| TGI (Text Generation Inference) | 프로덕션 LLM 서빙용 서버 프레임워크의 하나. | 5.4 |
| TensorRT-LLM | GPU에 고도로 최적화된 추론 라이브러리·엔진. | 5.4 |
| SGLang | 구조적 생성·프리픽스 재사용에 강점을 둔 서빙·프로그래밍 프레임워크. | 5.4 |
| 오토스케일 (Autoscaling) | 부하에 따라 GPU 인스턴스 수를 자동 조절하는 것. 콜드스타트가 난점. | 5.5 |
| 콜드 스타트 (Cold Start) | 유휴 상태의 GPU 인스턴스·모델을 처음 띄울 때 드는 지연. 오토스케일의 난점. | 5.5 |
| 멀티테넌시 (Multi-Tenancy) | 여러 사용자·워크로드가 같은 서빙 자원을 공유하는 운영 형태. 격리·공정성이 과제. | 5.5 · 7.2 |
| 프리픽스 캐시 (Prefix Cache) | 공통 앞부분(시스템 프롬프트 등)의 KV를 재사용해 반복 연산을 없애는 캐시. | 5.6 |
| 모델 라우팅 (Model Routing) | 요청 난도·비용에 따라 작은/큰 모델로 갈라 보내는 것. 비용·품질 절충. | 5.6 · 7.5 |
A.4.7 응용 — 프롬프트·임베딩·검색·RAG
모델 위에 서비스를 구축하는 층의 앞부분(제6부, 6.1~6.4). 프롬프트·벡터 검색·RAG.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 프롬프트 엔지니어링 (Prompt Engineering) | 지시·예시·형식·맥락을 설계해 출력을 원하는 방향으로 이끄는 실무. 특효 문구가 아니라 모델이 무엇에 반응하는지에 대한 경험적 설계다. | 6.1 |
| 시스템 프롬프트 (System Prompt) | 대화 전반의 역할·규칙·톤을 정하는 상위 지시문. | 6.1 · 7.1 |
| 인컨텍스트 학습 (In-Context Learning, ICL) | 가중치 갱신 없이 프롬프트 안의 예시만으로 과제를 수행하는 능력. | 6.1 |
| 퓨샷 / 제로샷 (Few-Shot / Zero-Shot) | 프롬프트에 예시를 몇 개 주거나(퓨샷) 전혀 안 주는(제로샷) 방식. | 6.1 |
| 임베딩 모델 (Embedding Model) | 텍스트를 의미 벡터로 바꾸는 모델. 검색·RAG의 조회 키를 만든다. | 6.2 |
| 의미 검색 (Semantic Search) | 키워드가 아니라 임베딩 유사도로 뜻이 가까운 문서를 찾는 검색. | 6.2 |
| 코사인 유사도 (Cosine Similarity) | 두 벡터의 방향 일치도로 의미 근접을 재는 척도. 임베딩 검색의 기본 거리. | 6.2 |
| 근사 최근접 이웃 (Approximate Nearest Neighbor, ANN) | 정확도를 조금 양보해 벡터 최근접 이웃을 매우 빠르게 찾는 알고리즘군. | 6.2 |
| HNSW (Hierarchical Navigable Small World) | 그래프 기반 ANN 인덱스로 널리 쓰이는 구조. | 6.2 |
| 벡터 데이터베이스 (Vector Database) | 임베딩을 저장·인덱싱하고 유사도 검색을 제공하는 저장소. | 6.2 |
| 검색증강생성 (Retrieval-Augmented Generation, RAG) | 외부 지식을 검색해 프롬프트에 넣고 그것을 근거로 생성하는 구조. 최신성·근거를 준다. | 6.3 |
| 청킹 (Chunking) | 문서를 검색·삽입에 알맞은 조각으로 나누는 것. 조각 크기·경계가 품질을 좌우한다. | 6.3 |
| 컨텍스트 구성 (Context Assembly) | 검색된 조각들을 골라·정렬·압축해 프롬프트에 넣는 단계. | 6.3 |
| 리랭킹 (Reranking) | 1차 검색 결과를 더 정교한 모델로 재정렬해 상위 정확도를 높이는 단계. | 6.4 |
| 하이브리드 검색 (Hybrid Search) | 키워드(BM25 등)와 벡터 검색을 결합해 서로의 약점을 메우는 방식. | 6.4 |
| BM25 | 단어 빈도·희소성에 기반한 고전적 키워드 검색 점수. 하이브리드 검색에서 벡터 검색의 짝. | 6.4 |
| 질의 변환 (Query Transformation) | 사용자의 질의를 재작성·확장·분해해 검색 적중을 높이는 기법. | 6.4 |
| 그래프 RAG (Graph RAG) | 지식그래프·엔티티 관계를 활용해 검색·종합하는 RAG 확장. | 6.4 |
| 환각 (Hallucination) | 모델이 사실이 아닌 내용을 그럴듯하게 지어내는 것. 거짓말이 아니라 다음 토큰 예측의 자연스러운 부산물이며, RAG·검증으로 줄지만 원리상 사라지진 않는다. | 6.3 · 6.4 |
A.4.8 응용 — 도구·에이전트·멀티모달·구조화 출력
응용 층의 뒷부분(제6부, 6.5~6.9). 함수 호출·에이전트·MCP·멀티모달·제약 디코딩.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 함수 호출 (Function Calling) | 모델이 정해진 스키마로 외부 함수·API 호출을 구조적으로 요청하게 하는 기능. | 6.5 |
| 도구 사용 (Tool Use) | 검색·계산·코드 실행 등 외부 도구를 모델이 불러 쓰는 것. 함수 호출로 구현된다. | 6.5 |
| 도구 스키마 (Tool Schema) | 도구의 이름·인자·타입을 모델이 이해하도록 기술한 명세(대개 JSON Schema). | 6.5 · 6.9 |
| 에이전트 (Agent) | 목표를 향해 스스로 계획·행동·관찰을 반복하며 도구를 쓰는 LLM 시스템. | 6.6 |
| ReAct (Reasoning + Acting) | 추론과 행동(도구 호출)을 번갈아 하며 관찰로 다음 수를 정하는 에이전트 패턴. | 6.6 |
| 에이전트 메모리 (Agent Memory) | 대화·작업을 넘어 정보를 유지·회상하는 단·장기 기억 장치. | 6.6 · 7.1 |
| 계획 (Planning) | 목표를 하위 단계로 분해해 순서를 세우는 에이전트의 능력. | 6.6 |
| 멀티에이전트 (Multi-Agent) | 역할을 나눈 여러 에이전트가 협업·분업·검증하는 구성. | 6.7 |
| 오케스트레이션 (Orchestration) | 여러 에이전트·도구·단계의 흐름을 조율·제어하는 상위 로직. | 6.7 |
| 모델 컨텍스트 프로토콜 (Model Context Protocol, MCP) | 모델·에이전트가 외부 도구·데이터 소스에 붙는 방식을 표준화하려는 개방 프로토콜. 빠르게 채택되곤 있으나 아직 정착 중인 신흥 규약이다. | 6.7 |
| 멀티모달 (Multimodal) | 텍스트뿐 아니라 이미지·오디오 등 여러 양식을 입력·출력으로 다루는 것. | 6.8 |
| 비전-언어 모델 (Vision-Language Model, VLM) | 이미지와 텍스트를 함께 이해하는 멀티모달 모델. | 6.8 |
| 구조화 출력 (Structured Output) | 자유 텍스트가 아니라 JSON·스키마 등 정해진 형식으로 출력하게 하는 것. | 6.9 |
| 제약 디코딩 (Constrained Decoding) | 디코딩 단계에서 문법·스키마에 맞는 토큰만 허용해 형식을 강제하는 기법. | 6.9 |
| 문법 (Grammar / EBNF) | 허용되는 출력의 구조를 규칙으로 정의한 것. 제약 디코딩의 근거가 된다. | 6.9 |
A.4.9 제품·보안·비용·관측
모델을 실제 제품·서비스로 만드는 층(제7부, 7.1~7.6). UX·API·가드레일·보안·비용·관측성.
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| 스트리밍 (Streaming) | 완성 전 토큰을 실시간으로 흘려보내 체감 반응성을 높이는 응답 방식. | 7.1 |
| 세션·대화 상태 (Session / Conversation State) | 대화 이력·컨텍스트를 유지·관리하는 제품 측 상태. | 7.1 |
| API 게이트웨이 (API Gateway) | 인증·라우팅·쿼터·과금을 한곳에서 처리하는 LLM API의 관문. | 7.2 |
| 속도 제한 (Rate Limiting) | 사용자·테넌트별 요청·토큰 사용량에 상한을 두는 것. 구체 한도·정책은 벤더·플랜마다 다르다. | 7.2 |
| 폴백 (Fallback) | 모델·도구 호출이 실패·초과할 때 대체 경로(다른 모델·캐시·정형 응답)로 넘기는 설계. | 7.2 · 7.6 |
| 가드레일 (Guardrails) | 입력·출력을 정책에 맞게 검사·차단·교정하는 안전 장치의 총칭. | 7.3 |
| 콘텐츠 모더레이션 (Content Moderation) | 유해·금지 콘텐츠를 분류·필터링하는 것. | 7.3 |
| 프롬프트 인젝션 (Prompt Injection) | 입력·문서에 숨긴 지시로 모델의 원 지시를 뒤엎는 공격. LLM 특유의 최상위 위협. | 7.4 |
| 간접 프롬프트 인젝션 (Indirect Prompt Injection) | 모델이 읽는 외부 콘텐츠(웹·문서)에 악성 지시를 심는 변종. | 7.4 |
| 데이터 유출 (Data Exfiltration) | 프롬프트 인젝션 등으로 시스템 프롬프트·기밀·개인정보를 모델에서 빼내는 공격. | 7.4 |
| OWASP LLM Top 10 | LLM 애플리케이션의 대표 보안 위험을 추린 목록. 판이 개정되며 항목이 바뀌니 최신판을 기준으로 삼아야 한다. | 7.4 |
| PII (Personally Identifiable Information, 개인식별정보) | 개인을 특정할 수 있는 정보. 로그·학습·응답에서 어떻게 다루느냐가 규제·보안의 핵심. | 7.4 · 9.3 |
| 유닛 이코노믹스 (Unit Economics) | 요청·사용자·기능 단위의 수익-비용 구조. LLM 서비스 지속가능성의 핵심. | 7.5 |
| 토큰 경제학 (Token Economics) | 입·출력 토큰 수가 비용·지연·가격을 지배하는 구조에 대한 사고틀. | 7.5 |
| 관측성 (Observability) | 트레이스·로그·지표로 시스템의 내부 상태·품질을 관찰 가능하게 하는 것. | 7.6 |
| 트레이싱 (Tracing) | 한 요청이 거친 프롬프트·검색·도구·모델 호출의 경로를 기록·추적하는 것. | 7.6 |
| 온라인 평가 (Online Evaluation) | 실사용 트래픽에서 품질·회귀를 지속 측정하는 것. 오프라인 평가와 상호보완. | 7.6 · 4.2 |
A.4.10 운영·전략·법·윤리
서비스를 지속 개선·배포하고, 사업·법·윤리를 다루는 층(제8·9부, 8.1~9.4).
| 용어 (원어) | 뜻 (이 책 맥락) | 참조 |
|---|---|---|
| LLMOps | LLM 시스템의 데이터·모델·프롬프트·배포·모니터링을 아우르는 운영 실무. | 8.1 |
| 데이터 플라이휠 (Data Flywheel) | 사용 데이터로 모델·프롬프트·검색을 개선하고, 개선이 더 나은 데이터를 부르는 선순환. | 8.1 |
| 피드백 루프 (Feedback Loop) | 사용자 반응·평가를 수집해 시스템 개선으로 환류시키는 순환. | 8.1 |
| A/B 테스트 (A/B Testing) | 두 버전을 나눠 트래픽에 노출하고 지표로 우열을 판정하는 실험. | 8.2 |
| 카나리 배포 (Canary Release) | 소수 트래픽에 먼저 새 버전을 노출해 위험을 조기에 검출하는 점진 배포. | 8.2 |
| 회귀 (Regression) | 변경 후 이전에 되던 것이 나빠지는 것. 프롬프트·모델 교체에서 특히 주의. | 8.2 |
| 모델 라이프사이클 (Model Lifecycle) | 학습·검증·배포·모니터링·폐기에 이르는 모델의 전 생애 관리. | 8.3 |
| 파인튜닝 파이프라인 (Fine-Tuning Pipeline) | 데이터 준비→튜닝→평가→배포를 반복·재현 가능하게 구성한 운영 흐름. | 8.3 |
| 온프레미스 (On-Premises) | 자체 데이터센터·인프라에 모델을 배포·운영하는 형태. 통제·규제 대응이 강점. | 8.4 |
| 엣지 배포 (Edge Deployment) | 단말·현장 장치에서 모델을 실행하는 것. 지연·프라이버시 이점, 자원 제약이 대가. | 8.4 |
| Build vs Buy | 직접 학습·구축할지, API·솔루션을 살지의 전략적 갈림. 누구에게·언제 맞나로 판단. | 0.2 · 9.1 |
| 오픈 웨이트 (Open Weight) | 가중치가 공개된 모델. 공개가 곧 오픈소스는 아니다 — 라이선스가 상업적 사용·재배포를 제약할 수 있고, 학습 데이터·코드는 대개 함께 공개되지 않는다. | 9.2 |
| 라이선스 (License) | 모델·데이터의 사용·재배포·상업화 조건을 규정하는 법적 계약. 같은 "오픈"이라도 허용 범위가 모델마다 크게 달라 반드시 원문을 확인해야 한다. | 9.2 |
| 저작권 (Copyright) | 학습 데이터·생성물의 이용·귀속을 둘러싼 권리. 학습의 정당화, 산출물의 권리 귀속이 아직 미해결 쟁점으로 남아 있다. | 9.3 |
| 옵트아웃 (Opt-Out) | 자신의 데이터를 학습·처리에서 빼달라 요구할 권리·수단. 프라이버시 규제의 실무 접점. | 9.3 |
| EU AI Act | 위험 등급별로 AI를 규제하는 유럽연합 법. 적용 대상·의무·시행 시점은 조항과 개정에 따라 갈리니 원문 확인이 필요하다. | 9.3 |
| GDPR (General Data Protection Regulation) | EU 개인정보보호 규정. 학습·서비스의 데이터 처리 전반에 영향을 준다. | 9.3 |
| 거버넌스 (Governance) | 편향·안전·투명성을 조직 차원에서 정책·절차·책임으로 관리하는 체계. | 9.4 |
| 투명성 (Transparency) | 모델 카드·데이터 출처·한계 공개 등 시스템을 설명 가능하게 만드는 규범. 거버넌스·규제의 축. | 9.4 |
| 편향 (Bias) | 데이터·모델이 특정 집단·관점에 치우쳐 불공정한 출력을 내는 것. | 9.4 |
A.4.11 약어 빠른 찾아보기
본문에서 약어만 마주쳤을 때 알파벳 순으로 빨리 찾기 위한 색인이다. 뜻은 위 절들의 한 줄 정의와 함께 본다.
| 약어 | 원어 (풀이) | 참조 |
|---|---|---|
| ANN | Approximate Nearest Neighbor (근사 최근접 이웃) | 6.2 |
| AR | Autoregressive (자기회귀) | 1.1 |
| AWQ | Activation-aware Weight Quantization | 5.2 |
| BF16 | Brain Floating Point 16 | 2.6 |
| BPE | Byte-Pair Encoding | 1.2 |
| CoT | Chain-of-Thought (사고사슬) | 3.7 · 6.1 |
| DP | Data Parallelism (데이터 병렬) | 2.4 |
| DPO | Direct Preference Optimization | 3.5 |
| EP | Expert Parallelism (전문가 병렬) | 2.4 |
| FFN | Feed-Forward Network | 1.4 |
| FP8 | 8-bit Floating Point (부동소수 8비트) | 2.6 · 5.2 |
| FSDP | Fully Sharded Data Parallel | 2.4 |
| GDPR | General Data Protection Regulation | 9.3 |
| GPTQ | 사후학습 가중치 양자화 기법(논문명 유래) | 5.2 |
| GQA | Grouped-Query Attention | 1.6 |
| GRPO | Group Relative Policy Optimization | 3.5 · 3.7 |
| HHH | Helpful·Honest·Harmless | 3.1 |
| HNSW | Hierarchical Navigable Small World | 6.2 |
| ICL | In-Context Learning (인컨텍스트 학습) | 6.1 |
| INT8 | 8-bit Integer (정수 양자화) | 5.2 |
| ITL | Inter-Token Latency (토큰 간 지연) | 5.1 |
| KL | Kullback–Leibler divergence (KL 발산) | 3.4 |
| KV | Key-Value (키-값, 캐시) | 5.1 |
| LM | Language Model (언어모델) | 1.1 |
| LLM | Large Language Model (대규모 언어모델) | 1.1 |
| LoRA | Low-Rank Adaptation | 3.8 |
| MCP | Model Context Protocol | 6.7 |
| MHA | Multi-Head Attention (멀티헤드 어텐션) | 1.4 |
| MLA | Multi-Head Latent Attention | 1.6 |
| MoE | Mixture of Experts (전문가 혼합) | 1.6 |
| MQA | Multi-Query Attention (다중 질의 어텐션) | 1.6 |
| NCCL | NVIDIA Collective Communications Library | 2.5 |
| PEFT | Parameter-Efficient Fine-Tuning | 3.8 |
| PII | Personally Identifiable Information (개인식별정보) | 7.4 · 9.3 |
| PP | Pipeline Parallelism (파이프라인 병렬) | 2.4 |
| PPL | Perplexity (퍼플렉서티) | 1.1 |
| PPO | Proximal Policy Optimization | 3.4 |
| QLoRA | Quantized LoRA | 3.8 |
| RAG | Retrieval-Augmented Generation (검색증강생성) | 6.3 |
| ReAct | Reasoning + Acting | 6.6 |
| RLAIF | RL from AI Feedback | 3.6 |
| RLHF | RL from Human Feedback | 3.3 |
| RM | Reward Model (보상 모델) | 3.3 |
| RMSNorm | Root Mean Square Normalization | 1.5 |
| RoPE | Rotary Position Embedding (회전 위치 임베딩) | 1.5 |
| SFT | Supervised Fine-Tuning (지도 미세조정) | 3.2 |
| SSM | State Space Model (상태공간모델) | 1.6 |
| TP | Tensor Parallelism (텐서 병렬) | 2.4 |
| TPOT | Time Per Output Token (토큰당 시간) | 5.1 |
| TTFT | Time To First Token (첫 토큰 지연) | 5.1 |
| VLM | Vision-Language Model (비전-언어 모델) | 6.8 |
| ZeRO | Zero Redundancy Optimizer | 2.4 |