ChatGPT 같은 AI를 만들고 서비스하기: 원리부터 학습·정렬·추론·서빙·제품·운영·전략까지

이 책은 무엇인가

ChatGPT·Claude·Gemini 같은 대화형 AI(대규모 언어모델 기반 시스템)를 "어떻게 만들고, 어떻게 서비스로 굴리는가" 를 한 권에서 일관되게 다루는 심화 기술·실무·전략서다. 언어모델의 원리(트랜스포머·어텐션) → 사전학습(데이터·스케일링·분산학습) → 사후학습·정렬(SFT·RLHF·DPO·추론모델) → 평가 → 추론·서빙(양자화·배칭·vLLM) → 응용(프롬프트·RAG·에이전트·멀티모달) → 제품·서비스(챗 UX·API·안전·비용) → 운영·LLMOps → 사업·전략·법·윤리까지 전 스택을 관통한다.

"모델을 학습하는 수식"만 다루는 이론서도, "API를 호출하는 법"만 다루는 쿡북도 아니다. 기초 원리부터 서비스 운영까지를 관통해, 파운데이션 모델을 직접 학습하려는 사람과 남의 모델 위에 서비스를 구축하려는 사람 양쪽 모두가 "ChatGPT 같은 것이 어떻게 돌아가고 무엇을 결정해야 하는가"를 이해하게 하는 것이 목표다.

각 장은 직관(왜 필요한가) → 원리(어떻게 작동하나·수식·다이어그램) → 실무(코드·설정·수치) → 의사결정(트레이드오프) → 함정 → 요약·체크리스트를 기본 골격으로 한다.

독자와 전제

1차 독자: LLM 기반 제품·서비스를 만들려는 엔지니어(백엔드·ML·플랫폼·MLOps), AI 스타트업 창업자·기술리더(CTO·테크리드), LLM 파이프라인을 직접 손대는 리서처·데이터 사이언티스트, 도입·구축을 결정하는 아키텍트·PM.
2차 독자: LLM 내부를 이해하려는 대학원생·고급 학습자, 기술·비용·리스크를 이해해야 하는 기획·정책·투자 담당, 파인튜닝·서빙을 하려는 애플리케이션 개발자.
전제: 프로그래밍(Python)·기초 소프트웨어 공학은 안다고 가정. 선형대수·확률·미적분·신경망의 최소 배경은 부록(A.1)에서 필요한 만큼 복습하되, 없다고 좌초하지 않도록 본문에서 개념을 풀어 쓴다.

읽는 법 (역할별 경로)

처음부터 끝까지: LLM 시스템 전모를 익히려면 0.1부터 순서대로. 각 부는 앞 부의 토대 위에 쌓인다.
모델을 직접 학습·정렬하려는 리서처·ML 엔지니어: 제1부(기반)→제2부(사전학습)→제3부(사후학습·정렬)→제4부(평가). 서빙은 제5부.
남의 모델 위에 서비스를 구축하려는 애플리케이션·플랫폼 엔지니어: 제0부(개관)→제6부(응용: 프롬프트·RAG·에이전트)→제7부(제품·서비스)→제8부(운영). 필요 시 제5부(서빙)·제3부(파인튜닝만) 역참조.
도입·전략을 결정하는 창업자·아키텍트·PM: 제0부→제9부(사업·전략·법·윤리)→제7부(제품·비용). 기술 깊이는 필요할 때 각 부로 역참조.
엔드투엔드 실습: 작은 LLM 서비스 하나를 데이터→파인튜닝→서빙→제품까지 만드는 워크드 예제는 A.3. 실습 환경은 A.2.

정직성 고지 (이 책의 생명)

이 분야는 ① 모델·기법·SOTA가 몇 달 단위로 바뀌고(모델명·크기·벤치마크·컨텍스트 길이), ② 가격·요율·API 스펙·제품명이 수시로 개정되며, ③ 연구 결과가 재현·반박되기도 한다. 따라서:

시점·버전·수치·벤치마크·가격·모델명 등 변동 정보는 (확인 필요)로 표기하고 가능하면 시점을 병기한다. "지금 1등 모델은 X"식 단정을 피하고 원리·방법론에 무게를 싣는다 — 특정 모델은 예시로만.
연구 주장 · 검증된 공학 · 마케팅/통념을 구분해 라벨링한다(재현성·평가셋 오염 등 조건 명시).
Anthropic/Claude API의 구체 스펙(모델 ID·가격·rate limit·기능)은 claude-api 스킬을 단일 출처로 하고 기억으로 단정하지 않는다. 다른 벤더는 "공식 문서 확인 필요"로 라벨.

장 인덱스

제0부 — 개관

0.1: 왜 이 책인가 · ChatGPT 같은 시스템의 전체 지형 — 대화형 LLM 시스템이란 무엇이며 무엇으로 이루어지나, 이 책의 관점.
0.2: 전체 스택과 학습 지도 · build vs buy 첫 조망 — 원리→학습→서빙→제품의 층위, 만들 것인가 살 것인가의 첫 갈림.

제1부 — 기반: 언어모델과 트랜스포머

1.1: 언어모델이란 — 자기회귀·확률·다음 토큰 예측 — 언어를 확률로 모델링한다는 것의 의미, 왜 이것이 지능처럼 보이나.
1.2: 토큰화와 임베딩 — BPE·서브워드, 어휘·토큰 경제학, 임베딩 공간.
1.3: 신경망·최적화 복습 — LLM에 필요한 만큼 — 순전파·역전파·경사하강·손실, 트랜스포머를 읽기 위한 최소 배경.
1.4: 어텐션과 트랜스포머 — 셀프어텐션·QKV·멀티헤드, 블록 구조, 왜 트랜스포머가 이겼나.
1.5: 위치 인코딩·정규화·활성함수 — RoPE·ALiBi, LayerNorm/RMSNorm, GELU/SwiGLU, residual.
1.6: 현대 아키텍처 변형 — MoE·GQA/MQA/MLA·롱컨텍스트·SSM — 파라미터·KV·컨텍스트를 늘리는 구조 변형과 트레이드오프.
1.7: 샘플링·디코딩 — greedy·temperature·top-k/p·빔·반복 억제, 결정성·다양성 제어.

제2부 — 사전학습(Pretraining)

2.1: 사전학습 데이터 — 수집·정제·중복제거·품질·혼합 — 무엇을 얼마나 어떻게 섞나, 데이터가 곧 모델.
2.2: 스케일링 법칙 — Chinchilla·컴퓨트 최적 — 파라미터·데이터·컴퓨트의 관계, 얼마나 큰 모델을 얼마나 학습하나.
2.3: 학습 목표·루프·옵티마이저·LR 스케줄 — 언어모델 손실, AdamW, 웜업·코사인, 배치·시퀀스.
2.4: 분산학습 I — 병렬화·ZeRO/FSDP — 데이터·텐서·파이프라인·전문가 병렬, 메모리 분할.
2.5: 분산학습 II — 인프라·하드웨어·통신 — GPU 클러스터·인터커넥트·NCCL·체크포인팅, 실패 복구.
2.6: 학습 안정화 — 혼합정밀도·발산 대응 — FP16/BF16/FP8, 손실 스파이크·발산 진단과 대응.

제3부 — 사후학습·정렬(Post-training/Alignment)

3.1: 정렬 개관 — 왜 사전학습만으로는 부족한가 — 유용성·정직성·무해성, 정렬 파이프라인의 전체 그림.
3.2: SFT — 지도 미세조정·instruction tuning — 시연 데이터·대화 포맷·채팅 템플릿·손실 마스킹.
3.3: 보상 모델과 RLHF 개관 — 인간 선호·페어와이즈, 보상 모델 학습, RLHF 파이프라인.
3.4: PPO — 강화학습으로 정렬 — 정책·가치·KL 페널티·보상 해킹, RLHF의 RL 부분.
3.5: DPO와 변형 — IPO·KTO·ORPO·GRPO — 보상모델 없는 선호 최적화, 계보와 트레이드오프.
3.6: RLAIF·헌법적 AI(Constitutional AI) — AI 피드백·원칙 기반 정렬, 스케일 가능한 감독.
3.7: 추론 모델·test-time compute — o1/R1 계열, RL로 추론 유도, 사고사슬·검증·탐색으로 추론 시간에 성능을 산다.
3.8: PEFT — LoRA·QLoRA·어댑터 — 적은 자원으로 미세조정, 저랭크 근사·양자화 결합.
3.9: 증류·합성데이터 — 큰 모델로 작은 모델 가르치기, 합성데이터 생성·품질·붕괴 위험.

제4부 — 평가(Evaluation)

4.1: 벤치마크와 그 함정 — 표준 벤치마크·오염·오버핏, 점수를 믿는 법과 의심하는 법.
4.2: LLM-as-judge·자동 평가 — 모델로 모델 채점, 페어와이즈·편향·보정, 오프라인 평가 설계.
4.3: 안전성 평가·레드팀 — 위험 분류·탈옥·유해성 측정, 레드팀 방법론.

제5부 — 추론·서빙(Inference/Serving)

5.1: 추론 기초 — prefill/decode·KV 캐시·지연/처리량 — LLM 추론이 왜 특이한가, 지연·처리량의 근원.
5.2: 양자화 — INT8·FP8·GPTQ·AWQ — 정밀도를 낮춰 메모리·비용을 줄이는 법과 손실.
5.3: 배칭·speculative decoding·paged attention — continuous batching·투기적 디코딩·PagedAttention으로 처리량을 극대화한다.
5.4: 서빙 프레임워크 — vLLM·TGI·TensorRT-LLM·SGLang — 무엇이 무엇을 잘하나, 선택 기준.
5.5: 서빙 인프라·GPU 운영 — 오토스케일·멀티테넌시·GPU 스케줄링·용량 계획.
5.6: 롱컨텍스트·프리픽스 캐시·모델 라우팅 — 긴 입력의 비용, 캐시 재사용, 여러 모델로 라우팅.

제6부 — 응용: 프롬프트·RAG·에이전트

6.1: 프롬프트 엔지니어링 — 지시·예시·사고사슬·구조·시스템 프롬프트, 무엇이 실제로 통하나.
6.2: 임베딩·벡터 검색 — 임베딩 모델·ANN·벡터 DB, 의미 검색의 실제.
6.3: RAG I — 기본 파이프라인 — chunking·retrieval·컨텍스트 구성·생성, 왜·언제 RAG인가.
6.4: RAG II — 고급·평가 — rerank·hybrid·query 변환·graph RAG·검색 평가·환각 억제.
6.5: 함수 호출·도구 사용 — 툴 스키마·호출·결과 통합, 구조적 상호작용.
6.6: 에이전트 I — ReAct·계획·메모리 — 관찰·행동·반성 루프, 계획·메모리·상태.
6.7: 에이전트 II — 멀티에이전트·워크플로우·MCP — 오케스트레이션·역할 분업·도구 프로토콜(MCP).
6.8: 멀티모달 — 비전·음성·이미지 생성 통합 — 이미지·오디오 입력, 음성 대화, 이미지 생성의 결합.
6.9: 구조화 출력·제약 디코딩 — JSON·스키마 강제, 문법 제약·제약 디코딩.

제7부 — 제품·서비스(Product/Service)

7.1: 챗 제품 설계 — 대화 UX·스트리밍·세션·메모리 — 대화형 제품의 UX·상태·스트리밍·기억 설계.
7.2: API·플랫폼 설계 — 게이트웨이·인증·rate limit — LLM을 API로 제공하기, 멀티테넌시·쿼터·과금.
7.3: 안전·가드레일·콘텐츠 모더레이션 — 입출력 필터·정책·분류기, 안전과 유용성의 균형.
7.4: 보안 — 프롬프트 인젝션·탈옥·데이터 유출·OWASP LLM Top 10 — LLM 특유의 공격면과 방어.
7.5: 비용·유닛 이코노믹스·가격 설계 — 토큰 경제학, 마진·가격·용량, 비용 최적화.
7.6: 관측성·품질 모니터링 — 트레이싱·로깅·품질 지표·회귀 탐지·온라인 평가.

제8부 — 운영·LLMOps

8.1: 데이터 플라이휠·피드백 루프·지속 개선 — 사용 데이터로 모델·프롬프트·검색을 개선하는 순환.
8.2: 실험·A/B·릴리스·회귀 방지 — 프롬프트·모델·정책의 실험·배포·롤백.
8.3: 파인튜닝 운영·모델 라이프사이클 — 파인튜닝 파이프라인·버전·재현·거버넌스.
8.4: 온프레미스·프라이빗·엣지 배포 — 자체·프라이빗·온디바이스 배포의 제약과 방법.

제9부 — 사업·전략·법·윤리

9.1: build vs buy 전략 — 파운데이션 학습 vs 파인튜닝 vs API vs 오픈소스, 누구에게·언제 맞나.
9.2: 오픈소스·라이선스 생태계 — Llama·Mistral·Qwen·DeepSeek 등, 오픈 웨이트의 의미와 라이선스.
9.4: 윤리·편향·안전·거버넌스 — 편향·유해성·투명성·조직 거버넌스, 실무 리스크로서의 안전.

부록

A.1: 수학·배경 준비 — 선형대수·확률·미적분·정보이론·신경망의 최소 복습.
A.2: 실습 환경 셋업 — GPU·프레임워크·클라우드·주요 라이브러리 준비.
A.3: 엔드투엔드 워크드 예제 — 작은 LLM 서비스 하나를 데이터→파인튜닝→서빙→제품까지.
A.4: 용어집·약어 — 이 책의 핵심 용어·약어 정리.
A.5: 참고 자료·논문·출처 — 핵심 논문·표준 구현·공식 문서 포인터.

집필 현황

집필 완결(2026-07-18): 계획된 61개 장 전체 + 이 목차가 작성되었다(제0~9부 본문 0.1~9.4, 부록 A.1~A.5). 상세 이력은 CHANGES.md(CHG-01~08). 장 번호·구성은 개정 시 조정될 수 있으며, 신규 장은 끝 번호 뒤에 추가한다(기존 번호 무이동, CLD-03).