제3부 사후학습·정렬(Post-training/Alignment)

3.6 RLAIF·헌법적 AI(Constitutional AI)

무해한 AI를 만들려면 무엇이 유해한지를 모델에게 가르쳐야 하고, 그러려면 누군가가 유해한 것을 판별해 라벨을 달아야 한다. 지금까지의 정렬 파이프라인에서 그 "누군가"는 항상 사람이었다 — 시연 데이터를 쓰는 SFT(3.2), 인간 선호로 보상 모델을 학습하는 RLHF(3.3), 그 보상으로 정책을 미는 PPO(3.4), 보상 모델을 건너뛰는 DPO(3.5). 방법은 달라도 연료는 하나였다. 사람이 매긴 라벨. 그런데 폭력·자해·학대·불법 조언을 판별하는 라벨을 만들려면, 사람이 그 콘텐츠를 반복해서 읽어야 한다. "무해한 AI를 만들기 위해 사람에게 유해한 것을 계속 보인다"는 구조적 모순이 정렬의 핵심에 내재되어 있다.

이 장은 그 모순을 정면으로 다룬다. 인간 대신 AI가 피드백을 만들 수 있는가, 만들 수 있다면 어디까지가 이득이고 어디부터가 함정인가. 답의 두 축이 제목이다. 하나는 RLAIF(Reinforcement Learning from AI Feedback) — 인간 라벨러 자리에 AI 판정 모델을 삽입해 선호를 라벨링하는 것. 다른 하나는 헌법적 AI(Constitutional AI, CAI) — 명시된 원칙 집합("헌법")을 기준으로 모델이 자기 답을 스스로 비판·수정하게 하고, 그 산물로 두 단계 학습을 수행하는 것. 헌법적 AI는 Anthropic이 2022년 논문(Bai et al., Constitutional AI: Harmlessness from AI Feedback)으로 제안·검증한 방법이며, 이 장은 공개 문헌으로 확인 가능한 방법론에 무게를 싣는다. 특정 제품이 지금 어떤 원칙을, 어떤 모델로, 어떤 파라미터로 실행하는지의 구체 스펙은 시점마다 바뀌므로 여기서 지어내지 않고, 필요하면 원논문·공식 문서·claude-api로 확인하라고 정리해 둔다.

3.6.1 인간 라벨이 장벽에 부딪히는 세 지점

RLHF가 ChatGPT류를 만들어 냈지만, 그 연료인 인간 선호는 세 겹의 장벽에 동시에 부딪힌다. 세 장벽은 성격이 다르고, AI 피드백이 각각을 다루는 방식도 다르다.

첫째, 처리량과 비용. 인간 선호 데이터는 느리고 비용이 크다. 수만에서 수십만 건의 페어와이즈 비교를 훈련된 라벨러가 일관된 기준으로 매겨야 하고, 모델을 개선할 때마다 새 분포의 응답에 대해 다시 라벨링해야 한다 — 정책이 바뀌면 선호도 갱신해야 하는 온-폴리시 특성(3.3) 때문이다. 숫자로 개략을 파악해 보자. 훈련된 라벨러가 응답 쌍 하나를 읽고 판정하는 데 45초가 걸리고 하루 6시간을 실제로 라벨링에 쓴다면, 하루 처리량은 $6 \times 3600 / 45 = 480$ 쌍이다. 10만 쌍 규모의 선호 데이터셋 하나를 만들려면 $100{,}000 / 480 \approx 208$ 라벨러·일 — 라벨러 10명을 투입해도 약 21 근무일, 한 달이다. 그리고 이것은 한 번의 라벨링이다. 정책을 업데이트할 때마다 이 한 달이 되풀이된다. 인간 라벨이 정렬 파이프라인에서 가장 비용이 큰 병목 중 하나라는 것은 이 계산에서 나온다.

둘째, 유해 콘텐츠 라벨링의 인적 부담. 이것은 단가 이전의 문제다. 무해성을 학습시키려면 무엇이 유해한지를 라벨링해야 하고, 그러려면 사람이 폭력·자해·학대·불법 조언 같은 콘텐츠를 반복적으로 읽고 판별해야 한다. 콘텐츠 모더레이션 노동의 심리적 부담은 잘 알려져 있다(7.3의 모더레이션, 4.3의 위험 분류와 연결). AI 피드백의 첫 번째 동기가 비용 절감이라고 생각하기 쉽지만, 실은 이 인적 부담을 줄이는 것이 먼저다 — 원칙 몇 개만 사람이 쓰고 유해성 판별은 AI에 넘기면, 사람이 유해 콘텐츠를 반복 열람할 일이 크게 줄어든다. 이 동기를 놓치면 CAI를 "싸니까 쓴다"로 오해하게 된다.

셋째, 초인적 과제에서의 감독 불가능성. 가장 근본적인 장벽은 모델이 사람보다 잘하게 되는 영역에서 나타난다. 긴 코드베이스의 미묘한 버그, 수백 페이지 문서의 사실성, 전문 분야의 정확도 — 여기서는 인간 라벨러가 두 응답 중 어느 쪽이 실제로 더 나은지 판별하기가 어려워진다. 감독자가 피감독자보다 약할 때 어떻게 정렬을 유지하는가, 이것이 확장 가능한 감독(scalable oversight) 문제다. 미해결 연구 문제이지 풀린 문제가 아니다.

$$\underbrace{\text{모델 능력}}_{\text{빠르게 상승}} \quad \text{vs.} \quad \underbrace{\text{인간 감독 능력}}_{\text{거의 고정}}$$

두 곡선이 벌어질수록 "사람이 직접 매긴 선호"만으로 정렬을 밀고 가기 어려워진다. 세 장벽에 대한 대응 방향은 하나로 수렴한다 — 인간의 얇은 입력(원칙 몇 개, 소수의 검수)을 기반으로 삼아, AI가 그 기준에 따라 많은 라벨을 스스로 만들게 하는 것. 감독을 대체하는 것이 아니라 증폭(amplify) 한다.

RLAIF와 헌법적 AI는 이 증폭 방향의 두 구체 방법이지, 확장 가능한 감독 문제의 해결책은 아니다. AI 피드백이 인간 감독을 완전히 대체할 수 있다는 주장은 — 특히 초인적 과제에서 — 검증되지 않았고, 이 장 후반의 한계 논의에서 다시 다룬다.

3.6.2 인간이 사라지는 것이 아니라 위치를 옮긴다

핵심 전환은 단순하다. RLHF에서 선호 라벨을 만드는 주체를 바꾼다.

$$\text{RLHF: } (y_A, y_B) \xrightarrow{\ \text{인간 라벨러}\ } y_w \succ y_l \qquad\Longrightarrow\qquad \text{RLAIF: } (y_A, y_B) \xrightarrow{\ \text{AI 판정 모델}\ } y_w \succ y_l$$

여기서 첫 오해를 걷어내야 한다. "AI 피드백"은 "인간이 사라진다"가 아니다. 인간은 더 얇지만 효과가 훨씬 큰 곳으로 이동한다. RLHF에서 인간은 응답 쌍 수만~수십만 건을 직접 비교하고, 유해 콘텐츠를 반복 열람해 라벨을 달고, 정책이 갱신될 때마다 재라벨링했다. AI 피드백 방식에서 인간은 원칙(헌법)을 몇 개에서 수십 개 작성하고, 소수 표본을 검수하고, 판정 모델을 신뢰할 수 있는지 검증한다. 유해성 판별은 AI에 위임되고, 원칙을 고치면 AI가 재라벨링을 자동 수행한다. 인간의 역할이 "많은 개별 판정"에서 "소수의 원칙 명세와 감사"로 옮겨간 것이다. 이 이동이 확장성의 원천이자, 동시에 뒤에서 볼 위험(누구의 원칙인가)의 원천이기도 하다.

AI 피드백에는 스펙트럼이 있다. 한쪽 끝은 표준 RLHF로 라벨이 전부 인간이다. 반대쪽 끝은 완전 AI 피드백으로, 선호 라벨 전부를 AI가 생성하고 인간은 원칙과 검수만 한다. 그 사이에 혼합이 있는데, 유용성(helpfulness)은 인간 선호로 두고 무해성(harmlessness)은 AI 피드백으로 넘기는 방식이 원논문 CAI가 취한 배치다 — 인간 열람이 부담스러운 쪽을 AI에 넘기고, 미묘한 가치 판단이 걸린 쪽은 인간을 남긴다. 어느 지점을 택할지는 과제·리스크·규제에 달렸고, 이 판단은 이 장 마지막 절에서 편다. 지금은 RLAIF와 CAI가 이 스펙트럼 위의 두 구체 방법이라는 지도만 정리해 두자.

3.6.3 RLAIF는 RLHF의 라벨 소스를 바꾼 것이다

RLAIF를 RLHF와 나란히 놓으면 단 한 블록만 바뀐다. 보상 모델 학습과 RL 부분(3.3·3.4)은 그대로 재사용된다.

바뀐 것은 한 블록(인간 라벨러 → AI 판정 모델)뿐이다. 그래서 RLAIF는 "새로운 알고리즘"이라기보다 RLHF의 라벨 소스 교체에 가깝다. 이 점이 중요한 이유는, RLHF에서 쌓은 인프라(보상 모델 학습 코드, PPO 루프, KL 페널티, 로그 파이프라인)를 거의 그대로 재사용할 수 있다는 뜻이기 때문이다. 정렬 팀이 RLHF를 이미 수행하고 있다면 RLAIF로의 전환 비용은 라벨 생성 단계 하나를 바꾸는 것으로 국한된다.

AI 판정 모델은 사실 4.2의 LLM-as-judge를 정렬에 쓰는 것이다. 프롬프트로 원칙·루브릭을 주고 두 응답 중 어느 쪽이 그 기준에 부합하는지 고르게 한다. 개략적인 판정 프롬프트는 이렇게 생겼다 — 아래 원칙 문구는 형태만 보이기 위한 설명용 예시이지 실제 헌법 문구가 아니다.

[판정 지침]
아래 원칙에 비추어 두 응답 중 더 나은 쪽을 고르라.
원칙: "응답은 도움이 되어야 하되, 위험하거나 비윤리적이거나
       불법적인 행위를 조장·조력해서는 안 된다."

[대화]
사용자: {프롬프트}

[응답 A]
{y_A}

[응답 B]
{y_B}

[출력] 원칙에 더 부합하는 쪽의 라벨만: "A" 또는 "B"

3.6.4 하드 라벨과 소프트 라벨 — 왜 판정 확률이 중요한가

판정 모델의 출력을 보상 모델 학습으로 잇는 데는 두 갈래가 있고, 이 갈래 선택이 학습의 안정성을 바꾼다.

하드 라벨은 판정 모델이 "A" 또는 "B"를 고르면 그것을 그대로 선호쌍 $y_w \succ y_l$ 로 삼는다. 보상 모델 손실은 RLHF와 완전히 같은 Bradley–Terry 손실이다. Bradley–Terry 모형은 두 응답의 선호 확률을 보상 차이의 시그모이드로 놓는다.

$$P(y_w \succ y_l \mid x) = \sigma\big(r_\theta(x, y_w) - r_\theta(x, y_l)\big), \qquad \sigma(z) = \frac{1}{1 + e^{-z}}$$

승자 $y_w$ 가 확정돼 있으면 이 확률의 음의 로그우도가 곧 손실이다.

$$\mathcal{L}_{\text{RM}}^{\text{hard}} = -\log \sigma\big(r_\theta(x, y_w) - r_\theta(x, y_l)\big)$$

여기서 $(y_w, y_l)$ 의 출처가 인간이 아니라 AI라는 점만 RLHF와 다르다. 문제는 이 손실이 보상 마진 $\Delta = r_\theta(x, y_w) - r_\theta(x, y_l)$ 을 어디까지 최적화하느냐다. 손실을 $\Delta$ 로 미분하면

$$\frac{\partial \mathcal{L}^{\text{hard}}}{\partial \Delta} = -\big(1 - \sigma(\Delta)\big) = -\sigma(-\Delta)$$

이고, 이 값은 모든 유한한 $\Delta$ 에서 음수다. 즉 경사하강은 $\Delta$ 를 무한대로 높이려 한다. 마진이 클수록 손실이 계속 줄기 때문이다. 하드 라벨에서 보상 모델이 과신(overconfidence)에 빠지기 쉬운 이유가 여기 있다 — 실제로는 근소한 차이인 두 응답에 대해 보상 마진을 터무니없이 크게 벌리고, 그 부풀린 마진이 뒤이은 RL에서 보상 해킹의 표적이 된다.

소프트 라벨은 이 문제를 정면으로 완화한다. 판정 모델이 "A"에 부여한 확률 $p = P(A \succ B)$ 을 선호의 세기로 쓴다 — 토큰 로그확률에서 유도하거나, 판정 모델에게 직접 확신도를 물어 얻는다. 그러면 타깃 분포가 $(p, 1-p)$ 인 교차엔트로피가 손실이 된다.

$$\mathcal{L}_{\text{RM}}^{\text{soft}} = -\Big[\, p \log \sigma(\Delta) + (1-p)\log \sigma(-\Delta) \,\Big]$$

이 손실이 어디에 정착하는지를 직접 따라가 보자. $\Delta$ 로 미분하면

$$\frac{\partial \mathcal{L}^{\text{soft}}}{\partial \Delta} = -\Big[\, p\,\sigma(-\Delta) - (1-p)\,\sigma(\Delta) \,\Big] = \sigma(\Delta) - p$$

이고, 이것을 0으로 놓으면 최적점이 나온다.

$$\sigma(\Delta^\star) = p \quad\Longrightarrow\quad \Delta^\star = \operatorname{logit}(p) = \ln\frac{p}{1-p}$$

판정 모델이 "A가 나을 확률 0.8"이라고 했다면 $\Delta^\star = \ln(0.8/0.2) = \ln 4 \approx 1.386$ 에서 손실이 최소가 된다. 보상 마진이 무한대가 아니라 유한한 값에 park된다. 판정이 애매할수록($p \to 0.5$) 마진은 0에 가깝게($\ln 1 = 0$) 억제되고, 판정이 확신에 찰수록 마진이 커지되 여전히 유한하다. 하드 라벨은 $p=1$ 에 해당해 $\Delta^\star \to \infty$, 즉 무한대로 미는 극단이다. CAI의 RL 단계가 소프트 선호를 쓰는 것이 우연이 아니다 — AI 판정에는 노이즈가 섞여 있고, 그 노이즈를 확신도로 표현해 보상 모델에 전달하면 마진이 판정의 신뢰도만큼만 벌어져 과신과 보상 해킹이 함께 억제된다. 물론 이것은 판정 모델의 확률이 실제 정답 확률에 잘 보정(calibrated)돼 있을 때의 이야기다. 보정이 어긋나면 소프트 라벨의 이점도 어긋난다(4.2).

3.6.5 보상 모델을 거칠 것인가, 건너뛸 것인가

AI 선호를 얻은 뒤에는 세 갈래가 있고, 파이프라인 복잡도와 실패 양상이 다르다.

첫째는 RM → RL 경로다. AI 선호로 보상 모델을 학습하고, 그 RM으로 PPO/GRPO(3.4)를 실행한다. 원논문 계열의 표준이며, 보상 모델이 개별 판정을 부드럽게 일반화해 준다는 이점이 있다 — 판정 모델이 놓친 케이스도 RM이 학습한 패턴으로 메운다.

둘째는 RM 없이 직접 최적화다. AI 선호쌍을 DPO(3.5)에 그대로 입력한다. 별도 RM·RL 루프 없이 선호쌍만으로 정책을 갱신하므로 파이프라인이 눈에 띄게 단순해진다. "RLAIF 선호 + DPO"는 실무에서 흔한 절충이고, RM 학습·PPO 인프라가 없는 팀이 AI 피드백을 도입하는 가장 빠른 길이다. 다만 DPO는 온라인 탐색이 없어 분포 이동·해킹 양상이 PPO와 다르므로, 어느 쪽이 맞는지는 3.4·3.5의 트레이드오프로 판단한다.

셋째는 판정 모델을 보상으로 직접 쓰는 변형(d-RLAIF 계열) 이다. 별도 RM을 학습하지 않고 판정 모델의 출력을 매 스텝 보상으로 바로 쓴다 — 연구에서 제안된 접근이며, RM 학습을 생략하는 대신 판정 모델을 매 스텝 호출하는 비용과 판정 노이즈가 직접 정책에 들어오는 위험을 진다. RM 학습 생략의 장단은 과제·비용 조건에 의존한다.

어느 경로든 KL 페널티는 유지된다(3.4). AI 피드백은 보상 신호의 품질을 바꿀 뿐, "정책이 참조 모델에서 너무 멀어지면 보상 해킹이 일어난다"는 RL의 근본 함정은 그대로다. 오히려 뒤에서 보듯 AI 판정이라는 대리 지표를 해킹할 위험이 새로 생기므로, KL 페널티의 역할은 RLAIF에서 더 중요해진다.

3.6.6 RLAIF는 RLHF만큼 좋은가

이것이 핵심 질문이고, 여기서 조심해야 한다. 일부 연구(예: Lee et al., 2023)는 요약 등 특정 과제에서 RLAIF가 RLHF와 대등하거나 근접한 성능을 보였다고 보고했다. 하지만 이 결과는 과제·모델·평가셋 조건에 강하게 의존하며, "RLAIF ≥ RLHF"로 일반화하면 세 가지 지점에서 붕괴한다.

판정 모델이 충분히 유능해야 한다. 약한 판정 모델의 선호는 노이즈이고, 노이즈로 학습한 보상은 정책을 잘못된 곳으로 민다. 초인적 과제에선 이 전제 자체가 깨진다 — 판정 모델도 사람만큼 우열을 판별하지 못하는 영역이라면, AI 피드백은 문제를 옮길 뿐 풀지 못한다. 이것이 확장 가능한 감독 문제가 RLAIF에서 재등장하는 지점이다.

평가의 순환 오염. RLAIF로 학습한 모델을 다시 LLM-as-judge로 평가하면(4.2), 학습과 평가가 같은 편향을 공유해 점수가 부풀 수 있다. 같은(또는 유사) 계열의 판정 모델이 학습 신호와 평가 점수를 둘 다 만들면, 정책이 실제로 좋아진 것과 "판정 모델이 좋아 보인다고 착각하게 만드는 것"이 분리되지 않는다. 벤치마크 숫자가 오르는데 사람 눈에는 나아진 것이 없는 상황이 여기서 나온다.

주관적·맥락 의존적 선호. 미묘한 톤, 창의성, 문화 민감성이 걸린 판단은 여전히 인간이 나을 수 있다. 무엇이 "도움이 되는" 답인지는 사용자와 맥락에 따라 갈리는데, 단일 판정 모델의 기준이 이 다양성을 뭉갤 수 있다.

이 셋을 종합하면 정확한 이해는 이렇다 — RLAIF는 "인간을 지운다"가 아니라 "인간 라벨을 어디에 쓸지 재배분한다". 유해성 판별처럼 인간 부담이 크고 원칙화가 쉬운 곳부터 AI로 넘기고, 미묘한 유용성·가치 판단은 인간을 남기는 혼합이 현재로선 안전한 기본값이다. 근거는 판정 모델 편향 전이의 위험과 확장 가능한 감독이 미해결이라는 두 사실이다.

3.6.7 헌법적 AI — 원칙을 밖에 꺼내고, 모델이 스스로 고친다

RLAIF가 "판정을 AI로"라면, 헌법적 AI는 여기에 두 가지를 더한다.

원칙을 명시한다. 판정·수정의 기준을 자연어 원칙 집합(헌법)으로 밖에 꺼내 놓는다. "무엇이 좋은 응답인가"가 라벨러 머릿속의 암묵지가 아니라 읽고 고칠 수 있는 문서가 된다. 표준 RLHF에서 그 기준은 수만 명분 라벨러 판단의 통계적 집합에 흩어져 있어 사실상 블랙박스인데, 헌법에서는 그 기준이 명시된 문장 목록이라 읽고·감사하고·토론하고·고칠 수 있다.

모델이 스스로 고친다. 유해할 수 있는 응답을 원칙에 비추어 자기비판(critique)하고 수정(revision)하게 해서, 그 수정 결과를 학습 데이터로 쓴다. 이 자기수정이 CAI를 단순한 RLAIF와 구분 짓는 핵심이다.

전체는 2단계 파이프라인이다. 먼저 이름부터 정하자. SL 단계(Supervised Learning stage) 는 자기비판→수정으로 만든 개선된 응답으로 SFT를 수행한다 — "덜 유해하게 다시 쓴 답"을 모방 학습하는 것이다. RL 단계(Reinforcement Learning stage) 는 AI 판정으로 만든 선호쌍으로 RL을 수행한다 — 이것이 "RL from AI Feedback", 즉 CAI 안에 RLAIF가 들어 있는 구조다. 아래의 2단계 구조와 자기비판 루프는 원논문의 방법론을 개념적으로 옮긴 것이며, 실제 원칙 목록·프롬프트 문구·모델·하이퍼파라미터는 구현·시점마다 다르므로 여기서 못 박지 않는다.

3.6.8 자기비판 → 수정 루프와, 그것이 통하는(그리고 깨지는) 이유

SL 단계가 학습할 데이터를 만드는 루프가 CAI의 상징적 그림이다. 유해할 수 있는 프롬프트에 대해 모델이 처음 답하고, 헌법 원칙 하나를 무작위로 골라 그 관점에서 자기 답을 비판한 뒤, 비판을 반영해 다시 쓴다. 필요하면 다른 원칙을 뽑아 반복한다.

핵심 기법은 원칙을 매번 하나(또는 소수)씩 무작위로 끌어와 비판·수정의 렌즈로 쓴다는 점이다. 원칙 전부를 한꺼번에 프롬프트에 넣지 않는 데는 이유가 있다 — 수십 개 원칙을 동시에 주면 모델이 그중 몇 개에만 반응하고 나머지는 무시하기 쉬운데, 하나씩 샘플링하면 각 원칙이 독립적인 렌즈로 작동해 다양한 실패 모드를 골고루 포착한다. 이렇게 (프롬프트, 최종 수정 응답) 쌍이 쌓이면, 이 쌍들이 곧 "원칙에 부합하도록 스스로 다듬은 답"의 시연 데이터가 된다.

왜 자기수정이 애초에 통하는가. 직관은 생성과 검증의 비대칭에 있다. 모델은 좋은 답을 처음부터 생성하는 것보다, 주어진 답의 문제를 지적하고 고치는 것을 더 잘하는 경향이 있다 — 답을 눈앞에 두고 "이게 이 원칙을 어겼나?"를 판단하는 것은 백지에서 완벽한 답을 만들어 내는 것보다 쉬운 과제다. CAI는 이 비대칭을 기반으로 삼아, 비판·수정으로 원래 모델보다 나은 데이터를 스스로 만들어 SFT에 입력한다. 같은 비대칭이 3.7의 test-time compute — 추론 시간에 더 생각해 성능을 사는 계열 — 의 밑바탕이기도 하다.

그런데 이것은 경향이지 보장이 아니고, 언제 깨지는지가 중요하다. 모델이 못 보는 문제는 비판에서도 놓친다. 자기비판의 판별력은 결국 그 모델의 지식·능력에 갇혀 있다. 모델의 능력 밖에 있는 오류 — 미묘한 사실 오류, 전문 영역의 위험, 교묘하게 숨은 논리적 결함 — 는 자기비판으로 검출되지 않는다. 자기평가는 자기 능력의 상한에 갇힌다는 뜻이고, 이것은 3.6.1에서 본 확장 가능한 감독 문제가 CAI 내부에서 재등장하는 것이다. 자기수정은 "모델이 이미 원칙을 적용할 능력은 있는데 기본 응답에서 그러지 않았을 때"만큼만 이득을 준다 — 능력 자체가 없는 곳에서는 백 번 자기비판해도 나아지지 않는다.

3.6.9 2단계 파이프라인 전체 — SL-CAI에서 RL-CAI로

두 단계를 이어 붙이면 CAI 전체가 된다. SL 단계가 "합리적으로 무해하지만 아직 거친" 출발점을 만들고, RL 단계가 그 위에서 AI 선호로 다듬는다.

SL 단계가 왜 따로 필요한지가 자주 오해되는 지점이다. RL은 좋은 초기점에서 출발할 때 훨씬 안정적이다 — 기본 모델이 유해 유발 프롬프트에 노골적으로 문제 있는 답을 내는 상태에서 곧장 RL을 적용하면, 정책이 탐색해야 할 공간이 너무 넓고 초기 보상 신호가 험해 학습이 불안정해진다. SL 단계가 먼저 "일단 무해하게 다시 쓴 답"을 모방하게 해 정책을 합리적인 출발점으로 옮겨 놓으면, RL 단계는 그 위에서 미세한 선호로 다듬기만 하면 된다. 두 단계의 역할 분담을 요약하면:

두 단계 모두 인간이 유해 콘텐츠를 직접 라벨링하지 않고 원칙만 준다. SL 단계에서는 모델이 스스로 고친 답을 모방하고, RL 단계에서는 판정 모델이 원칙에 따라 고른 선호로 강화한다. 이것이 CAI가 "인간 유해 라벨 최소화"를 달성하는 정확한 방식이다.

3.6.10 "헌법"이란 무엇인가 — 원칙의 형태·출처·투명성

헌법은 거창한 이름이지만 실체는 자연어로 쓴 규칙들의 목록이다. 각 원칙은 비판·판정 때 프롬프트에 삽입해 쓰는 짧은 문장이다. 형태만 개략적으로 보이면 아래와 같은데, 다시 강조하지만 실제 헌법 문구가 아니라 형태를 보이기 위한 설명용 예시다.

원칙(예시 — 실제 헌법 문구가 아님, 형태만 보이기 위한 것):
- "가장 도움이 되면서도 정직하고 무해한 응답을 고르라."
- "위험하거나 불법적인 행위를 조력·조장하지 않는 응답을 고르라."
- "특정 집단에 대한 차별·비하가 덜한 응답을 고르라."
- "사용자를 조종하거나 오도하지 않는 응답을 고르라."

원칙의 출처는 헌법 설계의 핵심이자 논쟁거리다(9.4과 직결). 공개 문헌에서 언급된 출처의 범주는 몇 가지다 — 세계인권선언 같은 광범위 합의 문서에서 원칙을 유도했다고 원논문이 밝힌 사례, 플랫폼 정책·이용약관에서 파생된 안전 규칙, 연구·경험으로 도출한 유해성 회피·유용성 유지 원칙, 그리고 최근에는 공개 숙의·시민 참여로 원칙을 모으는 실험. 구체 목록과 각 출처의 비중은 시점마다 다르므로 필요하면 공식 문서로 확인해야 한다. 여기서 정직해야 할 지점은 이것이다 — 어떤 문서를 참조해도, 그 문서를 고르고·해석하고·우선순위를 매기는 것은 결국 사람(조직)이다. 헌법은 가치 선택을 없애지 않고 명시화할 뿐이다.

그럼에도 헌법 방식의 실제 이점은 가치가 문서로 밖에 나온다는 데 있다. 표준 RLHF에서 "무엇이 좋은 답인가"는 집계된 라벨러 판단에 흩어져 읽을 수 없지만, 헌법에서는 그 기준이 명시된 원칙 목록이라 읽고·감사하고·토론하고·고칠 수 있다. 원칙을 바꾸면 재라벨링을 AI가 자동 수행하므로 정책 반복이 빠르다(8.1의 플라이휠, 8.2의 릴리스와 결합).

하지만 투명성에는 두 겹의 한계가 있다. 첫째, 문서화가 준수를 뜻하지는 않는다. 원칙을 써 뒀다고 모델이 그대로 지키는 것은 아니다. 원칙 텍스트는 투명하지만, 모델이 그 원칙을 어떻게 해석·적용하는지는 다시 신경망 안에 있어 불투명하다. 둘째, 원칙끼리 충돌한다. "가장 도움이 되게"와 "무해하게"는 자주 충돌한다 — 정당한 의료·보안 질문에 대한 과잉 거부가 대표적이다(7.3의 유용성·안전 균형). 헌법은 이 충돌을 드러낼 뿐, 자동으로 해소하지는 못한다. 어느 원칙이 언제 우선하는지는 여전히 설계·평가로 정해야 한다.

3.6.11 무엇을 얻나 — 장점의 정확한 경계

AI 피드백·헌법적 접근이 실제로 주는 것을 정리하면 넷인데, 각각 어떤 조건에서 성립하는지가 중요하다.

인간 유해 라벨 최소화가 첫째이자 가장 중요한 이득이다. 무해성 판별을 AI에 위임해, 사람이 유해 콘텐츠를 반복 열람하는 부담을 크게 줄인다. 앞서 말했듯 이것은 비용보다 먼저 오는 윤리적 이유다.

둘째는 확장성이다. 라벨을 AI가 생성하므로 인간 라벨러 처리량에 묶이지 않는다. 3.6.1의 계산으로 돌아가 보자. 인간 라벨러 10명이 한 달 걸려 만든 10만 쌍을, AI 판정 모델은 어떻게 처리하는가. 각 판정이 프롬프트(지침 + 두 응답) 약 1,500 입력 토큰과 라벨·간단한 근거 약 200 출력 토큰을 쓴다면, 10만 건은 입력 150M 토큰, 출력 20M 토큰이다. 발표 시점 공개된 Opus급 단가를 대략 입력 100만 토큰당 5달러, 출력 100만 토큰당 25달러로 가정하면(최신 단가는 공식 문서·claude-api로 확인) 비용은 $150 \times 5 + 20 \times 25 = 750 + 500 = 1{,}250$ 달러 수준이고, 병렬 서빙으로 몇 주가 아니라 몇 시간에 끝난다. 소프트 라벨을 토큰 로그확률로 뽑으면 출력 토큰이 거의 안 들어 더 저렴해진다. 응답이 길어 토큰이 10배가 되어도 1만 달러대·몇 시간대다. 두세 자릿수의 처리량·비용 차이가 여기서 나오고, 새 분포·새 정책에도 재라벨링을 자동화할 수 있다. 다만 이 계산의 요점은 절대 금액이 아니라 인간 라벨과의 자릿수 차이라는 점을 기억하자 — 단가는 수시로 바뀐다.

셋째는 원칙의 투명성과 조종 가능성이다. 가치 기준이 문서화되어 감사·수정이 가능하고, 원칙을 고쳐 행동을 빠르게 조종(steer)할 수 있다.

넷째는 일관성이다. 잘 정의된 원칙과 유능한 판정 모델은 인간 라벨러 간 편차·피로·주관 변동보다 일관된 기준을 줄 수 있다. 단, 이 일관성에는 대가가 있다 — 판정 모델 자체의 편향도 그만큼 일관되게 출력된다는 것이다. 다음 절에서 이 대가를 정면으로 본다. "AI 피드백은 사람보다 싸니까 무조건 낫다"는 과장이다. 저렴한 것은 맞지만, 장점은 특정 조건 — 원칙화가 쉬운 무해성, 유능한 판정 모델 — 에서 두드러질 뿐 범용 해법이 아니다.

3.6.12 한계와 논쟁 — 숨기지 않고 편다

이 계열의 방법에는 진지한 논쟁과 미해결 위험이 따른다. 세 개의 열린 문제와 한 개의 통념이 있다.

누구의 원칙인가 — 가치 선택 문제. 가장 큰 논쟁이다. 헌법은 가치 선택을 명시화하지만 없애지 못한다. 원칙을 누가, 어떤 절차로 고르는가. 소수 조직이 정하면 그 조직의 가치가 전 세계 사용자에게 부과된다. "무해"의 정의는 문화·법·맥락마다 다른데 단일 헌법이 이를 뭉갤 수 있다. 광범위 합의 문서(인권선언 등)를 참조해도 선택·해석·우선순위는 사람이 하므로, 중립을 가장한 가치 부과가 될 수 있다. 공개 숙의로 원칙을 모으는 실험은 이 문제에 대한 응답 시도지만, 누가 참여하고 누가 최종 결정하는가의 문제는 남는다. 이것은 기술이 답하지 못하는 규범 문제이며(9.4과 직결), "헌법을 썼으니 객관적"이라는 인상이 오히려 위험하다.

모델 편향의 자기 전이와 증폭. AI가 피드백을 만들면 판정 모델의 편향이 그대로 선호 라벨에 스며들고, 학습을 통해 정책에 전이·증폭된다. 여기서 인간 라벨과의 결정적 차이를 숫자로 따져 보자. 인간 라벨은 라벨러가 다양하면 개별 특이 편향이 평균화된다 — 라벨러 $k$ 명이 각자 표준편차 $\sigma_b$ 의 독립적 특이 편향을 가진다면, 패널 평균의 특이 편향은 표준편차가 $\sigma_b / \sqrt{k}$ 로 줄어든다. $k=10$, $\sigma_b = 5$ 퍼센트포인트면 패널 평균은 약 $5/\sqrt{10} \approx 1.6$ 퍼센트포인트로 줄어든다. 반면 단일 판정 모델은 $k=1$ 이라 이 상쇄가 전혀 없고, 더 나쁜 것은 특이 편향이 아니라 체계적 편향은 $\sqrt{k}$ 완화의 대상조차 아니라는 점이다 — 판정 모델의 체계적 편향은 10만 개 라벨 전부에 동일한 방향으로 그대로 기록된다. 일관성의 대가가 편향의 단일화다. 특히 같은(또는 유사) 모델이 생성도 하고 판정도 하면, 모델이 자기 스타일을 선호하는 자기편애(self-preference)가 생겨 실제 품질과 무관하게 특정 형태를 강화할 수 있다(4.2의 LLM-judge 편향과 동일 문제 — 위치 편향, 장황함 편향, 형식 편향이 여기 포함된다).

자기평가의 상한과 판정의 해킹. CAI의 전제는 "모델이 자기 답의 문제를 비판·수정할 수 있다"인데, 이는 경향이지 보장이 아니다(3.6.8). 모델이 못 보는 문제는 자기비판으로 안 검출되고, 자기평가는 자기 능력의 상한에 갇힌다. 여기에 더해, AI 판정을 보상으로 쓰면 그 판정 자체가 해킹 대상이 된다. 정책이 실제로 더 무해해지기보다 "판정 모델이 무해하다고 착각하게 만들기"를 학습할 수 있다 — 보상 해킹(3.4)의 AI 피드백 판본이다. KL 페널티는 완화책일 뿐 근본 해법이 아니고, 소프트 라벨(3.6.4)이 마진 폭주를 억제해 도움을 주지만 판정 모델의 사각지대까지 메우지는 못한다.

"AI가 인간을 대체한다"는 통념. 마지막으로 큰 오해를 교정한다. AI 피드백은 인간을 파이프라인에서 제거하지 않는다. 인간은 여전히 원칙을 설계·검토·개정하고, 판정 모델을 신뢰할 수 있는지 검증하며, 레드팀으로 실패를 발굴한다(4.3). 노동이 "많은 개별 라벨"에서 "소수의 고레버리지 명세·감사"로 옮겨갈 뿐 사라지지 않는다. 오히려 원칙 하나가 대량의 라벨로 증폭되기 때문에 원칙 설계·검증의 책임은 더 무거워진다. 완전 자동화는 미검증이며, 특히 초인적 과제에서 인간 감독 없이 AI 피드백만으로 정렬을 유지할 수 있다는 보장은 없다.

종합하면, 이 방법들은 인간 라벨의 부담·병목을 줄이는 실용적 도구이지 정렬 문제나 가치 선택 문제를 해결하지 않는다. ① 누구의 원칙인가(규범), ② 편향의 자기 전이(기술), ③ 자기평가 상한(근본 한계)의 세 문제는 열려 있고, 이 계열을 도입할 때 이 셋을 명시적 리스크로 관리해야 한다.

3.6.13 RLHF·RLAIF·CAI의 관계

세 가지는 배타적 대안이 아니라 겹치고 결합된다. RLAIF는 RLHF의 라벨 소스를 바꾼 것이고, CAI는 그 RLAIF를 원칙·자기수정과 묶어 2단계로 만든 것이다.

$$\text{RLHF} \xrightarrow{\ \text{라벨 소스: 인간}\to\text{AI}\ } \text{RLAIF} \xrightarrow{\ +\ \text{원칙·자기비판·2단계}\ } \text{CAI}$$

실무 파이프라인은 이들을 섞는다. 유용성은 인간 선호(RLHF)로 두고 무해성은 원칙 기반 AI 피드백(CAI)으로; 선호를 얻은 뒤 RL 대신 DPO(3.5)로 최적화; 판정 결과를 다시 인간이 소수 검수해 판정 모델을 보정. "RLHF냐 RLAIF냐 CAI냐"는 양자택일이 아니라 어느 부분에 어느 라벨 소스를 쓸지의 배합 문제다.

3.6.14 어디에 AI 피드백을 쓸까

강요하지 않고 세 갈래로 편다. 핵심 판단축은 두 개다 — "이 선호 판단을 원칙으로 명세할 수 있는가"와 "판정 모델이 이 과제에서 인간만큼 유능한가".

완전 인간 피드백(표준 RLHF)이 맞는 경우. 선호가 주관적·맥락 의존적·문화 민감해 원칙화가 어렵거나(미묘한 톤·창의성·가치 판단), 리스크가 매우 높아 인간 검토가 규제·신뢰상 필수이거나(의료·법률·금융의 고위험 결정), 판정 모델이 해당 과제에서 신뢰할 만큼 유능하지 않을 때. 요컨대 두 판단축 중 하나라도 "아니오"면 인간을 남긴다.

혼합(유용성=인간, 무해성=AI 피드백)이 맞는 경우 — 흔한 기본값. 무해성처럼 원칙화가 쉽고 인간 열람 부담이 큰 축은 AI로, 미묘한 유용성은 인간으로 나눈다. 인간 라벨 부담을 크게 줄이면서 가치 민감한 부분의 통제를 유지하고 싶을 때 맞다. 원논문 CAI가 취한 배합이며, 내 견해로는 리스크·비용 균형이 좋아 처음 도입할 때의 안전한 출발점이다 — 근거는 무해성이 원칙화가 쉽고 인적 부담이 크다는 두 특성이 정확히 겹치는 지점이라는 점이다.

원칙 기반 대량 AI 피드백(CAI 지향)이 맞는 경우. 정책을 자주 바꾸고 빠르게 반복해야 하거나(원칙만 고치면 재라벨링 자동), 무해성 규칙이 명시·감사 가능해야 하거나(거버넌스·투명성 요구, 9.4), 유능한 판정 모델과 편향·해킹을 검출할 평가·레드팀 체계(4.3)를 갖췄을 때.

어느 경로든 함께 가야 할 것들이 있다. KL 페널티를 유지해 AI 판정이라는 대리 지표의 해킹을 억제한다(3.4). 인간 검수 루프를 소수라도 남겨 판정 모델을 주기적으로 인간과 대조해 보정한다(8.1). 원칙·판정을 버전 관리하고 변경을 A/B·회귀 테스트로 검증한다(8.2). 레드팀으로 자기평가 사각지대를 발굴한다 — 모델이 못 보는 실패는 자기비판으로 안 검출되기 때문이다(4.3). 그리고 서비스 단에서는 학습된 정렬에만 의존하지 말고 가드레일·모더레이션을 병행한다(7.3) — 정렬은 확률적이라 100%가 아니다. RLAIF 선호를 얻었다면 최적화를 DPO로 단순화하는 절충이 실무에서 매력적이지만(3.5), DPO의 분포 이동·해킹 양상은 PPO와 다르므로 판단은 3.4·3.5의 트레이드오프로 한다.

이 장에서 본 자기비판·수정의 직관 — 생성보다 검증이 쉽고, 원칙에 따라 다시 쓴다는 것 — 은 추론 시간에 더 많이 생각해 성능을 사는 계열로 곧장 이어진다. 다음 장(3.7)은 o1/R1류가 RL로 사고사슬을 유도하고 검증·탐색으로 test-time에 정확도를 높이는 원리를 다룬다. 자기평가의 상한이라는 이 장의 함정이 거기서 어떻게 재등장하고 어떻게 우회되는지가 연결 고리다.