제4부 데이터센터와 스케일

4.4 Blackwell I — 듀얼다이·FP4·2세대 트랜스포머 엔진

4.4.1 이 장에서 배우는 것 / 선수 지식

Hopper(4.2~4.3) 다음 세대가 Blackwell이다. 핵심 변화는 셋 — 듀얼다이 패키징(두 다이를 하나의 GPU로), FP4(FP8보다 더 내려간 4비트 정밀도)와 마이크로스케일링, 2세대 트랜스포머 엔진이다. 이 장은 그 메커니즘과 함의를 다루되, 세대가 새롭고 사양·가용성이 빠르게 변하므로 "발표 기준, 변동 가능" 으로 신중히 표기하고, 무엇이 검증된 설계 방향이고 무엇이 시점 의존 수치인지 가른다.

배우는 것:

• 듀얼다이가 왜 필요한지(레티클 한계)와, 두 다이를 하나의 GPU처럼 보이게 하는 die-to-die 인터커넥트의 의미.
• FP4의 동기(추론 처리량·메모리)와, FP8보다 더 좁은 범위를 마이크로스케일링(블록 단위 스케일, MX 계열) 으로 다루는 원리(4.2의 per-tensor 스케일 발전).
• 2세대 트랜스포머 엔진이 FP4·FP8을 더 세밀한 스케일로 관리하는 방향.
• 무엇이 검증된 방향이고 무엇이 변동 가능한 수치·가용성인지 정직하게 구분한다.

선수 지식: 4.2(FP8·트랜스포머 엔진·per-tensor 스케일 — 이 장이 그 다음 단계), 1.13~1.14(부동소수·혼합정밀도), 4.1(세대·폼팩터), 4.3(Hopper 실행 모델 — Blackwell이 계승·확장), 1.9(HBM). 환경은 0.3. 이 장의 제품명·수치·가용성은 발표 기준이며 변동 가능 — 반드시 그 시점 공식 자료로 확인. 데모와 양산 가용성을 구분.

4.4.2 듀얼다이 — 레티클 한계를 넘다

칩은 레티클 한계(reticle limit) 가 있다 — 한 번의 노광으로 만들 수 있는 다이 면적의 물리적 상한. 트랜지스터·코어를 늘리려면 다이를 키워야 하는데, 레티클을 넘는 단일 다이는 못 만든다.

두 다이는 논리적으로 한 GPU로 보여 프로그램·CUDA는 단일 디바이스로 다룬다 — D2D 대역이 충분히 커서 '하나처럼', 통합 메모리·일관성을 제공한다.

왜 "하나처럼"이 중요한가. 두 다이가 별개 GPU로 보이면 그 사이 통신을 사용자가 관리해야 한다(멀티-GPU 프로그래밍, 4.13). 반대로 단일 디바이스로 추상화되면 기존 CUDA 코드가 그대로 실행되고, 다이 간 데이터 이동을 하드웨어·드라이버가 처리한다. 이것이 칩렛(chiplet) 설계의 핵심 가치 — 물리적으로 둘, 논리적으로 하나. (die-to-die 대역폭·일관성 모델의 정확한 수치·세부는 발표 기준, 확인 필요.)

맥락: 이는 4.8의 Grace-Hopper/Blackwell의 칩 간 결합(NVLink-C2C)이나 4.3의 클러스터와 다른 층이다 — 여기선 한 GPU 패키지 안의 두 다이를 잇는 이야기. 점점 더 많은 계층(다이↔다이, GPU↔GPU, 노드↔노드)이 같은 "초고대역으로 잇고 하나처럼"의 반복임을 본다.

4.4.3 FP4와 마이크로스케일링 — 정밀도를 더 내리다

4.2에서 FP8이 FP16의 처리량~2배·메모리 절반을 줬다. FP4(4비트) 는 거기서 또 한 단계 — 추론 처리량·메모리에서 FP8 대비 추가 이득(배수는 발표 기준·연산 의존, 확인 필요)을 노린다. 그런데 4비트는 표현 가능 값이 16개뿐 — 동적 범위·정밀도가 극도로 좁다.

• FP4: $4$비트 $= 16$개 값. per-tensor 스케일(4.2) 하나로는 턱없이 부족
  • 한 텐서 안에서도 값 분포가 구간마다 달라, 텐서 전체 스케일 하나론 일부가 소실됨

마이크로스케일링(microscaling, MX 계열). 해결책은 스케일을 텐서 전체가 아니라 작은 블록 단위(예: 연속 32원소마다 하나)로 두는 것. 각 블록이 자기 지역 분포에 맞는 스케일을 가져 좁은 FP4 범위를 블록별로 최대한 활용한다:

블록 안 값들만 한 스케일을 공유하므로 지역 분포에 정밀하게 적응해 4비트로도 정보를 보존한다.

• 블록 크기(예 32)와 스케일 포맷(블록당 작은 지수/스칼라)은 표준(OCP Microscaling, MXFP4 등)·구현 의존(확인 필요).
• 트레이드오프: 블록이 작을수록 정밀하나 스케일 저장 오버헤드↑, 클수록 오버헤드↓이나 per-tensor에 가까워져 적응력↓.

요지: 정밀도를 낮출수록(FP8→FP4) 스케일 세분화가 필수다. per-tensor(4.2)에서 per-block(마이크로스케일링)으로 — "좁은 포맷일수록 스케일을 더 잘게"라는 일관된 방향.

4.4.4 2세대 트랜스포머 엔진

4.2의 (1세대) 트랜스포머 엔진은 FP8을 per-tensor 동적 스케일로 관리했다. 2세대 트랜스포머 엔진(Blackwell)은 이를 확장한다(방향, 세부는 발표 기준):

목표: FP4 학습·추론의 정확도를 마이크로스케일링 + 하드웨어 지원으로 확보한다.

• 더 낮은 정밀도(FP4)를 실용 범위로. 마이크로스케일링을 하드웨어·라이브러리가 자동 관리해, 사용자가 블록 스케일을 수동으로 조정하지 않게 한다(4.2의 자동화 정신 계승).
• 혼합은 여전히. FP4가 가능하다고 전부 FP4로 하지 않는다 — 민감 연산·상태는 고정밀, 적합한 GEMM만 FP4/FP8(4.2.4 원칙의 연장). 무엇을 FP4로 내릴지는 모델·정확도 검증에 의존.

정직: "FP4로 학습"의 실용성·정확도는 모델·기법·시점에 크게 의존한다. 추론 FP4는 비교적 자리잡는 방향이지만, 학습 FP4는 더 미묘하다 — 반드시 그 시점의 검증된 레시피·논문·라이브러리로 확인하고, 정확도를 고정밀 기준과 대조하라(4.2.6 검증 절차).

4.4.5 제품·시스템 — GB200·NVL72(발표 기준)

Blackwell은 칩 단품뿐 아니라 시스템으로 온다(제품명·구성은 발표 기준, 변동 가능):

• B-시리즈 GPU(예: B100·B200 류) — Blackwell 데이터센터 GPU.
• GB200(Grace+Blackwell) — Grace CPU(4.8)와 Blackwell GPU를 NVLink-C2C로 결합한 슈퍼칩.
• GB200 NVL72 — 다수의 GB200을 5세대 NVLink·NVSwitch로 묶어 랙 하나를 하나의 거대 GPU 도메인처럼 쓰는 랙스케일 시스템(4.5·4.9에서 상세).

'둘을 하나처럼'이 다이→슈퍼칩→랙으로 반복 확장된다 (4.5·4.9로 이어짐).

이 장은 칩·정밀도 층까지만 다루고, 랙스케일 인터커넥트(5세대 NVLink·NVL72) 는 4.5, Grace 결합은 4.8~4.9에서 깊게 본다.

4.4.6 워크스루 — 마이크로스케일링 수계산

왜 per-block 스케일이 FP4에 필수인지 숫자로. 한 텐서의 64원소가 두 구간으로 갈린다고 하자: 앞 32개는 작은 값(~0.01), 뒤 32개는 큰 값(~100).

per-tensor 스케일 하나(4.2 방식): 텐서 amax = 100. FP4 최대를 6(예시, 구현 의존)이라 하면 scale = 6/100 = 0.06. 앞 구간 $0.01 \times0.06 = 0.0006$ → FP4 표현 바닥 아래로 언더플로(0으로 소실됨). 작은 값들이 전부 소실된다.

마이크로스케일링(블록 32):

• 블록0(작은 값, $\mathrm{amax} \approx 0.01$): $\mathrm{scale0} = 6/0.01 = 600$ → $0.01 \times 600 = 6$ (FP4 꽉 참, 정밀 보존)
• 블록1(큰 값, $\mathrm{amax} \approx 100$): $\mathrm{scale1} = 6/100 = 0.06$ → $100 \times 0.06 = 6$ (FP4 꽉 참)
• → 두 구간 모두 자기 스케일로 FP4 범위를 활용 → 작은 값도 소실되지 않는다

per-tensor 하나면 큰 값에 맞춘 스케일이 작은 값을 죽이고, 작은 값에 맞추면 큰 값이 포화한다. 블록마다 스케일을 두면 지역 분포에 적응해 4비트로도 둘 다 산다. 대가는 블록당 스케일 하나를 추가 저장(예 32원소마다 작은 스칼라 — 오버헤드는 작지만 0은 아님). 이것이 "좁은 포맷일수록 스케일 세분화"의 실제 메커니즘이다.

4.4.7 중간 점검 (체크포인트)

• [ ] 레티클 한계와 듀얼다이의 동기, "물리적으로 둘·논리적으로 하나"가 왜 프로그래밍 투명성에 중요한지 설명한다.
• [ ] FP4가 FP8보다 어렵고, per-tensor 스케일로 부족해 마이크로스케일링(블록 단위) 이 필요한 이유를 4.4.6 수계산으로 보인다.
• [ ] 2세대 트랜스포머 엔진의 방향(FP4/FP8·세밀 스케일 자동화)과, FP4도 혼합(민감 연산 고정밀)임을 안다.
• [ ] 이 장 수치·제품·가용성이 발표 기준·변동 가능임을 인지하고, 검증된 방향과 시점 의존을 구분한다.

증상→의심: FP4 추론 정확도 급락 → per-tensor만 적용·마이크로스케일링 미사용 또는 민감 레이어까지 FP4(고정밀로 일부 복귀). FP4인데 기대 배수 안 남 → 메모리 바운드 아님·미지원 연산 폴백·구버전 라이브러리. 듀얼다이인데 다이 간 통신이 병목처럼 보임 → 단일 디바이스 추상 밖의 특이 접근 패턴(대개 HW가 처리, 프로파일 확인). "발표된 수치"가 실제와 다름 → 데모 vs 양산·시점 차이.

4.4.8 트레이드오프 — FP4를 언제

견해: 추론 FP4는 Blackwell의 큰 가치(같은 GPU로 더 큰·빠른 서빙)지만, FP8(4.2)과 똑같이 "무비용"이 아니다 — 마이크로스케일링·민감 레이어·정확도 검증이 필요. 학습 FP4는 더 신중히, 검증된 레시피가 자리잡았는지 그 시점에 확인. FP8로 충분하면 FP4의 검증 비용이 이득을 안 넘을 수 있다. 정밀도는 "내릴 수 있는 만큼"이 아니라 "정확도를 지키며 내릴 수 있는 만큼".

비NVIDIA 정직: FP4·마이크로스케일링은 NVIDIA 단독이 아니라 OCP Microscaling(MX) 표준 흐름이며 다른 벤더도 채택한다. NVIDIA 차별점은 2세대 트랜스포머 엔진의 자동 스케일 관리 + 텐서코어 구현. 또한 듀얼다이(칩렛)는 업계 공통 방향(AMD도 칩렛 적극)이라, "둘을 하나처럼"은 보편 전략이고 구현·대역폭이 경쟁 지점이다.

4.4.9 흔한 함정

• 발표 수치를 사실로 단정. 새 세대의 TFLOPS·메모리·대역폭·가격·가용성은 발표 기준이고 변동·리브랜딩이 잦다. 데모 성능과 양산 가용성을 구분하고, 인용 전 그 시점 공식 자료로 확인.
• FP4를 per-tensor 스케일로. FP8의 per-tensor 방식의 접근으로 FP4를 다루면 좁은 범위에 값이 구분되지 않는다. FP4는 마이크로스케일링(블록 스케일) 이 사실상 필수.
• FP4 가능=전부 FP4. 민감 연산·상태(norm·softmax·master weight·optimizer)는 FP4에 부적합. GEMM 등 적합한 곳만, 검증하며.
• 정확도 검증 생략. FP4는 FP8보다 정확도 위험이 크다. 고정밀 기준과 반드시 대조, 다운스트림 지표까지.
• 듀얼다이를 멀티-GPU로 오해. Blackwell 듀얼다이는 보통 단일 디바이스로 추상화된다 — 두 GPU처럼 수동 통신 관리할 필요 없음(대개). 반대로 GB200 NVL72의 GPU 간(4.5)은 다른 층.
• 세대 혼동. FP4·2세대 TE·5세대 NVLink는 Blackwell+ 전용. 코드가 동작해도 구세대에선 그 가속이 없다 — 타깃 세대·라이브러리 버전 확인.
• 학습 FP4를 추론 FP4와 동일시. 추론은 비교적 자리잡았지만 학습 FP4 정확도는 더 까다롭다. 같은 "FP4"라도 적용 난이도가 다르다.

4.4.10 연습문제

연습 1 (듀얼다이 동기). 레티클 한계가 무엇이고, 듀얼다이가 그것을 어떻게 우회하는지, 그리고 "단일 디바이스로 추상화"가 기존 CUDA 코드에 주는 이점을 설명하라.

연습 2 (마이크로스케일링 필요). 한 텐서 블록이 값 [0.005, 0.006, …(작은 값 16개)…, 50, 60, …(큰 값 16개)]다. FP4 최대를 6으로 가정. (a) per-tensor 스케일 하나면 작은 값들에 무슨 일이, (b) 블록 크기 16인 마이크로스케일링이면 어떻게 살아나는지 계산으로.

연습 3 (정직성). "Blackwell이 FP4로 추론을 X배 빠르게 한다"는 마케팅 수치를 production 계획에 넣기 전 확인·검증할 것을 3가지 쓰라.

연습 4 (정밀도 사다리). FP16→FP8→FP4로 내려갈수록 스케일 관리가 어떻게 달라지는지(per-tensor→per-block 등) 한 흐름으로 정리하고, "더 낮은 정밀도일수록 무엇이 더 필요한가"를 일반화하라.

4.4.11 요약 · 다음 장

• Blackwell의 세 축: 듀얼다이(레티클 한계를 넘어 두 다이를 초고대역으로 잇고 단일 GPU로 추상화), FP4 + 마이크로스케일링(블록 단위 스케일로 4비트의 좁은 범위를 지역 적응), 2세대 트랜스포머 엔진(FP4/FP8·세밀 스케일 자동화).
• 정밀도 사다리의 일관된 방향: 낮출수록 스케일을 더 잘게(전역→per-tensor→per-block) — FP4는 마이크로스케일링이 사실상 필수.
• FP4도 혼합 — 적합한 GEMM만, 민감 연산·상태는 고정밀. 추론 FP4는 큰 가치, 학습 FP4는 더 신중.
• 이 장의 수치·제품·가용성은 발표 기준·변동 가능 — 검증된 설계 방향과 시점 의존 수치를 구분하고, 인용 전 그 시점 공식 자료·정확도 검증으로 확인.

다음 장: 4.5 Blackwell II — 5세대 NVLink·NVL72. 칩·정밀도에서 랙스케일 인터커넥트로 올라간다. "둘을 하나처럼"이 다이를 넘어 랙 하나를 하나의 거대 GPU 도메인으로 만드는 5세대 NVLink·NVSwitch·NVL72를 본다(역시 발표 기준 신중 표기). 이후 4.6~4.7에서 NVLink 기초를 체계적으로 쌓는다.