제4부 데이터센터와 스케일
4.5 Blackwell II — 5세대 NVLink·NVL72
4.5.1 이 장에서 배우는 것 / 선수 지식
4.4가 Blackwell의 칩·정밀도(듀얼다이·FP4)였다면, 이 장은 랙스케일 인터커넥트다. "둘을 하나처럼"이 다이(4.4)를 넘어 랙 하나를 하나의 거대 GPU 도메인으로 만든다 — 5세대 NVLink·NVSwitch와 GB200 NVL72다. 핵심 개념은 NVLink 도메인(NVLink로 전결합돼 서로의 메모리를 직접 쓰고 빠른 집합연산을 하는 GPU 묶음)이 8(HGX 노드)에서 72(랙)로 커진다는 것. 역시 발표 기준·변동 가능으로 신중히 표기한다. NVLink 기초의 체계적 정리는 4.6~4.7, Grace 결합·랙 시스템은 4.9에서 깊게 본다.
배우는 것:
- NVLink 도메인 개념 — NVLink/NVSwitch로 전결합된 GPU 묶음이 왜 "하나의 큰 GPU처럼" 동작하는지.
- 세대마다 NVLink 대역폭이 오르는 흐름과, NVSwitch가 노드/도메인 내 GPU를 전결합하는 역할.
- NVL72 — 72-GPU NVLink 도메인이 거대 모델(조 단위 파라미터·MoE)에 왜 필요한지(집계 HBM·전결합 대역폭).
- 인터커넥트 계층(다이↔다이 → 노드 내 NVLink → 노드 간 InfiniBand)에서 NVL72의 위치.
선수 지식: 4.4(듀얼다이·GB200 — 이 장이 그 시스템 확장), 4.1(폼팩터·HGX·SXM), 4.6~4.7(NVLink·NVSwitch 기초 — 이 장은 맥락, 체계는 거기서), 4.9(GB200 NVL72 랙스케일 — 상세), 4.11(노드 간 InfiniBand), 4.13~4.14(NCCL — 도메인 위 집합연산). 환경은 0.3. 제품명·GPU 수·대역폭·구성은 발표 기준이며 변동 가능 — 그 시점 공식 자료로 확인. 데모와 양산 가용성 구분.
4.5.2 NVLink 도메인 — 왜 "하나의 큰 GPU처럼"
여러 GPU를 잇는 방식은 대역폭·지연이 천차만별이다(4.1의 폼팩터에서 맛봤다). NVLink는 GPU 간 전용 고대역 링크로, PCIe보다 훨씬 빠르고 GPU가 서로의 메모리에 직접 접근(peer access)하게 한다.
NVLink 도메인: NVLink·NVSwitch로 전결합(all-to-all) 된 GPU 묶음. 이 안에서는:
왜 중요: 큰 모델은 한 GPU·한 노드(8 GPU)에 안 들어가거나, 들어가도 GPU 간 통신(텐서·전문가 병렬, 6.3)이 매 스텝 막대하다. 통신이 병목이면 GPU를 늘려도 확장이 안 된다(4.14). NVLink 도메인이 클수록 더 큰 모델을 고대역 전결합 안에 담아 통신 병목 없이 병렬화할 수 있다.
통신 계층은 대역이 큰→작은, 지연이 작은→큰 순이다. NVLink 도메인을 키우면 '느린 노드 간'으로 넘어가기 전에 더 많은 GPU를 '빠른 NVLink'로 묶는다.
4.5.3 NVSwitch와 세대별 대역폭
NVSwitch는 GPU들을 전결합하는 스위치 칩이다. GPU를 직접 사슬로 잇는 대신 NVSwitch를 거치면 임의의 두 GPU가 동일한 풀 대역으로 통신한다(토폴로지 균일, 4.7).
직접 연결(스위치 없음)은 GPU 수가 늘수록 링크 조합이 폭발하고 비균일하다. NVSwitch 경유는 모든 쌍이 풀 대역으로 균일하다 — 8-GPU HGX는 NVSwitch들이 8장을 전결합(노드 내 도메인), NVL72는 NVSwitch가 72장을 전결합(랙 도메인)한다.
세대별 NVLink 대역폭. NVLink는 세대마다 링크 대역·링크 수가 올라 GPU당 집계 대역폭이 증가한다. 5세대 NVLink(Blackwell)는 이전 세대보다 GPU당 NVLink 대역을 더 높였다(정확한 GB/s·링크 수는 발표 기준, 확인 필요).
구체 수치는 세대·시점 의존이다 — 외우지 말고 데이터시트로 확인하라.
요지: NVLink 대역폭이 오르고 NVSwitch가 더 많은 GPU를 전결합할 수 있게 되면서, NVLink 도메인의 실용 크기가 8 → 72로 커졌다. 이것이 NVL72의 토대다.
4.5.4 NVL72 — 랙을 하나의 도메인으로
GB200 NVL72(발표 기준): GB200(Grace+Blackwell, 4.4·4.9) 다수를 5세대 NVLink·NVSwitch로 묶어 72개 Blackwell GPU를 하나의 NVLink 도메인으로 만든 랙스케일 시스템.
랙 하나 = 72-GPU 단일 NVLink 도메인 (집계 HBM·대역폭이 거대).
왜 72-GPU 도메인이 필요한가:
- 거대 모델·MoE. 조 단위 파라미터, 전문가 혼합(MoE)은 all-to-all 통신(토큰을 전문가로 라우팅, 6.3)이 막대하다. 이것이 노드 간 InfiniBand(4.11)로 넘어가면 느려 병목 — 72개를 고대역 NVLink 전결합 안에 두면 그 통신이 NVLink 속도로.
- 집계 메모리 풀. 72 GPU의 HBM이 도메인 안에서 하나의 큰 풀처럼 — 한 모델의 가중치·KV 캐시(5.7)를 도메인 전체에 펼쳐 둘 수 있다.
- 추론·학습 둘 다. 거대 모델 추론(낮은 지연으로 큰 모델 서빙)과 학습(텐서·전문가 병렬 통신) 모두 큰 NVLink 도메인의 수혜.
| 구성 | NVLink 도메인 | 함의 |
|---|---|---|
| 8-GPU 노드 | 8 | 그 너머는 느린 IB — 큰 모델은 IB 통신이 병목 |
| NVL72 | 72 | 더 큰 모델·MoE를 IB로 안 넘기고 NVLink 안에서 all-to-all·all-reduce 고대역, 확장성↑ |
정직: NVL72의 GPU 수·집계 대역·메모리·전력·냉각 수치는 발표 기준이고 변동 가능하다. "랙 하나가 거대 GPU처럼"이라는 설계 방향은 명확하지만, 정확한 사양·가용성·실측 성능은 그 시점 공식 자료와 벤치마크로 확인하라.
4.5.5 워크스루 — 왜 도메인 크기가 중요한가(개념 산수)
구체 수치 없이 도메인 크기가 통신에 주는 영향을 추론한다.
시나리오: MoE 모델의 all-to-all. 매 레이어 토큰을 전문가로 라우팅하는 all-to-all 통신량이 배치·모델에 비례한다. 이 통신이 NVLink 도메인 안이면 NVLink 대역(빠름), 도메인을 넘으면 InfiniBand(4.11, 느림)로.
결론(정성적): GPU 수가 같아도 NVLink 도메인이 크면 더 많은 통신이 빠른 NVLink 안에서 끝나 확장성이 좋다. NVL72는 도메인을 72로 키워, 8-GPU 노드라면 노드 간 IB로 넘겼을 통신을 NVLink 안에 담는다.
무엇을 도메인 안에 둘지가 병렬화 전략을 바꾼다(4.14): 통신이 잦은 병렬화(텐서 병렬·MoE 전문가 병렬)는 NVLink 도메인 안에, 통신이 드문 병렬화(데이터 병렬·파이프라인 병렬)는 도메인·노드 간에 매핑한다 — 큰 NVLink 도메인은 "도메인 안에 담을 수 있는 통신 집약 병렬화"의 여지를 넓힌다.
(정확한 대역·임계점은 모델·시점 의존 — 이 산수는 방향을 위한 것. 실제 매핑·튜닝은 4.14.)
4.5.6 중간 점검 (체크포인트)
- [ ] NVLink 도메인이 무엇이고, 왜 그 안에서 GPU 묶음이 "하나의 큰 GPU처럼"(peer memory·고대역 집합연산·집계 HBM) 동작하는지 설명한다.
- [ ] NVSwitch가 GPU를 전결합해 균일한 풀 대역을 주는 역할과, 세대마다 NVLink 대역이 올라 도메인이 커지는 흐름을 안다.
- [ ] NVL72의 72-GPU 도메인이 거대 모델·MoE의 all-to-all·집계 메모리에 왜 유리한지 말한다.
- [ ] 통신 계층(다이→NVLink→IB)에서 도메인 크기가 병렬화 매핑(통신 집약은 도메인 안)을 어떻게 바꾸는지 안다.
증상→의심: 큰 모델 다노드 학습이 GPU 늘려도 확장 안 됨 → 통신 집약 병렬화가 NVLink 도메인을 넘어 IB로(4.14 매핑 재검토). MoE all-to-all이 병목 → 전문가가 도메인 경계 너머 분산. NVL72 기대 성능 안 남 → 발표 수치(데모) vs 실측·내 워크로드 차이. "72 GPU인데 단일 GPU처럼 안 보임" → NVLink 도메인은 peer 메모리·집합연산을 빠르게 할 뿐, 자동으로 단일 디바이스가 되진 않음(여전히 멀티-GPU 프로그래밍, 4.13).
4.5.7 트레이드오프 — 큰 도메인이 항상 답인가
| 상황 | 큰 NVLink 도메인(NVL72) 가치 | 비고 |
|---|---|---|
| 조 단위 모델·MoE 학습 | 큼 — all-to-all·집계 메모리 | 통신 집약 병렬화를 NVLink 안에 |
| 거대 모델 저지연 추론 | 큼 — 큰 모델을 도메인에 펼침 | KV·가중치 분산(5.7) |
| 작은·중간 모델 | 작음 — 8-GPU 노드로 충분 | NVL72는 과투자 |
| 통신 드문 워크로드(데이터 병렬) | 작음 — IB로도 충분 | 큰 도메인 불필요 |
견해: NVL72 같은 큰 도메인은 모델·통신이 8-GPU 노드를 넘어설 때 빛난다 — 조 단위 파라미터, 큰 MoE, 거대 모델 추론. 대부분의 워크로드는 여전히 8-GPU 노드 + IB 스케일아웃(4.11)으로 충분하고, 큰 도메인은 비용이 크고 가용성이 제한적이다. "도메인이 클수록 좋다"가 아니라 워크로드의 통신 패턴이 큰 도메인을 요구하는지로 판단. 대부분은 클라우드로 필요할 때 임대.
비NVIDIA 정직: "노드 너머로 고대역 도메인을 키운다"는 방향은 경쟁자도 추구한다 — 다른 가속기의 전용 인터커넥트, 이더넷 기반 스케일아웃(Ultra Ethernet 등 표준 흐름), 클라우드 자체 패브릭. NVLink/NVSwitch/NVL72의 차별점은 성숙도·대역·소프트웨어 통합(NCCL·CUDA) 이다. 인터커넥트는 칩만큼 중요한 경쟁축이며, 사양은 세대마다 급변하니 그때그때 비교·실측.
4.5.8 흔한 함정
- 발표 수치 단정. GPU 수·대역·메모리·전력·가용성은 발표 기준·변동 가능. 데모와 양산을 구분하고 인용 전 공식 자료로 확인.
- NVLink 도메인 = 단일 디바이스 오해. 도메인은 peer 메모리·고대역 집합연산을 가능하게 할 뿐, GPU들이 자동으로 하나의 CUDA 디바이스가 되진 않는다. 여전히 멀티-GPU 프로그래밍(NCCL·병렬화, 4.13~4.14)이 필요. (4.4의 듀얼다이 단일 디바이스 추상과 혼동 말 것 — 그것은 한 패키지 안 이야기.)
- 도메인 크기와 무관하게 병렬화 매핑. 통신 집약 병렬화(텐서·전문가)를 도메인 경계 너머로 흩으면 IB 병목. 큰 도메인의 이득은 올바른 매핑(4.14)으로만 실현된다.
- 큰 도메인 과투자. 8-GPU로 충분한 모델에 NVL72는 낭비. 워크로드의 통신 패턴을 먼저 분석.
- 냉각·전력·설비 간과. 랙스케일은 액냉·고전력·고밀도 — 데이터센터 설비 요건이 크다. 칩 사양만 보고 도입 결정 금지.
- NVLink와 IB 혼동. NVLink는 노드/도메인 내(스케일업), InfiniBand는 노드 간(스케일아웃, 4.11). 둘은 다른 계층이고 NVL72는 NVLink를 랙으로 확장한 것 — 노드 간은 여전히 IB.
4.5.9 연습문제
연습 1 (도메인 개념). "NVLink 도메인이 하나의 큰 GPU처럼 동작한다"를 메모리·통신·집합연산 세 측면에서 설명하고, 8-GPU 도메인과 72-GPU 도메인의 실질 차이를 거대 모델 관점에서 말하라.
정답
세 측면: ① 메모리 — 도메인 내 GPU가 서로의 HBM을 직접 접근(peer), 집계 HBM이 큰 풀처럼. ② 통신 — NVSwitch 전결합으로 임의 두 GPU가 풀 NVLink 대역 직통. ③ 집합연산 — all-reduce·all-to-all(4.13)이 고대역으로 빠름. 차이: 8-GPU 도메인은 그 너머 통신이 느린 IB로 넘어가, 8 GPU를 초과하는 모델·통신은 IB 병목을 만난다. 72-GPU 도메인은 훨씬 큰 모델·MoE의 통신 집약 병렬화를 NVLink 안에 담아 IB로 안 넘기고 처리 → 확장성·집계 메모리가 크게 늘어 조 단위 모델에 유리.
연습 2 (계층 매핑). 인터커넥트 계층을 대역폭·지연 순으로 나열하고(다이↔다이/노드 내 NVLink/노드 간 IB), 각 계층에 적합한 병렬화(텐서·데이터·파이프라인·전문가)를 매핑하라.
정답
대역 큰→작은·지연 작은→큰: 다이↔다이(4.4) > 노드 내 NVLink/NVSwitch > 노드 간 InfiniBand(4.11). 매핑(통신 빈도·양 기준): 텐서 병렬(매 레이어 막대한 통신) → NVLink 도메인 안. 전문가 병렬(MoE all-to-all) → NVLink 도메인 안. 파이프라인 병렬(스테이지 경계만 통신, 적음) → 도메인/노드 간 가능. 데이터 병렬(스텝당 1회 all-reduce) → 노드 간 IB로도 견딤. 핵심: 통신 집약일수록 빠른 계층(NVLink) 안에. 큰 도메인은 통신 집약 병렬화를 더 많이 담을 여지를 준다(4.14).
연습 3 (도메인 크기 결정). 다음 각각에 8-GPU 노드로 충분한지, NVL72 급 큰 도메인이 필요한지 판단하고 근거: (a) 7B 모델 데이터 병렬 학습, (b) 1.8T MoE 모델 학습, (c) 405B 모델 저지연 추론, (d) 다수 13B 모델 독립 추론 서빙.
정답
(a) 8-GPU로 충분(작은 모델, 데이터 병렬은 스텝당 1회 all-reduce라 IB로도 견딤). (b) 큰 도메인 필요 — 1.8T·MoE는 막대한 all-to-all·집계 메모리, 8 GPU 초과·통신 집약 → NVL72 급이 유리. (c) 큰 도메인 유리 — 405B 저지연 추론은 모델을 큰 NVLink 도메인에 펼쳐 텐서 병렬 통신을 고대역으로(지연↓). (d) 8-GPU(또는 그 이하)·추론 갈래로 충분 — 각 13B가 독립이고 한 GPU/소수 GPU에 들어가, 큰 도메인 불필요(MIG·다수 노드로 수평 확장, 4.10). 큰 도메인은 과투자.
4.5.10 요약 · 다음 장
- NVLink 도메인 = NVLink/NVSwitch로 전결합된 GPU 묶음 — peer 메모리·고대역 집합연산·집계 HBM으로 "하나의 큰 GPU처럼". 도메인이 클수록 더 큰 모델·통신을 빠른 NVLink 안에 담는다.
- 5세대 NVLink·NVSwitch(Blackwell)는 대역을 높이고, GB200 NVL72는 72-GPU를 한 NVLink 도메인으로 묶은 랙스케일 시스템 — 조 단위 모델·MoE의 all-to-all·집계 메모리에 유리(발표 기준·변동 가능).
- 인터커넥트 계층(다이→NVLink→IB)에서 통신 집약 병렬화는 큰 NVLink 도메인 안에 매핑(4.14). 도메인은 단일 디바이스가 아니다 — 여전히 멀티-GPU 프로그래밍.
- 큰 도메인이 항상 답은 아니다 — 워크로드 통신 패턴이 8-GPU 노드를 넘어설 때의 도구. 수치·가용성은 그 시점 확인.
다음 장: 4.6 NVLink·NVSwitch I — 링크·대역폭. 지금까지 맥락으로 쓴 NVLink를 기초부터 체계적으로 정리한다. 링크가 무엇이고, 대역폭을 어떻게 세고, peer access·통합 메모리가 어떻게 동작하는지 — 노드 내 인터커넥트의 토대를 4.7(도메인 토폴로지)과 함께 쌓는다.