제8부 자율주행
8.3 DRIVE SoC II — Thor·차세대
8.3.1 이 장에서 배우는 것 / 선수 지식
8.2에서 Orin의 이기종 SoC 구조를 봤다. 이 장은 차세대 SoC(Thor) 와 세대 진화의 방향을 본다. 핵심 흐름은 둘이다: (1) 데이터센터에서 본 것(트랜스포머 엔진·FP8/FP4·새 GPU 아키텍처, 제4~6부)이 엣지로 내려온다 — 인지가 CNN에서 트랜스포머·대형 모델로 가면서 차도 그 효율적 컴퓨팅이 필요해진다. (2) 도메인 통합 — 한 SoC가 자율주행(AV)과 인포테인먼트(IVI)·콕핏을 함께 실행해(격리하에) 소프트웨어 정의 차량(SDV)을 강화한다.
핵심 통찰: "데이터센터에 있는 것이 차로 온다." 트랜스포머 기반 인지(BEV·occupancy·엔드투엔드)·생성형 AI가 자율주행 인지의 방향이 되면서, 트랜스포머 엔진·FP8/FP4(4.2~4.4·5.5) 같은 데이터센터 기술이 전력 예산 안의 엣지 SoC로 흡수된다. 이것이 세대 진화의 동력이고, 차세대 SoC가 그것을 가능케 한다.
배우는 것:
- 세대 진화 — Orin → Thor의 방향(더 큰 컴퓨팅·효율·새 GPU 아키텍처·통합), 발표 기준·신중히.
- 엣지로 오는 트랜스포머·생성형 AI — 인지의 CNN→트랜스포머 전환, 트랜스포머 엔진·FP8/FP4(4.2~4.4·5.5)의 엣지 적용.
- 도메인 통합(AV+IVI) — 한 SoC가 여러 도메인을 격리하에(하이퍼바이저, 8.6), SDV 강화.
- 소프트웨어 연속성 — DRIVE OS·CUDA·TensorRT가 세대 간 이식성 보존.
- 데이터센터-차량 연속체 — 제4~6부 기술이 엣지로 흐르는 그림.
선수 지식: 8.2(Orin 이기종 SoC)·8.1(컴퓨팅 요구·레벨), 4.2~4.4(트랜스포머 엔진·FP8·Blackwell·FP4)·5.5(FP8/FP4 정밀도). 통합 격리는 8.6, 중복화는 8.9, 인지 트랜스포머는 8.14. DLA·PVA 깊이는 8.4~8.5. 환경은 DRIVE 플랫폼.
정직: Thor·차세대는 발표·로드맵 항목이라 가용성·사양·시점이 "발표 기준, 변동 가능" 이다(BK-03·04). 양산 타임라인은 자주 밀리고, 구체 TOPS·구성은 단정하지 않는다. 데모·발표를 양산으로 오해하지 말 것(8.1 정직성). 자율주행은 safety-critical — 차세대 컴퓨팅이 와도 안전·검증(8.8~8.11)이 전제다. 이 장은 방향·원리를 가르치고 특정 제품 단정은 피한다.
8.3.2 세대 진화 — 무엇이 바뀌나
자동차 SoC도 데이터센터 GPU처럼 세대가 진화한다(방향, 구체는 확인 필요):
세대 진화의 두 동력:
- 워크로드가 커진다: 인지 모델이 CNN에서 트랜스포머·대형·엔드투엔드로 가면서(8.3.3) 컴퓨팅 수요가 급증 → 더 큰·효율적 SoC 필요.
- 데이터센터 기술 흡수: 데이터센터에서 검증된 새 GPU 아키텍처·정밀도(FP8/FP4)·트랜스포머 엔진이 전력 효율적 형태로 엣지 SoC에 들어옴.
정직: "차세대가 N배 빠르다"는 발표 수치는 양산·실제 워크로드·효율(TOPS/W) 로 확인해야 한다. 피크 TOPS는 마케팅이고, 자율주행에 중요한 것은 전력 예산 안 실제 인지 처리량·결정성·안전이다. 그리고 발표 시점과 양산·차량 탑재 시점은 다르다.
8.3.3 엣지로 오는 트랜스포머·생성형 AI
자율주행 인지가 변하고 있다 — 이것이 차세대 SoC의 핵심 동기다:
왜 차세대 컴퓨팅이 필요한가:
- 트랜스포머는 부하가 크다: 어텐션(3.6)·큰 파라미터 → 더 많은 연산·메모리. CNN용으로 설계된 컴퓨팅으론 부족.
- 데이터센터 기술이 답: 트랜스포머 엔진·FP8/FP4(4.2~4.4·5.5) 가 트랜스포머를 효율적으로 — 이것을 전력 예산 안의 엣지로 가져와야 차에서 트랜스포머 인지가 가능. 차세대 SoC가 이 정밀도·엔진을 흡수.
- 엔드투엔드·파운데이션 모델 방향: 인지·계획을 하나의 큰 모델로 가는 흐름(연구·발표 기준)은 엣지에서 더 큰 모델 추론을 요구.
견해: "데이터센터에 있는 것이 시차를 두고 차로 온다" 가 이 장의 큰 그림이다 — 제4~6부에서 배운 트랜스포머 엔진·FP8/FP4·정밀도가 이유 없이 거기 있는 것이 아니라, 인지가 트랜스포머로 가면서 엣지에도 필요해진다. 단 전력 천장(8.1) 안이라 효율(FP4·DLA)이 더 결정적이고, 양산·검증이 따라와야 한다.
8.3.4 도메인 통합 — AV + IVI 한 칩
차세대 SoC의 또 다른 방향: 여러 도메인을 한 칩에 통합.
통합의 핵심:
- 격리가 전제: AV(안전 critical, ASIL)와 IVI(비안전)를 한 칩에 두려면 강한 격리(하이퍼바이저·파티셔닝, 8.6)로 IVI의 문제가 AV 안전에 영향 못 주게. Freedom from interference.
- 이점: 컴퓨팅·비용·전력·배선·복잡도↓, 자원 공유, 소프트웨어 통합(SDV, 8.1).
- 도전: 혼합 criticality(안전+비안전)의 격리·검증이 어려움 — 안전 인증(8.8)이 통합 환경에서 복잡.
견해: 도메인 통합은 SDV·비용의 동력이지만 혼합 criticality 격리·검증이 난제다 — 한 칩에 ASIL D 인지와 일반 미디어를 두면, 그 격리가 안전하게 보장돼야(하이퍼바이저·하드웨어 파티션, 8.6). 차세대 SoC는 컴퓨팅과 격리 능력을 함께 키워 이를 가능케 하는 방향.
8.3.5 소프트웨어 연속성 — 이식성
세대가 바뀌어도 소프트웨어 투자가 보존되는 것이 플랫폼의 핵심 가치다:
- 이식성: 같은 CUDA·TensorRT·DRIVE OS라 모델·코드를 세대 간 재사용(엔진은 타깃 재빌드, 5.2). 데이터센터에서 학습한 모델을 엣지로(연속 스택).
- 스케일 in/out: 레벨·차량 등급에 맞춰 SoC 등급·개수 선택(ADAS는 작게, L4는 크게·다중, 8.9).
- 데이터센터-차량 연속체: 같은 스택(CUDA·TensorRT·NeMo 학습 → DRIVE 배포)으로 학습·시뮬레이션(8.15)·배포를 잇는다.
핵심: 자율주행의 큰 가치는 "한 번 익힌 스택(CUDA·TensorRT·DRIVE OS)을 세대·차량·도메인에 재사용" — 데이터센터에서 학습하고(제5~6부), 엣지에 배포하며(이 부), 세대가 바뀌어도 소프트웨어가 연속. 칩만 비교하지 말고 이 연속성·생태계를 본다(8.2 정직성).
8.3.6 워크스루 — 세대 설계 판단
현 세대 vs 차세대로 설계할지, 소프트웨어 이식성을 어떻게 활용할지 판단(개념).
결정 축:
| 질문 | 함의 |
|---|---|
| 지금 양산? vs 미래 플랫폼? | 검증된 현 세대 vs 차세대(발표·변동) |
| 트랜스포머·대형 인지? | 차세대 트랜스포머 엔진·FP8/FP4 |
| 도메인 통합(AV+IVI)? | 차세대 통합·격리 |
| 소프트웨어 재사용? | DRIVE OS·CUDA 연속성 |
견해: 양산은 검증된 세대로, 미래 플랫폼은 차세대를 주시하되 발표·변동을 감안한다. 워크로드가 트랜스포머·대형으로 가면 차세대의 효율(트랜스포머 엔진·FP4)이 결정적이지만, 양산 시점·검증 성숙도·실제 효율을 확인. 소프트웨어 연속성(CUDA·TensorRT·DRIVE OS)으로 세대 전환 리스크를 줄인다. 발표 수치가 아니라 양산·ODD·안전·실측이 기준.
8.3.7 중간 점검 (체크포인트)
- [ ] 세대 진화의 방향(컴퓨팅↑·효율↑·새 GPU 아키텍처·통합)과 두 동력(워크로드 증가·데이터센터 기술 흡수)을 안다.
- [ ] 인지의 CNN→트랜스포머 전환과, 트랜스포머 엔진·FP8/FP4(4.2~4.4·5.5) 가 엣지로 오는 이유를 설명한다.
- [ ] 도메인 통합(AV+IVI) 과 그 전제인 격리(하이퍼바이저, 8.6)·혼합 criticality를 안다.
- [ ] 소프트웨어 연속성(DRIVE OS·CUDA·TensorRT)이 세대 간 이식성·투자 보존을 줌을 안다.
- [ ] 데이터센터-차량 연속체(제4~6부 기술이 엣지로)와 발표 ≠ 양산 정직성을 안다.
증상→의심: 트랜스포머 인지가 현 세대서 전력·성능 부족 → 차세대 트랜스포머 엔진·FP4(4.2~4.4·5.5)·효율. AV+IVI 통합서 안전 우려 → 격리(하이퍼바이저·파티션, 8.6)·혼합 criticality 검증. 세대 전환에 소프트웨어 재작성 → CUDA·TensorRT·DRIVE OS 연속성 활용. 발표 사양을 양산으로 가정 → 가용성·검증 확인(8.1). 칩 TOPS만 비교 → 효율·연속성·안전·실제 워크로드. L4인데 단일 SoC → 중복화(8.9).
8.3.8 트레이드오프·대안
| 결정 | 트레이드오프 |
|---|---|
| 현 세대(검증) vs 차세대(발표) | 양산 가능·검증 vs 성능·통합·변동 |
| CNN 인지 vs 트랜스포머 | 경량·성숙 vs 정확·고부하(엣지 컴퓨팅↑) |
| 도메인 분리 vs 통합 | 단순·검증 쉬움 vs 비용·SDV·격리 난제 |
| 단일 SoC vs 다중(레벨) | 비용·전력 vs 성능·중복화(8.9) |
| 피크 TOPS vs 효율·실측 | 마케팅 vs 양산 현실 |
견해: 양산은 검증된 현 세대, 미래는 차세대 주시 — 워크로드가 트랜스포머·대형·엔드투엔드로 가면 차세대의 트랜스포머 엔진·FP4가 필요하지만, 발표·변동·검증을 감안해 보수적으로. 소프트웨어 연속성으로 전환 리스크↓. 통합은 SDV·비용 이득이나 격리·검증이 전제. 모든 판단은 양산·ODD·안전·실측으로, 발표 수치가 아니라(8.1·8.2 정직성).
비엔비디아 정직: 차세대 자율주행 SoC는 경쟁(여러 벤더의 차세대 칩)이 있고 모두 더 큰 컴퓨팅·효율·트랜스포머 지원·통합을 추구한다. NVIDIA의 차별점은 데이터센터 기술(트랜스포머 엔진·FP8/FP4)의 빠른 엣지 흡수·CUDA/TensorRT 연속성·DRIVE OS·시뮬레이션(8.15)·학습-배포 연속 스택이다. 단 발표 ≠ 양산이고 자율주행 양산은 어렵고 느리다 — 어느 벤더든 ODD·검증·규제가 현실. 칩이 아니라 연속체·생태계·양산·안전으로 판단.
8.3.9 흔한 함정
- 발표 사양을 양산으로. Thor·차세대는 발표·로드맵 — 가용성·시점·사양이 변동(BK-03). 양산·검증 확인(8.1).
- 피크 TOPS만 비교. 효율(TOPS/W)·실제 트랜스포머 인지 처리량·연속성·안전이 중요. 피크는 마케팅.
- 트랜스포머 인지를 현 세대에 강행. 부하가 커 전력·성능 부족 → 차세대 트랜스포머 엔진·FP4(4.2~4.4·5.5)·효율.
- 통합의 격리 간과. AV+IVI 한 칩은 혼합 criticality — 격리(하이퍼바이저·하드웨어 파티션, 8.6) 없으면 안전 위험.
- 세대 전환에 소프트웨어 재작성. CUDA·TensorRT·DRIVE OS 연속성으로 재사용 — 안 그러면 낭비.
- 데이터센터-엣지 단절로 봄. 같은 스택으로 학습(제5~6부)→배포(이 부) 연속 — 분리하면 비효율.
- 안전을 차세대가 해결한다고 가정. 컴퓨팅이 커도 ISO 26262·SOTIF·검증(8.8~8.11)은 별개·전제.
- L4를 단일 차세대 SoC로. fail-operational엔 중복화(다중·다양성, 8.9).
8.3.10 연습문제
연습 1 (데이터센터→엣지). "제4~6부에서 배운 트랜스포머 엔진·FP8/FP4가 왜 자율주행 장에 다시 나오나?"에 답하라. 인지 모델 변화와 연결해.
정답
자율주행 인지가 CNN에서 트랜스포머·대형 모델로 진화하고 있기 때문. 과거 인지는 CNN(카메라별 검출·분할)이었으나, 현재→미래는 BEV 트랜스포머(다중 카메라 통합 조감)·occupancy 네트워크·엔드투엔드/파운데이션 모델로 가고 있다(8.14). 트랜스포머는 어텐션(3.6)·큰 파라미터라 연산·메모리가 부하가 크다 — CNN용 컴퓨팅으론 전력 예산(8.1) 안에서 못 돌림. 데이터센터에서 트랜스포머를 효율적으로 한 기술 — 트랜스포머 엔진(4.2)·FP8/FP4(4.4·5.5) — 이 바로 그 답이라, 전력 효율적 형태로 엣지 SoC(차세대)에 흡수된다. 즉 "데이터센터에 있는 것이 시차를 두고 차로 온다" — 제4~6부의 정밀도·엔진이 이유 없이 거기 있는 것이 아니라, 인지가 트랜스포머로 가면서 엣지에도 필요해진 것. 단 엣지는 전력 천장이라 효율(FP4·DLA)이 더 결정적이고, 양산·검증이 따라와야. 데이터센터-차량은 단절이 아니라 연속체(학습→배포 같은 스택).
연습 2 (도메인 통합). 차세대 SoC가 AV 스택과 인포테인먼트(IVI)를 한 칩에 통합한다. 이점과, 반드시 보장돼야 할 것(혼합 criticality)을 설명하라.
정답
이점: ① 컴퓨팅·비용·전력·배선 통합 — 도메인마다 별도 컴퓨팅(AV·IVI·콕핏) 대신 한 강력한 SoC로 → 부품·무게·전력·복잡도↓, 자원 공유. ② SDV 강화(8.1) — 소프트웨어를 통합·OTA 갱신, 차 가치가 소프트웨어로. 반드시 보장될 것 — 혼합 criticality 격리(freedom from interference): AV 스택은 안전 critical(ASIL D급) 이고 IVI는 비안전인데, 한 칩에 두면 IVI의 결함·과부하·악성 코드가 AV 안전 기능에 영향을 주면 절대 안 됨. 그래서 강한 격리 — 하이퍼바이저·하드웨어 파티셔닝(8.6)으로 안전 도메인과 비안전 도메인을 분리, 자원(CPU·메모리·대역)을 격리해 IVI가 AV의 실시간·자원을 침범 못 하게. 이 격리가 검증·인증(ISO 26262, 8.8)돼야 통합이 안전. 도전: 혼합 criticality의 격리·검증이 분리 시스템보다 복잡 — 차세대 SoC는 컴퓨팅과 함께 격리 능력을 키워 이를 가능케 하는 방향. 통합의 이득(비용·SDV)과 격리·검증의 비용을 저울질하되, 격리는 타협 불가(안전).
연습 3 (세대 선택). 지금 양산하는 L2+ ADAS 차량과, 3년 후 출시할 L4 플랫폼. 각각 현 세대(Orin)와 차세대(Thor) 중 어떻게 접근하나?
정답
지금 양산 L2+ ADAS: 검증된 현 세대(Orin) — 지금 양산하려면 가용성·검증·안전 인증이 성숙한 세대가 필요. 차세대(Thor)는 발표·로드맵이라 양산 시점·검증이 불확실(BK-03). L2+는 컴퓨팅 요구도 상대적으로 작아 현 세대로 충분. 3년 후 L4 플랫폼: 차세대(Thor) 주시 — L4는 ① 컴퓨팅·중복화가 자릿수 크고(8.1·8.9), ② 트랜스포머·대형 인지로 갈 가능성이 높아 차세대의 트랜스포머 엔진·FP8/FP4(4.2~4.4·5.5)·효율이 유리, ③ AV+IVI 통합도 차세대. 단 발표·변동을 감안해 양산 시점·검증 성숙도를 추적하고 대안을 둠. 두 경우 모두 소프트웨어 연속성(CUDA·TensorRT·DRIVE OS) 으로 현 세대에서 개발한 자산을 차세대로 이식해 투자 보존 — 세대 전환 리스크↓. 그리고 어느 세대든 안전(ISO 26262·SOTIF, 8.8~8.10)·ODD·검증이 전제이고, 발표 수치가 아니라 양산·실측·효율로 판단. 즉 양산은 검증된 세대로, 미래는 차세대를 주시하되 연속성으로 잇는다.
연습 4 (소프트웨어 연속성). 세대가 Orin→Thor로 바뀔 때 소프트웨어 연속성이 왜 중요하고, 무엇이 보존되나?
정답
중요성: 자율주행 소프트웨어(인지 모델·계획·제어·미들웨어)는 개발·검증·인증에 막대한 투자가 든다 — 세대가 바뀔 때마다 다시 작성하고 재검증하면 비용·시간·위험이 폭발. 연속성이 그 투자를 보존한다. 보존되는 것: ① 프로그래밍 모델·툴체인 — CUDA·TensorRT(5.2)·DRIVE OS(8.6~8.7)·DRIVE 스택이 세대 간 연속이라 같은 코드·모델·워크플로를 재사용(엔진은 타깃 SoC로 재빌드, 5.2의 종속성). ② 모델 이식 — 데이터센터에서 학습한(제5~6부) 모델을 같은 스택으로 엣지에 배포, 세대 바뀌어도 모델 자산 재사용. ③ 개발 자산·검증 — 미들웨어·테스트·시뮬레이션(8.15)이 연속. 효과: 세대 전환을 하드웨어 업그레이드 + 재빌드로(소프트웨어 재작성이 아니라), 전환 리스크·비용↓, 더 빠른 차세대 채택. 이것이 "칩만 비교하지 말고 연속성·생태계를 보라"의 핵심 — 데이터센터의 CUDA 연속성(제1~2부)이 엣지에도 적용. 플랫폼의 큰 가치는 한 번 익힌 스택을 세대·차량·도메인에 재사용하는 것.
연습 5 (정직성·실측). 경영진이 "차세대 칩이 N배 TOPS니 L4가 가능하다"고 한다. 엔지니어로서 무엇을 짚어야 하나?
정답
짚을 점: ① 발표 ≠ 양산 — 차세대 칩은 발표·로드맵일 수 있어 양산 가용성·시점·검증 성숙도가 불확실(타임라인 자주 밀림, BK-03). ② 피크 TOPS ≠ 실제 성능 — 마케팅 피크 TOPS가 아니라 전력 예산 안 실제 인지 워크로드 처리량·효율(TOPS/W)·결정성이 중요(8.1). FP4 등의 TOPS는 정밀도·실효율을 확인해야. ③ 컴퓨팅 ≠ L4 — L4는 컴퓨팅만이 아니라 fail-operational 중복화(8.9)·안전(ISO 26262·SOTIF 8.8~8.10)·AI 인지 안전(8.11)·검증·ODD·규제가 모두 필요. 칩이 빨라도 안전·검증이 별개·전제. ④ 롱테일·검증 — 자율주행의 어려움은 엣지케이스·날씨·검증이지 컴퓨팅 부족만이 아님. ⑤ ODD — "L4"가 어떤 운행설계영역에서인지(좁은 ODD vs 어디서나). 결론: "N배 TOPS = L4 가능"은 과장 — 컴퓨팅은 필요조건이지 충분조건이 아니다. 양산·실측·효율·중복화·안전·검증·ODD를 함께 봐야 하고, 발표 수치가 아니라 검증된 현실로. 안전은 자격 있는 엔지니어·표준의 영역이지 마케팅이 판단하는 것이 아님(8.1 정직성).
8.3.11 요약 · 다음 장(DRIVE SoC 묶음 마무리)
- 세대 진화의 방향은 더 큰 컴퓨팅·효율·새 GPU 아키텍처·도메인 통합 — 동력은 워크로드 증가(트랜스포머 인지)와 데이터센터 기술 흡수.
- 인지가 CNN→트랜스포머(BEV·occupancy·엔드투엔드)로 가면서 부하가 커져, 트랜스포머 엔진·FP8/FP4(4.2~4.4·5.5) 가 전력 효율적 형태로 엣지 SoC에 온다 — "데이터센터에 있는 것이 차로 온다"(연속체).
- 도메인 통합(AV+IVI) 은 비용·SDV 이득이나 혼합 criticality 격리(하이퍼바이저, 8.6) 가 전제 — 안전 도메인이 비안전에 영향받지 않아야.
- 소프트웨어 연속성(CUDA·TensorRT·DRIVE OS)이 세대 간 이식성·투자 보존 — 칩만이 아니라 연속성·생태계·양산·안전으로 판단.
- 정직: Thor·차세대는 발표 기준·변동 가능(양산·검증 확인), 피크 TOPS ≠ L4(중복화·안전·검증·ODD가 전제), safety-critical은 자격 있는 엔지니어·표준의 영역.
- DRIVE SoC(8.2~8.3) 완료: 이기종 SoC(Orin) → 세대 진화·엣지 트랜스포머·통합(Thor). 다음은 그 SoC 안의 가속기를 깊게.
다음 장: 8.4 DLA·PVA I — DLA 오프로드. SoC의 이기종 블록 중 DLA(Deep Learning Accelerator) 를 깊게 판다 — 표준 DNN 추론을 GPU에서 DLA로 오프로드해 전력 효율(TOPS/W)을 얻는 법, DLA의 지원 범위·정밀도·제약, TensorRT로 DLA 타깃 빌드·GPU 폴백(5.2)을 실습으로 본다.