제8부 자율주행
8.2 DRIVE SoC I — Orin 아키텍처
8.2.1 이 장에서 배우는 것 / 선수 지식
8.1에서 자율주행의 중앙 컴퓨트(차량의 "중앙 연산 플랫폼")가 전력·실시간·안전 예산 안에서 결정적으로 인지·계획·제어를 처리해야 함을 봤다. 이 장은 그 중앙 연산 플랫폼 — DRIVE SoC(Orin) — 의 내부를 판다. 데이터센터의 단일 GPU(제4부)와 달리, 자동차 SoC는 여러 종류의 컴퓨팅 엔진을 한 칩에 통합한 이기종(heterogeneous) 구조다 — GPU·DLA·PVA·CPU·ISP·비디오·안전 섬. 왜 이렇게 복잡한가? 전력 예산 안에서 효율을 극대화하려면 "작업마다 맞는 엔진" 이 필요하기 때문이다.
핵심 통찰: 이기종 = 효율(TOPS/W)이다. 데이터센터는 GPU로 다 하지만(전력 풍부), 차는 전력이 천장(8.1)이라 고정기능 가속기(DLA)가 표준 DNN을 GPU보다 훨씬 좋은 TOPS/W로 처리하고, PVA가 클래식 비전을 효율적으로, GPU가 유연·신규를, CPU가 제어를 맡는다. 작업을 적합한 엔진에 분배해야 같은 전력으로 더 많은 컴퓨팅을 담는다.
배우는 것:
- DRIVE SoC가 무엇인가 — 중앙 컴퓨트를 한 칩에 통합한 이기종 SoC, 자동차급.
- 이기종 컴퓨팅 블록 — GPU·DLA·PVA·CPU·ISP·비디오 코덱·안전 섬, 각 역할.
- 왜 이기종 = 효율 — 작업마다 맞는 엔진(TOPS/W), 전력 예산 안.
- 워크로드 → 엔진 매핑 — 표준 DNN→DLA·클래식 CV→PVA·유연→GPU·제어→CPU·카메라→ISP/비디오.
- 데이터 흐름 — 센서 → ISP → 메모리 → DLA/GPU/PVA → 융합 → CPU.
- 데이터센터 GPU와의 차이(4.1) — 통합 SoC·이기종·전력 제약·안전 기능·결정성.
선수 지식: 8.1(중앙 컴퓨트·TOPS/W·실시간·안전), 4.1(데이터센터 GPU 대조), 1.11(텐서코어). DLA·PVA 깊이는 8.4~8.5, TensorRT의 DLA 타깃은 5.2·8.4, 중복화·안전은 8.8~8.11, 차세대(Thor)는 8.3. 환경은 DRIVE 플랫폼.
정직: Orin의 구체 사양(TOPS·코어 수·메모리·전력)은 SKU·세대·시점 의존이라 이 책은 수치를 단정하지 않는다(BK-04, "확인 필요"). 또 자율주행은 safety-critical — 이 장은 아키텍처 원리를 가르치되 실제 안전 설계·인증은 자격 있는 엔지니어·표준(8.8~8.11)의 영역이다. 블록 구성·명칭도 세대마다 변할 수 있다.
8.2.2 DRIVE SoC — 중앙 연산 플랫폼을 한 칩에
DRIVE SoC(Orin)는 8.1의 중앙 컴퓨트를 하나의 시스템 온 칩(SoC) 으로 구현한다 — 데이터센터의 분리된 GPU·CPU·가속기가 아니라, 여러 컴퓨팅 엔진 + 메모리 + I/O를 한 칩에 집적해 자동차의 전력·공간·결정성·안전 요구를 충족한다.
한 칩에 다종 엔진을 집적한다 — 자동차급(온도·진동·수명·안전).
왜 SoC(통합)인가:
- 전력·공간·열: 분리 부품보다 통합이 전력·공간·열에 유리(8.1 제약).
- 결정성·지연: 칩 내 통신이 빠르고 예측 가능(센서→엔진→융합 종단 지연).
- 자동차급: 온도·진동·EMI·15년 수명·AEC-Q를 만족하도록 설계.
- 안전: 락스텝·안전 섬·진단을 칩에 내장(ISO 26262, 8.8).
8.2.3 이기종 블록 — 작업마다 맞는 엔진
핵심은 여러 종류의 엔진이고, 각각 다른 작업에 효율적이다:
| 엔진 | 무엇을 | 왜 |
|---|---|---|
| CPU(Arm) | OS·계획·제어·융합·제어 흐름·glue | 범용·순차·제어 로직 |
| GPU(Ampere급) | 유연한 DNN 추론·CUDA·전처리 | 프로그래머블·신규 모델·텐서코어(1.11) |
| DLA | 표준 DNN 레이어 추론 | 고정기능 → 훨씬 좋은 TOPS/W(8.4) |
| PVA | 클래식 비전(필터·특징·스테레오) | 비전 연산에 효율적(8.5) |
| ISP | 원시 센서 → 이미지(디모자이크·노이즈·톤) | 카메라 파이프라인 전용 |
| 비디오 코덱 | 카메라 스트림 디코딩·녹화 | 다수 카메라 ingest 전용 |
| 안전 섬/락스텝 | 안전 감시·진단 | 기능안전(8.8~8.9) |
왜 이기종 = 효율:
| 환경 | 접근 |
|---|---|
| 데이터센터(전력 풍부) | GPU로 다 함 — 유연·강력, 전력 신경 안 씀 |
| 차량(전력 천장, 8.1) | 작업을 적합한 엔진에 분배해야 효율: 표준 DNN(인지)을 GPU로만 실행하면 전력 낭비 → DLA가 같은 추론을 더 적은 W로 / 클래식 CV를 GPU로 실행하면 비효율 → PVA가 효율적으로 / GPU는 '유연성이 필요한·DLA가 못 하는·overflow' 작업에 |
같은 전력 예산에 더 많은 컴퓨팅을 담는다 = 이기종 분배.
이것이 "작업마다 맞는 엔진" 의 핵심 — 전력이 천장이라 효율이 결정적이고, 고정기능(DLA/PVA)이 효율을, GPU가 유연성을 준다. 둘을 조합해 전력 예산 안에서 자율주행 워크로드를 담는다.
8.2.4 워크로드 → 엔진 매핑
자율주행 파이프라인의 작업을 엔진에 매핑한다:
매핑 원리:
- 표준 DNN(인지)은 DLA로: 검출·분할·깊이 같은 표준 신경망은 DLA가 효율적으로(8.4). GPU는 DLA가 지원 못 하는 연산·신규 모델·overflow를 맡음.
- 클래식 비전은 PVA로: 스테레오 깊이·특징 추출·이미지 렉티피케이션 같은 전통 CV는 PVA가 효율적(8.5).
- 카메라 ingest는 ISP·비디오 코덱: 원시 센서를 이미지로(ISP), 다수 스트림 디코딩(비디오 엔진).
- 계획·제어·융합·glue는 CPU(+ GPU): 제어 로직·결정·OS.
- 안전은 안전 섬·락스텝: 전 과정을 감시(8.8~8.9).
견해: GPU vs DLA는 "유연성 vs 효율" 의 트레이드오프다. 모델이 표준이고 안정적이면 DLA로(전력↓), 신규·복잡·DLA 미지원이면 GPU로. 실무는 둘을 함께 써 인지 워크로드를 분배한다 — DLA로 주력 추론, GPU로 나머지·전처리. 이 매핑이 전력 예산 안에서 성능을 극대화하는 핵심.
8.2.5 데이터센터 GPU와의 차이
4.1의 데이터센터 GPU와 DRIVE SoC는 같은 "GPU 추론"을 하지만 다르다:
| 축 | 데이터센터 GPU(4.1) | DRIVE SoC(Orin) |
|---|---|---|
| 형태 | 분리된 GPU(+CPU 별도) | 통합 SoC(GPU+CPU+DLA+PVA+ISP...) |
| 엔진 | GPU 위주 | 이기종(GPU·DLA·PVA·CPU·ISP) |
| 전력 | 수백 W·풍부 | 수십~수백 W 천장(8.1) |
| 효율 | 성능 우선 | TOPS/W 결정적 |
| 안전 | 일반 | 락스텝·안전 섬·ASIL(8.8) |
| 결정성 | 평균·p99 | 하드 실시간·최악 지연(8.6) |
| 환경 | 데이터센터 | 자동차급(온도·진동·수명) |
| 메모리 | HBM·대용량 | 통합·전력 효율 메모리 |
| I/O | NVLink·PCIe | 고속 센서·차량 네트워크 |
핵심: DRIVE SoC는 "작은 데이터센터 GPU"가 아니라 "자동차 제약(전력·실시간·안전)에 맞춘 이기종 통합 SoC" 다. 같은 CUDA·텐서코어·TensorRT(5.2)가 돌지만, DLA/PVA로 효율을 극대화하고·락스텝으로 안전을·RTOS로 결정성을 더한다. 데이터센터 관행(더 큰 GPU)이 아니라 이기종 분배·효율·안전이 설계 언어.
8.2.6 워크스루 — 엔진 매핑 의사결정
인지 모델을 어느 엔진에 탑재할지 결정하는 워크스루(개념).
모델별 엔진 선택:
| 모델/작업 | 엔진 |
|---|---|
| 1) 표준·안정적 DNN(검출·분할)이고 DLA 지원 연산? | DLA(효율, 전력↓) — TensorRT가 DLA 타깃 빌드 지원(5.2·8.4), 일부 레이어 GPU 폴백 가능 |
| 2) 신규·복잡·DLA 미지원 연산(커스텀·최신 구조)? | GPU(유연) |
| 3) 클래식 비전(스테레오·특징·렉티피케이션)? | PVA |
| 4) 카메라 원시→이미지·스트림 디코딩? | ISP·비디오 엔진 |
| 5) 계획·제어·융합·제어 로직? | CPU(+GPU) |
| 6) 안전 감시·진단? | 안전 섬/락스텝(8.8) |
전력 예산·결정성·안전을 함께 보며 분배한다 — DLA로 주력, GPU로 나머지.
결정 축:
| 질문 | 엔진 |
|---|---|
| 표준 DNN·전력 효율 우선? | DLA |
| 신규·유연·DLA 미지원? | GPU |
| 클래식 비전·전처리? | PVA |
| 카메라 ingest? | ISP·비디오 |
| 제어·계획·glue? | CPU |
# TensorRT로 DLA 타깃(개념, 5.2·8.4)
trtexec --onnx=model.onnx --useDLACore=0 --allowGPUFallback ...
# → DLA로 빌드, DLA 미지원 레이어는 GPU 폴백 → 효율+유연 조합견해: DLA를 주력으로, GPU를 보완으로 쓰는 것이 전력 효율의 정석이다(인지 DNN을 DLA로 오프로드해 GPU·전력을 아낌). 단 DLA는 지원 연산·정밀도가 제한적이라(8.4) 모델이 맞아야 하고, 안 맞으면 GPU 폴백·재설계. 워크로드를 엔진에 매핑하는 것 자체가 자율주행 컴퓨팅 설계의 핵심 작업이다.
8.2.7 중간 점검 (체크포인트)
- [ ] DRIVE SoC가 중앙 컴퓨트를 한 칩에 통합한 이기종 SoC(자동차급)임을, 통합의 이유와 함께 안다.
- [ ] 이기종 블록(CPU·GPU·DLA·PVA·ISP·비디오·안전 섬)과 각 역할을 제시한다.
- [ ] 이기종 = 효율(TOPS/W) 임을, 전력 천장(8.1)과 연결해 설명한다.
- [ ] 워크로드를 엔진에 매핑한다(표준 DNN→DLA·클래식 CV→PVA·유연→GPU·제어→CPU·카메라→ISP).
- [ ] 데이터센터 GPU(4.1)와의 차이(통합·이기종·전력·안전·결정성)를 안다.
증상→의심: 인지 DNN으로 전력·열 초과 → GPU로만 돌림 → DLA로 오프로드(효율, 8.4). 클래식 CV가 GPU 점유 → PVA로(8.5). 카메라 ingest 병목 → ISP·비디오 엔진 활용·대역. 신규 모델이 DLA에서 안 됨 → DLA 미지원 연산 → GPU·폴백·재설계. 데이터센터 GPU 관행으로 설계 → 통합·이기종·효율·안전 고려. 결정성·안전 누락 → RTOS·락스텝(8.6·8.8).
8.2.8 트레이드오프·대안
| 결정 | 트레이드오프 |
|---|---|
| DLA vs GPU(인지) | 효율(TOPS/W)·제한적 vs 유연·전력↑ |
| PVA vs GPU(비전) | 효율·전용 vs 유연 |
| 단일 SoC vs 다중 SoC | 비용·전력 vs 성능·중복화(8.9) |
| 통합 SoC vs 분리 부품 | 효율·결정성·자동차급 vs 유연·교체 |
| 고정기능 vs 프로그래머블 | 효율 vs 유연 |
견해: 자율주행 컴퓨팅은 "이기종 분배"가 본질 — 표준·안정 워크로드는 고정기능(DLA/PVA)으로 효율을, 유연·신규는 GPU로, 제어는 CPU로. 전력이 천장이라 GPU로 다 하는 데이터센터 방식이 안 통한다. 레벨↑·중복화는 다중 SoC(8.9). 매핑·효율·안전·결정성을 함께 설계하되, 모델이 엔진에 맞는지(DLA 지원)를 확인.
비엔비디아 정직: 자율주행 SoC는 여러 경쟁자(Mobileye EyeQ·Qualcomm Snapdragon Ride·Tesla 자체·기타)가 있고, 각자 이기종 가속·효율을 추구한다. NVIDIA DRIVE(Orin)의 강점은 CUDA·TensorRT 생태계·DLA/PVA 통합·DRIVE OS·기능안전·데이터센터-차량 연속 스택·DRIVE Sim이다. 칩 TOPS만 비교하지 말고 효율(TOPS/W)·툴체인·안전·생태계·실제 워크로드 성능으로, 양산·ODD 기준으로 판단(8.1 정직성).
8.2.9 흔한 함정
- GPU로 다 하기. 전력 천장에서 인지를 GPU로만 실행하면 비효율 → DLA로 오프로드(8.4), 클래식 CV는 PVA.
- DLA를 GPU처럼 가정. DLA는 지원 연산·정밀도가 제한적 — 모델이 맞아야. 안 맞으면 GPU 폴백·재설계(8.4).
- 데이터센터 GPU 관행. "작은 데이터센터 GPU"가 아니라 이기종·통합·전력·안전 SoC — 설계 언어가 다름.
- 카메라 ingest를 범용으로. ISP·비디오 엔진이 전용 — 안 쓰면 GPU·CPU 낭비.
- TOPS만 비교. 효율(TOPS/W)·실제 워크로드·툴체인·안전이 중요(8.1). 피크 TOPS는 마케팅.
- 안전·결정성 사후. 락스텝·안전 섬·RTOS는 설계 처음부터(8.6·8.8).
- 단일 SoC로 L4. fail-operational엔 중복화(다중 SoC·다양성, 8.9).
- 사양을 책 수치로 단정. Orin TOPS·구성은 SKU·세대 의존 — 데이터시트로(BK-04).
8.2.10 연습문제
연습 1 (이기종=효율). 데이터센터는 GPU로 다 하는데 차량 SoC는 왜 DLA·PVA 같은 별도 엔진을 두나? 전력 관점에서 설명하라.
정답
데이터센터는 전력이 풍부(킬로와트·액냉)해 유연한 GPU로 모든 것을 처리해도 됨 — 효율보다 성능·유연성. 차량은 전력이 천장(수십~수백 W·수동 냉각·주행거리, 8.1)이라 효율(TOPS/W)이 결정적. 같은 표준 DNN 추론을 GPU로 실행하면 유연하지만 전력을 많이 쓰는데, DLA(고정기능 가속기)는 그 표준 추론을 훨씬 적은 전력으로(더 좋은 TOPS/W) 처리 — 고정기능이라 범용 GPU의 오버헤드(스케줄링·유연성 회로)가 없어 효율적. PVA도 클래식 비전(스테레오·특징)을 GPU보다 효율적으로. 그래서 작업을 적합한 엔진에 분배하면(표준 DNN→DLA, CV→PVA, 유연→GPU, 제어→CPU) 같은 전력 예산에 더 많은 컴퓨팅을 담을 수 있다. GPU는 DLA가 못 하는 유연·신규·overflow에만 써 전력을 아낌. 이기종이 복잡해 보여도, 전력 천장 아래서 효율을 극대화하려면 "작업마다 맞는 엔진"이 답 — 이것이 자율주행 SoC가 이기종인 이유.
연습 2 (엔진 매핑). 자율주행 인지 파이프라인의 다음 작업을 각각 어느 엔진에: (a) 원시 카메라 → RGB 이미지, (b) 표준 객체 검출 DNN, (c) 스테레오 깊이 추정(클래식 CV), (d) 경로 계획, (e) 다수 카메라 스트림 디코딩.
정답
(a) ISP(Image Signal Processor) — 원시 센서 데이터(Bayer)를 디모자이크·노이즈 제거·톤 매핑해 RGB 이미지로, 카메라 파이프라인 전용 엔진. (b) DLA(+ GPU 폴백) — 표준 검출 DNN은 DLA가 효율적으로(TOPS/W), DLA 미지원 레이어는 GPU 폴백(8.4). 전력 효율 우선이면 DLA 주력. (c) PVA(Programmable Vision Accelerator) — 스테레오 깊이·특징 추출 같은 클래식 비전 연산에 효율적인 전용 엔진(8.5), GPU보다 효율. (d) CPU(+GPU) — 경로 계획은 제어 로직·결정·순차 알고리즘이라 CPU(Arm)가 적합, 일부 병렬 탐색은 GPU 보조. (e) 비디오 디코더 엔진 — 다수 카메라 스트림(압축)을 디코딩하는 전용 엔진, GPU·CPU를 안 쓰고 ingest. 매핑 원리: 표준 DNN→DLA, 클래식 CV→PVA, 카메라 ingest→ISP/비디오, 제어→CPU, 유연·신규→GPU. 작업을 적합한 엔진에 분배해 전력 예산 안에서 효율. 안전 감시는 안전 섬/락스텝이 전 과정에(8.8).
연습 3 (DLA vs GPU). 인지 팀이 새 검출 모델을 DLA에 탑재하려는데 일부 레이어가 DLA에서 안 된다. (a) 왜 이런 일이, (b) 어떻게 처리하나, (c) DLA를 쓰는 이유는?
정답
(a) DLA는 고정기능 가속기라 지원하는 연산·레이어·정밀도가 제한적(8.4) — GPU의 프로그래머블 유연성이 없어, 표준 레이어(컨볼루션·풀링 등)는 효율적으로 하지만 신규·커스텀·일부 연산은 미지원. 새 모델이 그런 연산을 쓰면 DLA에 그대로 안 올라감. (b) 처리: ① GPU 폴백 — TensorRT가 DLA 타깃 빌드 시 미지원 레이어를 GPU로 폴백(--allowGPUFallback, 5.2·8.4) → DLA로 주력 실행하되 안 되는 부분만 GPU. 단 폴백이 많으면 DLA↔GPU 전환 오버헤드·효율 손실. ② 모델 재설계 — 미지원 연산을 DLA 지원 연산으로 대체(가능하면). ③ 그 모델은 GPU로 (유연성 필요시). (c) DLA를 쓰는 이유: 전력 효율(TOPS/W) — 표준 DNN 추론을 GPU보다 훨씬 적은 전력으로 처리해(8.1 전력 천장) GPU·전력을 아껴 다른 작업에 쓸 수 있음. 그래서 가능한 한 DLA로 오프로드하되, 모델이 맞는지·폴백이 적은지 확인. 효율(DLA)과 유연(GPU)의 트레이드오프를 모델 특성으로 결정.
연습 4 (데이터센터 차이). 데이터센터 GPU 추론 경험자가 DRIVE SoC를 "작은 H100"으로 여긴다. 무엇이 다른지 넷을 제시하라.
정답
① 통합 이기종 SoC — H100은 분리된 GPU지만 DRIVE SoC는 GPU+CPU+DLA+PVA+ISP+비디오+안전 섬을 한 칩에. GPU만이 아니라 여러 엔진에 작업을 분배(효율). ② 전력 천장·효율 — H100은 수백 W·풍부, DRIVE는 수십~수백 W 천장이라 TOPS/W가 결정적(8.1) — DLA/PVA로 효율을 극대화함. "작은 H100"이 아니라 "효율 최적화된 이기종". ③ 안전·결정성 — DRIVE는 락스텝·안전 섬·ASIL(8.8)과 하드 실시간·최악 지연 보장(RTOS, 8.6)이 내장 — H100엔 없는 자동차 안전·실시간. ④ 자동차급 환경 — 온도(-40~+85℃↑)·진동·EMI·15년 수명·AEC-Q, 고속 센서·차량 네트워크 I/O. (+ 통합 메모리, 비디오/ISP 등.) 공통점: CUDA·텐서코어·TensorRT(5.2)가 돌아 익숙한 툴체인. 하지만 설계 언어는 "더 큰 GPU"가 아니라 이기종 분배·효율·안전·결정성 — 데이터센터 관행을 그대로 적용하면 전력 초과·비효율·안전 누락.
연습 5 (설계 판단). L4 로보택시 플랫폼의 컴퓨팅을 설계한다. 엔진 매핑·전력·중복화·안전을 어떻게 고려하나?
정답
① 엔진 매핑(효율): 다종·다수 센서의 표준 인지 DNN을 DLA로 오프로드(전력↓), 클래식 비전(스테레오·렉티피케이션)을 PVA로, 신규·복잡·융합을 GPU로, 계획·제어를 CPU로, 카메라 ingest를 ISP·비디오 엔진으로. 작업을 분배해 전력 예산 안에 L4의 큰 컴퓨팅을 담음. ② 전력·열: L4는 컴퓨팅이 커 전력·열이 큰 제약 — TOPS/W 효율(이기종)·열 설계, 주행거리 영향 고려. ③ 중복화(fail-operational, 8.9): L4는 운전자가 없어 단일 SoC로 부족 — 이중 컴퓨팅(다중 SoC)·센서 다양성·중복 경로로 한 SoC가 고장 나도 안전하게 계속/정지. ④ 안전(8.8~8.11): ISO 26262 ASIL 목표, 락스텝·안전 섬·진단, SOTIF(의도 기능 안전, 8.10), AI 인지 안전(8.11) — 설계 처음부터. ⑤ 결정성(8.6): RTOS·격리로 종단 지연 데드라인 보장. ⑥ 실제 ODD·검증: 발표 L4가 아니라 정의된 ODD에서 검증·규제(8.1 정직성). 정리: 이기종 분배(효율) + 다중 SoC(중복화) + 안전·결정성 + 검증 — L4는 컴퓨팅·중복·안전이 모두 커지므로 단일 칩·데이터센터 관행으로는 안 됨. 안전은 자격 있는 엔지니어·표준의 영역.
8.2.11 요약 · 다음 장
- DRIVE SoC(Orin) 는 중앙 컴퓨트를 한 칩에 통합한 이기종 SoC(자동차급) — GPU·DLA·PVA·CPU·ISP·비디오·안전 섬을 집적해 전력·실시간·안전 요구를 충족.
- 이기종 = 효율(TOPS/W): 전력 천장(8.1)에서 작업마다 맞는 엔진에 분배 — 표준 DNN→DLA(효율)·클래식 CV→PVA·유연/신규→GPU·제어→CPU·카메라→ISP/비디오. 같은 전력에 더 많은 컴퓨팅.
- DLA vs GPU = 효율 vs 유연 — DLA로 주력 오프로드(전력↓), GPU로 보완(DLA 미지원·신규). TensorRT가 DLA 타깃·GPU 폴백 지원(5.2·8.4).
- 데이터센터 GPU(4.1)와 달리 통합·이기종·전력 제약·안전(락스텝·ASIL)·결정성(RTOS) — "작은 데이터센터 GPU"가 아니라 자동차 제약에 맞춘 SoC.
- 정직: Orin 구체 사양은 SKU·세대 의존(확인 필요·BK-04), safety-critical은 자격 있는 엔지니어·표준의 영역, TOPS만 비교 금지(효율·툴체인·안전).
다음 장: 8.3 DRIVE SoC II — Thor·차세대. Orin을 봤으니 차세대 SoC(Thor)로 — 세대 진화(트랜스포머·생성형 AI 인지·더 높은 효율·통합 강화)와, 차량에서 트랜스포머/대형 모델 추론(4.2~4.4의 정밀도·아키텍처가 엣지로)이 어떻게 가능해지는지를 발표 기준·신중히 본다. 이로써 DRIVE SoC(8.2~8.3)를 마무리한다.