제8부 자율주행
8.14 자율주행 AI I — 인지·계획·데이터 엔진
8.14.1 이 장에서 배우는 것 / 선수 지식
8.13에서 센서 스택(DriveWorks·Hyperion)으로 센서를 추상화·캘리브레이션·기록했다. 이제 그 위에서 실행되는 AI 알고리즘 — 인지·예측·계획 — 과, 그것을 끝없이 개선하는 데이터 엔진을 본다. 자율주행 AI 묶음(8.14~8.15)의 시작.
핵심 통찰: 자율주행의 실질적 경쟁력은 모델 아키텍처가 아니라 "데이터 엔진" 이다. SOTIF의 롱테일(8.10)은 무한해서 시나리오를 다 열거할 수 없으니, 실패를 끊임없이 발견하고 고치는 시스템(데이터 엔진) 을 가진 쪽이 이긴다. 인지는 CNN에서 BEV·occupancy·트랜스포머(8.3)로 진화하고, 계획은 모듈 vs 엔드투엔드의 열린 논쟁이지만 — 어느 쪽이든 데이터 엔진(플라이휠, 7.7) 이 양산의 핵심이다.
배우는 것:
- 인지 — 검출·분할·자유공간·차선, BEV(통합 조감)·occupancy(임의 객체)·트랜스포머 진화.
- 예측 — 다른 에이전트의 미래 궤적, 불확실·다중모달.
- 계획 — 모듈(인지→예측→계획) vs 엔드투엔드, 해석 가능성 vs 성능.
- 데이터 엔진 — 실패 자동 마이닝·자동 라벨링·재학습·재검증, 경쟁 해자.
- 플라이휠(7.7 자율주행판) — 쓸수록 롱테일을 좁히는 순환.
선수 지식: 8.13(센서 스택·기록/재생)·8.10(SOTIF 롱테일·미지 객체)·8.11(AI 안전·불확실성)·8.3(엣지 트랜스포머)·7.7(드리프트·플라이휠)·6.6(큐레이션). 시뮬레이션은 8.15, 추론 엔진은 8.2~8.5. 환경은 자율주행 AI.
정직: 자율주행 AI는 빠르게 변하는 연구 영역이다 — BEV·occupancy·엔드투엔드는 실제 흐름이나 양산 성숙도는 다양하고, 모듈 vs 엔드투엔드는 열린 논쟁이다. 발표·데모를 양산으로 오해하지 말 것(8.1·8.11). 안전(8.8~8.11)이 전제이고, 이 장은 알고리즘·데이터 엔진의 개념을 가르친다.
8.14.2 인지 — 세계를 이해하기
인지(perception)는 센서 데이터를 환경의 이해로 바꾼다:
BEV(Bird's-Eye-View) 전환. 과거엔 카메라마다 2D로 인지했으나, 계획은 통합된 3D/조감 세계 모델이 필요하다 — 여러 카메라(+레이더·라이다)를 차량 좌표의 조감 시점으로 융합:
Occupancy 네트워크. 검출은 알려진 클래스(차량·보행자)만 다루는데, 도로엔 분류 안 되는 객체(쓰러진 나무·낙하물·특이 장애물)가 있다 — SOTIF의 미지(8.10). Occupancy는 공간을 점유 격자(여기 뭔가 있나)로 표현해, 클래스 무관하게 "장애물이 있다"를 인지:
occupancy는 미지 객체 안전(8.10)에 중요하다 — 무엇인지 몰라도 '피해야 함'을 안다.
핵심: 인지는 카메라별 2D → BEV(통합 조감) → occupancy(임의 객체) → 트랜스포머로 진화한다. BEV는 계획이 쓸 통합 세계 모델을, occupancy는 미지 객체 안전(8.10)을, 트랜스포머는 그 효율(8.3)을 준다. 이것이 데이터센터 기술(트랜스포머·FP8, 4.2·8.3)이 엣지로 오는 이유.
8.14.3 예측·계획
인지 다음은 예측·계획:
계획의 접근 — 모듈 vs 엔드투엔드(열린 논쟁):
| 접근 | 구조 | 장점 | 단점 |
|---|---|---|---|
| 모듈형 (modular) | 인지 → 예측 → 계획을 '분리된 단계'로 | 각 단계 해석 가능·디버깅·추적(안전 8.8)·검증 쉬움 | 단계 간 오류 전파, 수작업으로 설계한 인터페이스(정보 손실) |
| 엔드투엔드 (end-to-end) | 센서 → (하나의 큰 모델) → 계획/행동 직접 | 전체 태스크를 학습, 잠재 성능↑, 인터페이스 손실↓ | 불투명(AI 안전 8.11 더 어려움)·검증·디버깅 난해·추적성↓ |
견해: 모듈 vs 엔드투엔드는 미해결 논쟁이다. 모듈형은 해석 가능·검증 가능(안전 케이스 8.8에 유리)하나 오류 전파·인터페이스 손실이 있고, 엔드투엔드는 잠재 성능이 높으나 불투명·검증 난해(AI 안전 8.11). 실무는 하이브리드(엔드투엔드 요소 + 모듈 안전 감시, doer/checker 8.9)나 점진적 통합으로 가는 경향. 발표·데모(엔드투엔드 인상적)를 양산 안전으로 오해 금지 — 검증 가능성·안전이 양산의 벽(8.11).
8.14.4 데이터 엔진 — 실질적 경쟁력
자율주행의 핵심 통찰: 모델 아키텍처보다 데이터 엔진이 경쟁력이다.
데이터 엔진의 순환(플라이휠, 7.7 자율주행판):
쓸수록 롱테일을 좁히는 선순환이다.
핵심 기술:
- 자동 마이닝(auto-mining): 플릿이 만드는 페타바이트급 데이터를 사람이 다 못 본다 — 자동으로 중요한 케이스를 발굴(인지 불확실, 모델 간 불일치, 드문 시나리오, 이탈·개입, 충돌 회피). SOTIF 모르는-위험(8.10)을 자동 발견.
- 자동 라벨링(auto-labeling): 대규모 데이터를 사람이 다 못 라벨한다 — 오프라인 대형 모델·센서 융합(라이다를 카메라 ground truth로)으로 자동 라벨, 사람은 검수·어려운 것만.
- 능동 학습(active learning): 가장 정보가 많은(모델이 모르는·헷갈리는) 데이터를 우선 라벨·학습 → 효율.
견해: 데이터 엔진이 자율주행의 실질적 해자(moat) 다 — 같은 모델 아키텍처라도, 롱테일 실패를 빨리 발견·라벨·재학습·재검증하는 시스템을 가진 쪽이 양산에 다가간다. 자동 마이닝(못 본 것을 찾기)·자동 라벨링(스케일)·플라이휠이 핵심. NVIDIA의 데이터센터 학습(제4~6부)·시뮬레이션(8.15)·DRIVE 컴퓨트가 이 엔진을 받친다.
8.14.5 워크스루 — 데이터 엔진 루프
데이터 엔진을 설계하는 워크스루(개념).
견해: 데이터 엔진의 핵심은 "자동화" 다 — 페타바이트를 사람이 못 보니, 자동 마이닝(중요 케이스 발굴)·자동 라벨링(스케일) 이 루프를 반복 실행한다. 사람은 검수·어려운 것·안전 판정에. NVIDIA는 데이터센터 학습·시뮬레이션·DRIVE로 이 루프를 끝에서 끝까지 받친다. 안전(8.11)·정직한 평가(decontamination 6.6)가 게이트.
8.14.6 중간 점검 (체크포인트)
- [ ] 인지의 진화(카메라 2D → BEV 통합 조감 → occupancy 임의 객체 → 트랜스포머)와 각 동기를 안다.
- [ ] occupancy가 미지 객체 안전(SOTIF 8.10)에 왜 중요한지 안다.
- [ ] 예측(다중모달·불확실)·계획의 역할과, 모듈 vs 엔드투엔드(해석 vs 성능)의 트레이드오프를 안다.
- [ ] 데이터 엔진이 모델보다 경쟁력임과, SOTIF 롱테일(8.10)이 그 이유임을 안다.
- [ ] 데이터 엔진 순환(수집·자동 마이닝·자동 라벨링·재학습·재검증)과 플라이휠(7.7)을 안다.
증상→의심: 검출이 미분류 객체(낙하물)를 놓침 → occupancy 필요(SOTIF 8.10). 카메라별 2D 융합이 부정확 → BEV. 엔드투엔드인데 디버깅·검증 어려움 → 불투명(AI 안전 8.11)·모듈/하이브리드. 롱테일 실패가 안 줄음 → 데이터 엔진·자동 마이닝 없음. 페타바이트를 사람이 라벨 → 자동 라벨링. 재학습했는데 회귀 → 평가 게이트·decontamination(6.6·7.7). 발표 엔드투엔드를 양산 가정 → 검증·안전(8.11).
8.14.7 트레이드오프·대안
| 결정 | 트레이드오프 |
|---|---|
| 모듈 vs 엔드투엔드(계획) | 해석·검증·추적 vs 잠재 성능·불투명 |
| 검출 vs occupancy | 클래스 정보 vs 임의 객체(미지 안전) |
| 카메라 vs 다센서(BEV) | 비용 vs 강건(맹점 보완, 8.10~8.11) |
| 수동 vs 자동(마이닝·라벨) | 정확·느림·비현실 vs 스케일·검수 필요 |
| 데이터 엔진 투자 vs 모델 투자 | 롱테일·양산 vs 단기 벤치마크 |
견해: 인지는 BEV+occupancy(통합 세계 모델 + 미지 객체)·다센서(8.10~8.11 안전)로, 계획은 모듈/하이브리드로 검증 가능성 유지(엔드투엔드는 잠재력이나 안전 검증의 벽), 그리고 데이터 엔진에 투자(롱테일·양산의 실제 레버)가 정석이다. 자동 마이닝·자동 라벨링·플라이휠로 롱테일을 좁히되, 정직한 평가·안전 게이트(6.6·8.11)로. 발표·데모가 아니라 양산·안전(8.1·8.11)으로 판단.
비엔비디아 정직: 인지(BEV·occupancy)·엔드투엔드·데이터 엔진은 업계 전체의 흐름(여러 AV 개발자가 추구) — NVIDIA만의 것이 아니다. NVIDIA의 기여는 데이터센터 학습(제4~6부)·DRIVE 컴퓨트·시뮬레이션(8.15)·연속 스택으로 데이터 엔진을 받침이다. 알고리즘·데이터 엔진은 공통 과제이고, 양산은 안전·롱테일에 달렸다. "엔드투엔드로 곧 해결"은 검증·안전을 보면 과장(8.11).
8.14.8 흔한 함정
- 검출만으로 미지 객체. 클래스 기반 검출은 미분류 객체(낙하물)를 놓침 → occupancy(SOTIF 8.10).
- 카메라별 2D 고집. 계획은 통합 세계 모델 필요 → BEV. 후처리 3D 변환은 오류↑.
- 엔드투엔드 = 안전 해결 오해. 불투명해 검증·디버깅·안전(8.11)이 더 어려움 — 잠재력과 양산 안전은 다름.
- 모델만 투자. 자율주행 경쟁력은 데이터 엔진(롱테일) — 모델 아키텍처 천재성보다 데이터 플라이휠.
- 수동 마이닝·라벨링. 페타바이트를 사람이 못 함 → 자동 마이닝·자동 라벨링.
- 재학습 회귀 미검증. 평가 게이트·decontamination(6.6·7.7) 없으면 한 케이스를 고칠 때 다른 케이스가 깨짐.
- 예측 불확실성 무시. 다중모달·불확실을 무시하면 계획이 위험 → 보수적·불확실성(8.11).
- 발표를 양산으로. BEV·occupancy·엔드투엔드 데모와 양산 안전·검증은 다름(8.1·8.11).
8.14.9 연습문제
연습 1 (occupancy). 클래스 기반 검출의 한계와, occupancy 네트워크가 SOTIF(8.10)의 어떤 문제를 어떻게 푸는지 설명하라.
정답
클래스 기반 검출의 한계: 검출 모델은 학습한 클래스(차량·보행자·자전거 등)만 인식한다 — 도로 위 분류 안 되는 객체(쓰러진 나무·낙하물·특이한 장애물·처음 보는 물체)를 "아무 클래스도 아님"으로 처리해 놓칠 수 있다. 이것은 SOTIF의 미지 객체·모르는-위험(8.10) — 검출이 정상 동작해도(고장 아님) 클래스에 없는 객체를 못 봐 충돌 위험. occupancy 네트워크 해결: 공간을 점유 격자(3D occupancy grid) 로 표현 — "이 공간이 점유됐나(뭔가 있나)"를 클래스 무관하게 인지. 무엇인지(차량? 낙하물?) 몰라도 "장애물이 있으니 피해야 함" 을 앎. 즉 검출은 "무엇인가"(클래스), occupancy는 "비었나 점유됐나"(공간) — occupancy가 미분류·미지 객체도 장애물로 간주해 충돌 회피. SOTIF 관점: 도로의 롱테일에는 무한히 다양한 미지 객체가 있어 클래스 검출로 다 못 다루는데, occupancy는 클래스 열거 없이 점유 공간을 인지해 그 빈틈을 메운다(미지 객체 안전). 그래서 BEV+occupancy가 안전한 인지의 방향. 단 occupancy도 인지 한계(못 보는 것)는 남아 다센서·불확실성(8.11)과 함께. 검출(분류 정보)과 occupancy(안전 공간)를 보완적으로 — 검출로 행동 예측, occupancy로 충돌 회피.
연습 2 (BEV). 카메라별 2D 인지 대신 BEV로 가는 이유를, 계획이 무엇을 필요로 하는지로 설명하라.
정답
카메라별 2D의 문제: 각 카메라가 자기 시점의 2D 이미지 공간에서 객체를 인지하면, 계획이 쓰려면 여러 카메라의 2D를 융합하고 3D/차량 좌표로 변환해야 하는데, 이것이 후처리로 일어나면 오류·정보 손실·복잡이 크다(카메라 간 겹침·경계·깊이 추정 오류). 계획의 필요: 계획(planning)은 자차의 궤적·행동을 결정하려면 차량 주변을 통합한 3D/조감(top-down) 세계 모델 — "내 주변 어디에 무엇이 있나"를 차량 좌표로 — 이 필요하다. 카메라별 2D는 이 통합 세계 모델이 아니다. BEV(Bird's-Eye-View) 해결: 여러 카메라(+레이더·라이다)를 직접 하나의 조감 표현(차량 좌표의 top-down 격자)으로 융합 — 트랜스포머(어텐션)로 다중 카메라를 BEV로 변환(8.3). 결과: 계획이 바로 쓸 통합 세계 모델(주변 객체·자유공간·차선을 조감으로) → 융합·변환 오류 감소, 다중 카메라 정보가 일관되게 결합. occupancy도 보통 BEV/3D 공간에서. 즉 "계획이 통합 조감 세계 모델을 필요로 하므로, 인지를 카메라별 2D가 아니라 BEV로 직접 만든다". 이것이 인지가 BEV로 진화한 이유이고, 트랜스포머·다센서가 그 수단(8.3). 데이터센터 기술(트랜스포머)이 엣지로 오는 동기.
연습 3 (모듈 vs 엔드투엔드). 자율주행 계획에서 모듈형과 엔드투엔드의 트레이드오프를 안전(8.8·8.11) 관점에서 비교하고, 어느 쪽이 양산에 유리한지 논하라.
정답
모듈형(인지→예측→계획 분리): 장점 — 각 단계가 해석 가능·디버깅·추적 가능(안전 케이스 8.8에 유리, 어느 단계가 틀렸는지 분석), 단계별 검증·테스트, 안전 메커니즘(doer/checker 8.9)을 삽입하기 쉬움. 단점 — 단계 간 오류 전파(인지 오류가 계획으로), 수작업으로 설계한 인터페이스의 정보 손실, 각 단계 최적화가 전체 최적이 아닐 수 있음. 엔드투엔드(센서→하나의 큰 모델→계획): 장점 — 전체 태스크를 학습(잠재 성능↑), 인터페이스 손실↓, 데이터로 통합 최적화. 단점 — 불투명(왜 그렇게 판단했는지 설명 불가, AI 안전 8.11 더 어려움), 검증·디버깅 난해(어디가 문제인지 모름), 추적성↓(안전 케이스 8.8 어려움), 데이터·검증 요구 큼. 안전 관점: 모듈형이 검증·안전 케이스에 유리(해석·추적·단계 검증), 엔드투엔드는 성능 잠재력이나 검증 가능성이 양산의 벽(8.11). 양산: 현재는 모듈/하이브리드가 안전 검증에 유리 — 엔드투엔드 요소를 쓰되 모듈 안전 감시(doer/checker)로 감싸거나, 점진 통합. 엔드투엔드가 성능은 좋을 수 있으나 "검증 가능성·안전 케이스"가 양산을 가른다(8.11). "엔드투엔드로 곧 해결"은 데모는 인상적이나 안전 검증을 보면 과장 — 양산은 검증·안전이 결정(8.1·8.11). 미해결 논쟁이고, 실무는 안전 검증 가능성을 유지하며 엔드투엔드 이점을 흡수하는 방향. 자격 있는 엔지니어가 안전으로 판단.
연습 4 (데이터 엔진). "자율주행 경쟁력은 모델 아키텍처가 아니라 데이터 엔진"이라는 주장을, SOTIF 롱테일(8.10)과 연결해 설명하라.
정답
연결: SOTIF의 롱테일(8.10) — 도로 상황(날씨·조명·객체·행동)은 무한히 다양해서 시나리오를 다 열거·학습할 수 없고, 모르는-위험(미지 엣지케이스)이 늘 있다. 함의: 아무리 좋은 모델 아키텍처를 만들어도, 못 본 엣지케이스에서 실패한다 — 모델 천재성으로 무한 롱테일을 한 번에 풀 수 없다. 그래서 실질적 경쟁력은 "실패를 끊임없이 발견하고 고치는 시스템(데이터 엔진)" 이다: 플릿이 주행하며 실패·불확실·드문 케이스를 자동 마이닝(페타바이트에서 중요 케이스 발굴)하고, 자동 라벨링(스케일)하고, 재학습해 그 엣지케이스를 고치고, 재검증(안전 8.11)해 배포 → 다시 새 실패 발견. 이 플라이휠(7.7) 이 롱테일을 점점 좁힌다. 같은 모델 아키텍처라도, 롱테일을 가장 빨리 찾아 고치는 데이터 엔진을 가진 쪽이 양산에 빨리 다가간다 — 왜냐면 양산의 벽은 모델 정확도(평균)가 아니라 롱테일 잔여 위험(8.10~8.11)이고, 그것은 한 번의 좋은 모델이 아니라 지속적 개선 시스템으로만 줄어든다. 그래서 "모델보다 데이터 엔진이 해자(moat)". 자동 마이닝(못 본 것을 찾기)·자동 라벨링(스케일)·정직한 평가(decontamination 6.6)·안전 게이트(8.11)가 핵심 기술. NVIDIA는 데이터센터 학습(제4~6부)·시뮬레이션(8.15)·DRIVE로 이 엔진을 받침. 단기 벤치마크가 아니라 롱테일·양산을 보면 데이터 엔진이 결정적.
연습 5 (데이터 엔진 설계). 한 AV 회사의 데이터 엔진을 설계하라. 자동 마이닝·자동 라벨링·안전 게이트를 포함하고, 사람의 역할을 명시하라.
정답
설계(플라이휠, 7.7·8.14): ① 배포·수집 — 플릿이 주행하며 센서 데이터 기록(8.13), 트리거 기반 업로드(전부는 대역·저장 불가): 인지 불확실(8.11)·모델 간 불일치·이탈(disengagement)·급제동·충돌 회피·드문 상황. ② 자동 마이닝(auto-mining) — 막대한 데이터에서 중요 케이스 자동 발굴: occupancy와 검출 불일치(미지 객체)·낮은 신뢰·새 객체·악천후·다른 모델 버전 간 불일치 → SOTIF 롱테일(8.10) 자동 발견. 사람이 페타바이트를 못 보므로 자동화 필수. ③ 자동 라벨링(auto-labeling) — 라이다/오프라인 대형 모델·센서 융합으로 카메라 ground truth 자동 생성, 대규모 라벨. ④ 큐레이션 — dedup·decontamination(평가 누출 방지, 정직한 평가 6.6)·품질·다양성. ⑤ 재학습 — 데이터센터(제4~6부·NeMo 6.2)에서 인지·계획 재학습, 능동 학습(정보 많은 데이터 우선). ⑥ 재검증·안전 게이트 — 안전 관련 메트릭(보행자 recall 등 8.11)·시나리오(8.10)·시뮬레이션(8.15)·회귀(이전 케이스 안 망가짐) → 통과해야 카나리·배포(6.8). ⑦ 모니터링 — 운영 드리프트(7.7)·새 실패 → (다시 1). 사람의 역할: ① 자동 마이닝·라벨링의 검수·어려운 케이스 라벨(자동이 못 하거나 불확실한 것), ② 안전 판정(자격 있는 엔지니어가 안전 게이트·잔여 위험 8.8~8.11 — 자동화 안 됨), ③ 시나리오 설계·엣지케이스 정의, ④ 모델·데이터 전략. 핵심: 자동화로 스케일(마이닝·라벨링), 사람은 검수·안전·전략에. 안전(decontamination·게이트)이 정직성·신뢰의 전제. 이 엔진이 롱테일을 좁혀 양산에 다가가는 경쟁력 — 모델보다 이 시스템이 해자. NVIDIA 데이터센터·시뮬레이션·DRIVE가 받침.
8.14.10 요약 · 다음 장
- 인지는 카메라 2D → BEV(통합 조감 세계 모델) → occupancy(임의 객체, SOTIF 미지 안전 8.10) → 트랜스포머(8.3)로 진화 — 계획이 쓸 통합 모델과 미지 객체 안전이 동기.
- 예측(다중모달·불확실)·계획(모듈 vs 엔드투엔드) — 모듈형은 해석·검증(안전 8.8), 엔드투엔드는 잠재 성능·불투명(AI 안전 8.11). 양산은 검증 가능성·안전이 벽 — 하이브리드 경향.
- 자율주행의 실질적 경쟁력은 데이터 엔진 — SOTIF 롱테일(8.10)은 무한해 모델 아키텍처로 못 풀고, 실패를 끊임없이 발견·수정하는 시스템(플라이휠 7.7) 을 가진 쪽이 이긴다.
- 데이터 엔진: 수집(트리거) → 자동 마이닝(중요 케이스 발굴) → 자동 라벨링(스케일) → 재학습 → 재검증·안전 게이트(6.6·8.11) → 배포 → 모니터링. 사람은 검수·안전·전략에.
- 정직: 인지·엔드투엔드·데이터 엔진은 업계 공통 흐름·빠르게 변함, 양산은 안전·롱테일에 달림, 발표·데모 ≠ 양산(8.1·8.11). 안전은 8.8~8.11·전문가의 영역.
다음 장: 8.15 자율주행 AI II — DRIVE Sim·재시뮬레이션. 데이터 엔진과 SOTIF(8.10)가 요구한 시뮬레이션 — 위험·희귀 시나리오를 안전하게 대규모 탐색하는 DRIVE Sim, 실주행 데이터를 재생·변주하는 재시뮬레이션(resim), Sim2Real 갭, 그리고 합성 데이터로 롱테일을 메우는 법을 본다. 이로써 자율주행(제8부, 8.1~8.15)을 마무리한다.