제7부 자율성·군집
7.6 생성형 AI·파운데이션 모델과 무인기: 임무 지시·에이전트·보증
7.6.1 이 장에서 배우는 것 / 선수 지식 / 특히 중요한 독자
"교량 A의 하부를 30분 안에 점검하고, 균열 의심 지점은 확대 사진을 남겨라." 이런 문장을 알아듣고 비행 계획으로 바꾸는 일이 연구실에서는 이미 시연되고 있다. 대규모 자료로 미리 학습한 파운데이션 모델(foundation model) 덕분이다. 이 장은 그 모델이 무인기의 어디에 들어올 수 있는지, 왜 비행 안전의 경로에는 그대로 들어오면 안 되는지, 그리고 들어오게 하려면 어떤 구조가 필요한지를 다룬다.
배우는 것:
- 파운데이션 모델의 종류와 용도 — 언어·시각-언어·시각-언어-행동 모델과, 임무 지시·계획 보조·영상 설명·문서 검색·시나리오 생성에서의 용도.
- 에이전트 — 도구를 부르는 모델의 구조와 권한의 문제.
- 보증의 난제 — 환각, 비결정성, 검증할 수 없는 추론, 지연과 연산.
- 안전한 구조 — 모델은 제안하고 결정적 검증기와 사람이 승인하며 런타임 보증이 감싸는 구조, 그 잔여 위험의 계산.
- 위험 범주와 방호 설계 — 프롬프트 주입·자료 유출·과신 등의 범주와 설계로 막는 법.
- 배치의 선택 — 탑재·지상·클라우드의 지연과 전력, 규제와 인증 쪽 상태.
선수 지식: 공통 원인 비율 $\beta$와 독립 감시는 2.5.4.3·1.16.7.1, 탑재 연산이 체공을 깎는 계산은 2.9.8, 런타임 보증의 구조와 전환 시간 예산은 7.8(7.8.3·7.8.5), 머신러닝 보증의 일반 논리는 7.4, 경로 계획 알고리즘은 7.2이다. 수식은 확률의 곱 수준이다.
특히 중요한 독자: 엔지니어는 7.6.6·7.6.7·7.6.9와 7.6.10의 워크스루를 본다. 인증·보안 담당자는 7.6.5·7.6.8·7.6.14를 본다. 정책·사업 담당자는 7.6.2·7.6.11·7.6.12를 먼저 본다.
기준 시점과 경계. 이 장은 2026년 10월을 기준으로, 지식은 2026년 중반까지 반영했다. 이 분야는 반년 단위로 바뀌므로 모델·제품의 이름과 성능은 예시일 뿐이며
(공개 주장치)로 표시했다. 계산은 일반적 모형, 교육용 가정이며 파이썬 표준 라이브러리로 했다(mil-uam/fig-src/7.6-model.py·7.6-calc.py). 위험은 범주와 방호 설계 수준으로만 작성한다. 생성형 AI 시스템을 공격하는 구체 절차(탈옥·주입 문자열 등)는 작성하지 않는다. 표적의 탐지·선정·교전을 생성형 모델에 맡기는 응용은 다루지 않으며, 자율 무기의 규범은 19.3이 다룬다.
7.6.2 개념·직관 — 말을 알아듣는 모델이 비행에 들어올 때
7.4이 다룬 머신러닝은 대개 한 가지 일을 위해 학습한다. 영상에서 차량을 찾는 탐지기는 차량만 찾는다. 파운데이션 모델은 다르다. 인터넷 규모의 글·영상으로 먼저 학습하고, 지시만 바꿔 여러 일을 한다. 언어 모델은 문장을 받아 문장을 낸다. 같은 모델이 정비 매뉴얼을 요약하고, 임무 지시를 구조화하고, 비행 기록에서 이상한 대목을 찾는다.
그 범용성이 곧 보증의 문제다. 탐지기는 "차량을 몇 % 찾는가"로 시험할 수 있지만, 범용 모델이 "모든 지시를 옳게 해석하는가"는 시험할 범위가 정해지지 않는다. 그래서 이 장의 중심 생각은 하나다. 모델을 결정하는 자리가 아니라 제안하는 자리에 둔다. 제안이 옳은지는 모델과 독립된, 결정적이고 검증 가능한 장치가 판정한다. 이 구조는 7.8의 런타임 보증과 같은 논리를 임무 계층으로 올린 것이다.
모델을 어떻게 얻느냐도 보증을 결정한다.
| 얻는 방식 | 장점 | 보증·보안의 쟁점 |
|---|---|---|
| 외부 API 서비스 | 가장 큰 모델을 바로 사용한다 | 판이 예고 없이 바뀐다, 자료가 밖으로 나간다, 링크 필수 |
| 공개 가중치 모델을 자체 서버·기체에 | 판을 고정하고 자료를 안에 둔다 | 모델 파일의 출처·무결성 확인(8.13), 성능은 작은 편 |
| 자체 미세조정 | 임무 용어·형식에 맞춘다 | 학습 자료의 관리(7.5), 재학습마다 재시험 |
세 축의 요구는 이렇게 다르다.
| 축 | 용도(공개 자료 수준) | 주된 요구 |
|---|---|---|
| 군용 드론 | 정보 요약·보고서 초안, 임무 계획 보조, 정비·군수 문서 검색, 훈련 시나리오 생성 | 비공개 자료의 보호, 사람의 판단과 책임 유지(19.3·19.12), 링크 없는 환경 |
| 민간 UAS | 자연어 임무 지시, 점검 영상 설명·보고서, 운용 절차·규정 질의 | 비행 승인 조건과 지오존의 준수, 개인정보(18.17), 비용 |
| AAM | 조종사·운항 관리 보조(체크리스트·정비 문서), 운항 계획 보조 | 승객 안전 수준의 보증, 인증 기준의 부재(20.10) |
7.6.3 파운데이션 모델의 종류와 무인기에서의 용도
7.6.3.1 세 종류
| 종류 | 입력 → 출력 | 무인기에서의 용도 | 위험의 결 |
|---|---|---|---|
| 언어 모델(LLM) | 글 → 글(구조화된 출력 포함) | 임무 지시의 해석, 계획 초안, 문서 검색·요약, 보고서 | 그럴듯한 오답(환각), 지시 해석의 모호함 |
| 시각-언어 모델(VLM) | 영상 + 글 → 글 | 점검 영상의 설명, 장면 질의응답, 이상 소견 정리 | 보이지 않는 것을 보았다고 말함, 작은 물체 미탐지 |
| 시각-언어-행동 모델(VLA) | 영상 + 글 → 행동(로봇 명령) | 연구 단계의 로봇 조작·이동 | 행동의 안전 보증이 없음 |
연구 흐름에서 눈여겨볼 시연이 셋 있다. 언어 모델이 고른 기술을 로봇이 실제로 할 수 있는지로 거르는 SayCan(Ahn 외, 2022), 언어 모델이 로봇 제어용 코드를 사용하게 하는 접근(Liang 외, 2023)과 시뮬레이터 속 드론에 적용한 시연(Vemprala 외, 2023), 그리고 웹 자료의 지식을 로봇 행동으로 옮긴 시각-언어-행동 모델 RT-2(Brohan 외, 2023)다. 모두 모델이 직접 모터를 돌리지 않고 미리 만든 기술·함수·도구를 고르거나 부르는 구조라는 점이 공통이다.
7.6.3.2 무인기에서의 용도과 비행 안전과의 거리
| 용도 | 모델이 하는 일 | 비행 안전과의 거리 | 결정적 검증 수단 |
|---|---|---|---|
| 자연어 임무 지시 | 문장을 구조화된 임무 계획(구역·고도·경유점·제약)으로 | 가깝다 — 계획이 곧 비행이 된다 | 지오존·에너지·성능·규칙 검사기(7.6.6) |
| 임무 계획 보조 | 대안 경로·일정 제안, 계획의 빠진 점 지적 | 중간 | 경로 계획기(7.2)와 임무 계획 절차(16.3) |
| 영상 설명·보고서 | 점검 영상의 소견 초안, 보고서 작성 | 멀다(비행 뒤) — 결과의 정확성 문제 | 사람의 검수, 원본 영상 대조(6.12) |
| 정비 문서 검색 | 매뉴얼·이력에서 근거를 찾아 요약(검색 증강) | 간접 — 틀린 정비가 다음 비행의 위험 | 근거 문서 인용과 사람의 확인(2.12) |
| 시뮬레이션 시나리오 생성 | 시험할 고장·기상·교통 상황의 목록과 설정 | 간접 — 시험의 빈틈 | 시나리오 커버리지 분석(8.19) |
| 교육·절차 질의 | 운용 규정·절차의 질의응답 | 간접 | 원문 규정 대조(20.14) |
비행에 가까울수록 결정적 검증이 필요하다. 표의 위쪽은 모델의 출력이 기계에 들어가고, 아래쪽은 사람에게 들어간다. 사람에게 들어가는 출력은 사람의 검수가 1차 방어선이지만, 사람이 모델을 지나치게 믿는 자동화 편향이 그 방어선을 약하게 만든다(8.18).
정비 문서 검색은 흔히 검색 증강 생성(RAG, retrieval-augmented generation)으로 만든다. 설계 원칙은 셋이다.
- 답에는 근거 조각의 인용을 붙이고, 인용이 없거나 원문에 없는 내용이면 답하지 않게 한다.
- 검색 대상 문서 묶음(매뉴얼·정비 지시·감항 개선 지시)을 판 단위로 관리한다(8.22). 낡은 판이 섞이면 틀린 답이 근거를 갖춘 것처럼 보인다.
- 토크 값·한계치처럼 숫자가 걸린 답은 사람이 원문 표에서 다시 읽는다.
7.6.4 에이전트 — 도구를 부르는 모델
에이전트(agent)는 모델이 목표를 받아 스스로 단계를 나누고, 도구(기상 조회, 지오존 조회, 경로 계획기, 비행 계획 등록)를 부르고, 결과를 보고 다음 단계를 정하는 고리다. 사람이 단계마다 지시하지 않아도 일이 끝까지 간다는 점이 매력이고, 같은 점이 위험이다.
에이전트의 위험은 모델이 무엇을 말하느냐보다 무엇을 할 수 있느냐에서 나온다. 같은 오답도 보고서에 적히면 사람이 고치지만, 비행 계획 등록 도구를 부를 권한이 있으면 그대로 비행이 된다. 그래서 설계 원칙은 네 가지다.
- 최소 권한. 모델이 부를 수 있는 도구를 임무에 필요한 것으로 제한하고, 쓰기 권한(계획 등록·비행 명령)은 읽기 권한(기상·지오존 조회)과 나눈다.
- 도구는 결정적이다. 경로 계산·에너지 계산·지오존 판정은 모델이 아니라 검증된 프로그램이 한다. 모델은 그 프로그램을 부를 뿐이다.
- 되돌릴 수 없는 행동 앞에서 멈춘다. 비행 시작·계획 제출·자료 삭제 같은 행동은 사람의 확인을 거친다.
- 모든 호출을 기록한다. 어느 입력에서 어떤 도구를 어떤 인수로 불렀는지 남겨야 사고 뒤에 설명할 수 있다(8.23).
7.6.5 보증의 난제
| 난제 | 무엇인가 | 무인기에서의 예 | 왜 기존 보증이 어렵나 |
|---|---|---|---|
| 환각(hallucination) | 근거 없는 내용을 그럴듯하게 만든다(Ji 외, 2023) | 없는 지오존 해제를 "확인했다"고 사용한다, 매뉴얼에 없는 토크 값을 인용한다 | 출력 공간이 열려 있어 시험으로 포괄할 수 없다 |
| 비결정성 | 같은 입력에 다른 출력 | 같은 지시에 다른 고도·경로 | 재현 시험이 어렵다. 표본화를 끄더라도 연산 순서에 따라 출력이 달라질 수 있다 |
| 검증할 수 없는 추론 | 모델이 내놓는 "이유"가 실제 계산 과정과 다를 수 있다(Turpin 외, 2023) | 그럴듯한 설명을 붙인 틀린 계획 | 설명을 근거로 승인하면 안 된다 |
| 지시·입력에 대한 민감성 | 표현이 조금 달라도 결과가 바뀐다 | "하부 점검"과 "교량 아래 점검"이 다른 계획 | 입력 공간의 경계가 없다 |
| 지연과 연산 | 큰 모델일수록 느리고 전력을 많이 사용한다 | 탑재 응답 수 초~수십 초(7.6.9) | 시간 예산이 있는 기능에 넣을 수 없다 |
| 판 변경 | 모델·서비스가 수시로 갱신된다 | 어제 통과한 지시가 오늘 다르게 해석된다 | 형상 관리와 재시험의 단위가 불안정해진다(8.22) |
이 표의 공통 결론은 7.4과 같다. 모델 자체의 옳음을 보이는 길은 아직 없다. 남은 길은 모델의 출력을 구조로 거르는 것이다.
7.6.6 안전한 구조 — 모델은 제안하고 검증기가 승인한다
결론부터: 모델은 제안만 하고, 승인은 모델과 독립된 결정적 검증기와 사람이 하며, 비행 제어는 런타임 보증이 감싼다. 모델은 비행 안전의 시간 경로(제어 루프·RTA) 밖에 둔다.
7.6.6.1 다섯 부분
구조의 각 부분이 할 일은 이렇다.
- 구조화된 출력. 모델은 자유 문장이 아니라 정해진 형식(구역·고도·경유점·속도·제약의 목록)으로 계획을 낸다. 형식에 맞지 않으면 검증기가 바로 거부한다.
- 결정적 검증기. 계획을 규칙으로 검사한다. 지오존과 비행 제한 구역(9.14·14.22), 고도 상·하한, 장애물과의 거리, 귀환 에너지(2.6.5.2), 기체 성능 한계, 승인 조건. 같은 입력에는 같은 판정을 내고, 거부할 때는 이유를 모델과 사람에게 돌려준다.
- 독립 자료. 검증기는 모델이 읽거나 뽑은 자료가 아니라 공식 자료(지오존 데이터베이스·UTM 서비스·기체 성능 모형)를 사용한다. 이것이 공통 원인을 줄이는 핵심이다(7.6.7).
- 사람 확인. 검증을 통과한 계획을 사람이 보고 승인한다. 사람에게는 계획과 함께 검증 결과와 근거를 보여 준다.
- 런타임 보증. 실행 중에는 7.8의 감시기와 회복 기능이 경계를 준수한다. 모델이 만든 계획이 검증기를 통과했더라도 비행 중의 마지막 방어선은 모델과 무관하다.
모델이 링크 없이 기체 위에서 다시 계획하는 경우(7.6.9의 탑재 배치)에도 같은 구조를 기체 안에 둔다. 검증기와 RTA는 탑재 상태로 남고 사람 확인만 빠진다. 그만큼 검증기의 범위가 넓어야 한다.
7.6.6.2 구조화된 계획과 검증 규칙
검증기가 완결적이려면 계획의 모든 항목에 규칙과 근거 자료가 붙어야 한다. 규칙이 없는 항목은 모델이 무엇을 작성해도 통과한다.
| 항목 | 형식 | 검증 규칙(예) | 근거 자료 |
|---|---|---|---|
| 운용 구역 | 다각형 좌표 | 제한 구역과 교차하지 않고 승인 구역 안 | 지오존·UTM(9.14) |
| 고도 | 최소·최대, 기준면 명시 | 법정 상한, 장애물 여유, 기준면 일치 | 규정·지형 자료 |
| 경유점 | 좌표·고도·속도 목록 | 구역 안, 속도 ≤ 기체 한계, 장애물과의 거리 ≥ 전환 경계 | 성능 모형, 7.8.5 |
| 시간 | 시작 시각, 예상 비행 시간 | 귀환 에너지 + 예비 ≤ 가용 에너지 | 2.6.5.2 |
| 탑재체 동작 | 촬영 지점·모드 | 촬영 제한 구역·시간 | 18.17 |
| 비상 설정 | 링크 상실·저전력 시 동작 | 승인 조건의 비상 절차와 일치 | 2.6·승인서 |
| 출처 | 지시 원문, 모델과 판 | 빠지면 거부 | 8.23 |
7.6.6.3 시험 — 모델이 바뀌어도 구조를 믿으려면
| 시험 층 | 대상 | 방법 | 판단 기준(예) |
|---|---|---|---|
| ① 검증기 | 결정적 규칙과 자료 연결 | 요구 기반 시험·구조 커버리지(8.8), 경계값 시험 | 모든 규칙에 통과·거부 사례 |
| ② 구조 전체 | 모델 + 검증기 + 사람 화면 | 대표 지시 묶음(정상·모호·적대적 범주)으로 거부율과 통과한 계획의 오류를 잰다. 시험 팀이 공격자 관점에서 범주별 입력을 만든다 | 통과한 위험 계획 0건/수천 건 |
| ③ 판 변경 | 모델·프롬프트·도구의 새 판 | 같은 지시 묶음으로 회귀 시험 | 거부율·오류의 변화가 허용 범위 안 |
| ④ 운용 중 | 실제 지시와 결과 | 거부율·사람 수정률·전환 기록의 추이 감시 | 추세가 바뀌면 원인 조사 |
②의 기준에 숫자가 따라온다. 통과한 위험 계획이 0건이라도 3,000건을 시험해야 계획 1건당 $10^{-3}$을 95 % 신뢰로 말할 수 있다(1.16.7의 $3/n$ 규칙). 지시 묶음이 실제 지시의 분포를 대표하지 못하면 이 숫자는 낙관적이다. 비결정성은 막기보다 다룬다. 같은 지시로 여러 번 계획을 내 결과가 갈리면 그 지시를 모호한 것으로 보고 사람에게 넘기는 방법이 있다.
7.6.7 잔여 위험 — 검증기가 놓치는 몫과 공통 원인
제안-검증 구조를 지난 위험은 1.16.7.1과 7.8.3.3의 식과 같은 꼴이다. 모델이 위험한 계획을 낼 확률을 $p$, 검증기가 그것을 독립적으로 놓칠 확률을 $q$, 둘이 같은 원인으로 함께 틀리는 비율을 $\beta$(2.5.4.3), 사람 확인이 놓칠 확률을 $m_h$라 하면 계획 1건당 위험은 다음과 같다.
$$P_{\text{잔여}}=p\,\bigl[(1-\beta)\,q+\beta\bigr]\,m_h$$
$p=0.05$(가정)로 계산했다. 사람 확인은 자동화 편향을 감안해 $m_h=0.5$로 둔 경우와 없는 경우($m_h=1$)를 비교했다.
| 검증기가 놓칠 확률 $q$ | $\beta=0$ | $\beta=0.01$ | $\beta=0.1$ | $\beta=0.3$ | $\beta=0.01$ + 사람 확인 |
|---|---|---|---|---|---|
| $10^{-2}$ | $5.0\times10^{-4}$ | $1.0\times10^{-3}$ | $5.5\times10^{-3}$ | $1.5\times10^{-2}$ | $5.0\times10^{-4}$ |
| $10^{-3}$ | $5.0\times10^{-5}$ | $5.5\times10^{-4}$ | $5.0\times10^{-3}$ | $1.5\times10^{-2}$ | $2.7\times10^{-4}$ |
| $10^{-4}$ | $5.0\times10^{-6}$ | $5.0\times10^{-4}$ | $5.0\times10^{-3}$ | $1.5\times10^{-2}$ | $2.5\times10^{-4}$ |
검증기를 열 배 좋게 해도 $\beta=0.01$이면 위험은 $5.5\times10^{-4}$에서 $5.0\times10^{-4}$로 거의 그대로다. 하한은 $p\beta$가 정한다. 생성형 모델의 제안-검증 구조에서 $\beta$를 키우는 전형은 셋이다.
- 검증기가 모델이 뽑은 자료를 검사한다. 모델이 지시문에서 "비행 구역"을 뽑고 검증기가 그 구역을 지오존과 대조하면, 모델이 구역을 잘못 뽑은 경우를 검증기는 볼 수 없다. 검증기는 계획에 실제로 들어간 좌표를 공식 자료와 대조해야 한다.
- 같은 모델이 자기 출력을 심사한다. 모델을 판정자로 사용하는 방식은 같은 학습 자료와 같은 맹점을 공유한다. 두 번째 모델을 쓰더라도 같은 계열이면 독립이라 보기 어렵다.
- 같은 입력에 함께 속는다. 모델과 검증기가 같은 외부 문서를 근거로 삼으면, 문서가 틀리거나 오염되었을 때 둘이 함께 틀린다.
7.6.8 위험 범주와 방호 설계
위험은 범주로 정리한다. 범주의 이름은 업계에서 널리 사용하는 정리(OWASP의 LLM 응용 10대 위험 2025년 판, 미국 NIST의 생성형 AI 프로파일 NIST AI 600-1)를 따랐다. 이 장은 공격 방법을 작성하지 않고 설계로 막는 길만 작성한다. 사이버보안의 체계는 8.11~8.13, 하이재킹 대응은 8.16이 다룬다.
| 범주 | 무엇이 문제인가 | 무인기에서의 결과 | 방호 설계 |
|---|---|---|---|
| 프롬프트 주입(직접·간접) | 사용자 입력이나 모델이 읽는 문서·웹·영상 속 글이 지시처럼 작동한다 | 계획이 의도와 다르게 바뀐다 | 외부 입력을 지시가 아닌 자료로 취급, 신뢰 영역 분리, 결정적 검증기, 사용하기 도구의 사람 확인 |
| 민감 정보 유출 | 학습 자료·문맥에 든 비공개 정보가 출력으로 샌다 | 기지 위치·임무 정보·개인 영상의 유출 | 모델에 넣는 자료의 최소화, 출력 검사, 탑재·현장 배치(8.17·18.17) |
| 과도한 권한 | 모델이 필요 이상의 도구를 부른다 | 승인 없는 계획 등록·명령 | 최소 권한, 읽기와 쓰기의 분리(7.6.4) |
| 부적절한 출력 처리 | 모델 출력을 검사 없이 다음 시스템에 넘긴다 | 형식이 깨진 계획, 범위 밖 값 | 구조화된 출력과 스키마 검증 |
| 그럴듯한 오답·과신 | 환각, 사람이 그대로 믿음 | 틀린 정비 절차, 잘못된 보고 | 근거 인용 요구, 원문 대조, 사람의 검수 설계(8.18) |
| 공급망·모델 변조 | 모델 파일·가중치·플러그인이 바뀐다 | 다른 동작의 모델이 탑재된다 | 서명·판 고정·적재 이력(8.13·8.22) |
| 자원 고갈 | 긴 입력·반복 호출이 연산 자원을 소모한다 | 응답 지연, 탑재 전력 소모 | 입력 길이·호출 횟수 제한, 시간 초과 시 안전 기본값 |
방호의 공통 원칙은 둘이다. 첫째, 모델이 속는 것을 막으려 하기보다 모델이 속아도 해가 없게 만든다. 프롬프트 주입을 모델 수준에서 완전히 막는 방법은 알려져 있지 않다 (2026년 중반 기준). 그래서 모델의 출력이 무엇이든 결정적 검증기와 사람 확인을 거치게 하는 구조가 1차 방어다. 둘째, 비행 안전의 경로에 모델을 두지 않는다. 그러면 최악의 경우에도 피해는 "승인되지 않은 제안"에 머문다.
7.6.9 탑재 대 지상·클라우드 배치 — 지연과 전력
결론부터: 언어 모델의 응답은 초 단위다. 탑재하면 링크 없이 사용할 수 있지만 느리고 체공을 깎는다. 지상이나 클라우드에 두면 빠르지만 링크에 매인다. 어느 쪽도 제어 루프의 시간 척도에는 들어오지 못한다.
응답 시간을 원리로 어림했다. 출력 토큰을 하나 만들 때마다 가중치 전체를 메모리에서 한 번 읽으므로, 생성 속도의 상한은 메모리 대역폭 ÷ 모델 크기다. 입력 처리는 연산 한계로 어림한다.
$$\text{생성 속도}\approx\frac{\eta\,B_{\text{mem}}}{N\,b/8},\qquad t_{\text{응답}}\approx t_{\text{링크}}+\frac{2N\,n_{\text{in}}}{F_{\text{eff}}}+\frac{n_{\text{out}}}{\text{생성 속도}}$$
| 기호 | 뜻 | 값(가정) |
|---|---|---|
| $N$, $b$ | 매개변수 수, 가중치 비트 | 10억~700억, 4비트(부가 자료 10 %) |
| $B_{\text{mem}}$, $\eta$ | 메모리 대역폭, 활용 효율 | 소형 탑재 102 GB/s, 대형 탑재 205 GB/s, 지상 서버 3,350 GB/s, $\eta=0.6$ |
| $F_{\text{eff}}$ | 유효 연산 | 소형 10, 대형 40, 서버 300 TFLOP/s |
| $n_{\text{in}}$, $n_{\text{out}}$ | 입력·출력 토큰 | 1,000(지시·지도 요약·규칙), 200(구조화된 계획) |
| $t_{\text{링크}}$ | 링크 왕복 + 서버 대기 | LTE 0.16 + 0.2 s, GEO 위성 0.58 + 0.2 s(2.11.6의 한 방향 값의 두 배) |
장치 등급의 대역폭·메모리·전력은 현행 에지 모듈과 데이터센터 GPU의 공개 주장치 규모에 맞춘 가정이다 (공개 주장치, 제품별 확인 필요).
| 모델 크기 | 소형 탑재(메모리 8 GB, 25 W) | 대형 탑재(64 GB, 60 W) | 지상 서버 + LTE | 지상 서버 + GEO 위성 |
|---|---|---|---|---|
| 10억 | 2.0 s | 0.94 s | 0.42 s | 0.84 s |
| 30억 | 6.0 s | 2.8 s | 0.54 s | 0.96 s |
| 80억 | 16.0 s | 7.6 s | 0.85 s | 1.27 s |
| 140억 | 메모리 부족 | 13.2 s | 1.22 s | 1.64 s |
| 700억 | 메모리 부족 | 66.1 s | 4.66 s | 5.07 s |
전력도 계산했다. 2.9.8의 모형(기존 전력과 사용 가능 에너지, 모듈 질량 $0.010+0.005P$ kg)을 그대로 불러 사용했다. 가동률은 최대 전력으로 계획을 내는 시간의 비율이고 나머지는 대기 3 W다.
| 추가 모듈 | 가동률 | 2 kg 쿼드콥터(18.1분) | 4 kg 고정익(177분) | 6 kg 결합형(115분) |
|---|---|---|---|---|
| 25 W | 100 % | 8.5 % / 29.1 % | 29.9 % / 37.8 % | 12.2 % / 17.1 % |
| 25 W | 20 % | 2.7 % / 24.6 % | 11.2 % / 21.2 % | 3.9 % / 9.3 % |
| 60 W | 100 % | 18.2 % / 60.5 % | 50.6 % / 63.4 % | 24.9 % / 34.6 % |
칸의 앞 값은 전력만, 뒤 값은 모듈 질량만큼 배터리를 줄인 경우의 체공 감소율이다. 고정익은 25 W 모듈 하나로 체공의 30 %를 잃는다. 기체 전력이 59 W뿐이기 때문이다(2.9.8의 역설). 소형 쿼드는 전력보다 질량이 문제다. 0.135 kg 모듈이 배터리를 잠식해 감소율이 29 %가 된다. 탑재 배치는 결합형처럼 기체 전력이 크고 질량 여유가 있는 기체, 그리고 낮은 가동률로 사용할 때 현실적이다.
선택지는 셋이다. ① 지상·클라우드는 큰 모델을 빠르게 사용하지만 링크가 끊기면 기능이 사라지고, 임무 자료가 기체 밖으로 나간다(19.20의 자료 주권). ② 탑재는 링크와 무관하고 자료가 남지만 작은 모델과 체공 손실을 감수한다. ③ 나눈다 — 계획과 보고는 지상에서, 링크가 끊긴 동안의 간단한 재계획만 탑재 소형 모델이 하고 결정적 검증기가 둘 다 거른다.
7.6.10 수치 예시·워크스루 — 자연어 점검 임무 지시
과제. 운용자가 "교량 A 하부를 30분 안에 점검하고, 균열 의심 지점은 확대 사진을 남겨라"라고 입력한다. 6 kg 결합형이 지상 서버의 언어 모델(80억 매개변수, LTE)과 제안-검증 구조로 계획을 만든다. 모든 값은 교육용 가정이다.
- 제안. 모델이 구조화된 계획을 낸다(구역 다각형, 고도 30 m, 경유점 24개, 교량 하부 접근 거리 5 m, 예상 비행 시간 27분). 응답은 약 0.85 s다(7.6.9).
- 검증 — 형식. 모든 항목이 형식에 맞는지 본다. 고도 단위가 빠졌거나 경유점이 구역 밖이면 바로 거부한다.
- 검증 — 공식 자료. 계획의 좌표를 지오존 데이터베이스와 대조한다. 교량 옆 철도 시설 구역에 경유점 두 개가 걸리면 거부와 이유("경유점 17·18이 제한 구역 안")를 돌려주고 모델이 고친다.
- 검증 — 에너지와 성능. 귀환 에너지(2.6.5.2)와 예비를 넣어 27분이 가능한지, 교량 하부의 접근 거리 5 m가 7.8.5의 전환 경계보다 넓은지 확인한다.
- 사람 확인. 검증 결과와 함께 계획을 지도에 보여 주고 운용자가 승인한다.
- 잔여 위험. 모델이 위험한 계획을 낼 확률을 $p=0.05$, 검증기가 놓칠 확률을 $q=10^{-3}$로 두면, 검증기가 공식 자료를 사용할 때($\beta=0.01$) 계획 1건당 $5.5\times10^{-4}$, 사람 확인($m_h=0.5$)을 더하면 $2.7\times10^{-4}$다. 검증기가 모델이 뽑은 구역을 검사하는 설계($\beta=0.2$로 가정)라면 $1.0\times10^{-2}$로 스무 배 나쁘다. 1,000회 비행에 0.27건 대 10건이다.
- 실행. 비행 중에는 RTA가 장애물 경계를 준수하고, 링크가 끊기면 모델 없이 2.6의 비상 사다리로 간다.
결론: 이 구조에서 안전을 정하는 것은 모델의 정확도가 아니라 검증기가 무엇을 근거로 검사하는가다. 모델이 좋아져 $p$가 줄면 거부가 줄어 편해질 뿐이고, 안전의 하한은 $\beta$와 검증기의 범위가 정한다.
7.6.11 설계 트레이드오프 — 모델을 어디까지 들일 것인가
① 지상 보조만. 계획 초안·보고서·문서 검색에만 사용하고 출력은 사람에게만 간다. 위험이 가장 작고 효과도 사무 효율에 머문다. 대부분의 조직이 지금 여기에 있다.
② 지상 제안 + 결정적 검증 + 사람 확인. 모델의 계획이 검증기와 사람을 거쳐 비행이 된다. 임무 준비 시간을 크게 줄일 수 있다. 대가는 검증기의 개발과 범위 관리, 그리고 링크 의존이다.
③ 탑재 에이전트. 링크가 끊긴 동안에도 모델이 재계획한다. 통신이 어려운 환경에서 가치가 크다. 대가는 체공 손실, 탑재 검증기의 범위, 사람 확인의 부재다.
견해: 민간 UAS와 AAM은 당분간 ②가 상한이고, ③은 결정적 검증기의 범위가 임무 공간 전체를 포괄할 수 있는 좁은 임무(정해진 구역의 반복 점검 등)에서만 고려할 만하다고 본다. 근거는 셋이다. 첫째, 모델의 옳음을 보일 방법이 없으므로 안전은 검증기가 져야 하고, 검증기는 범위가 좁을수록 완전해진다(7.6.7). 둘째, 탑재 배치는 체공을 10~30 % 깎는다(7.6.9). 셋째, 사람 확인을 뺀 ③에서는 자동화 편향이 아니라 확인 자체가 없다. 반대 입장도 있다. 링크가 끊기는 환경에서는 ③이 아니면 임무를 접어야 하고, 단순 규칙의 비상 절차보다 문맥을 이해하는 재계획이 더 안전할 수 있다는 주장이다. 이 판단은 생성형 모델의 인증 기준이 생기면 바뀔 수 있다.
7.6.12 세 축 비교
| 항목 | 군용 드론 | 민간 UAS | AAM |
|---|---|---|---|
| 지금의 용도 | 문서·정보 요약, 계획 보조, 훈련 시나리오(공개 자료 수준) | 임무 지시·보고서·절차 질의 | 정비·운항 문서 보조 |
| 배치 | 비공개 자료 때문에 현장·탑재 배치 선호 | 클라우드 서비스가 흔함 | 지상 운항 시스템 안 |
| 사람의 자리 | 판단과 책임의 유지가 정책 원칙(19.3·19.12) | 운용자 확인 | 조종사·운항 관리자 확인 |
| 핵심 위험 | 자료 유출, 과신, 기만된 입력 | 지오존·승인 조건 위반, 개인정보 | 인증 기준 부재, 정비 오류 |
| 이어지는 장 | 8.17·19.3 | 7.2·14.22·18.17 | 15.23·20.10 |
7.6.13 관련 규격·프로토콜
| 문서 | 발행 | 무엇을 정하나 | 상세 |
|---|---|---|---|
| NIST AI RMF 1.0(2023) · NIST AI 600-1(2024) | NIST | AI 위험 관리 틀과 생성형 AI 프로파일(위험 범주와 관리 조치) | 20.10 |
| OWASP LLM 응용 10대 위험(2025년 판) | OWASP | 프롬프트 주입·과도한 권한 등 LLM 응용의 위험 범주 | 8.11·8.13 |
| ISO/IEC 42001:2023 | ISO·IEC | AI 경영시스템(조직의 AI 관리 체계) | 20.10 |
| EASA AI 개념서 Issue 02(2024) | EASA | 기계학습 응용의 학습 보증·인간-AI 협업 지침. 생성형 모델에 대한 적용 범위는 확인 필요 | 20.10 |
| ASTM F3269-21 | ASTM | 복잡 기능을 런타임 보증으로 감싸는 방법 | 7.8 |
| SAE ARP6983 / EUROCAE ED-324 | SAE·EUROCAE | AI를 사용하는 항공 안전 관련 제품의 개발·인증 절차(발간 여부 확인 필요) | 20.10 |
생성형 모델을 비행 기능에 사용하는 것을 직접 다룬 항공 표준은 확인하지 못했다.
7.6.14 관련 규제·인증 요구와의 연결
| 규제·제도 | 연결 | 상세 |
|---|---|---|
| 한국 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(2026년 1월 22일 시행) | 생성형 AI의 고지·표시, 고영향 AI 사업자의 위험 관리·설명 의무. 과태료 등은 시행 뒤 유예가 발표되었다 (조문·시행령 확인 필요) | 18.21 |
| EU AI Act(Regulation (EU) 2024/1689) | 범용 AI 모델 제공자의 의무가 2025년 8월부터 적용, 고위험 AI 체계의 요구 (무인기 적용 범위 확인 필요) | 18.21 |
| 항공 인증 | 생성형 모델을 비행 안전 기능에 사용하는 인증 기준은 없다. 제안-검증 구조에서 검증기·RTA가 인증 대상이 된다 | 8.8·20.10 |
| 운용 승인 | 모델이 만든 계획도 승인 조건(구역·고도·시간)을 준수해야 한다 | 20.14·17.17 |
| 개인정보·자료 | 영상·문서를 외부 모델에 보낼 때의 처리 위탁·국외 이전 | 18.17·19.20 |
| 국방 | 미 국방부는 2020년 AI 윤리 원칙(책임·공정·추적 가능·신뢰·통제 가능)을 채택했고, 무기 체계의 자율성은 DoDD 3000.09(2023년 개정)가 다룬다. 둘 다 사람의 판단과 책임을 요구한다 | 19.3·20.10 |
7.6.15 함정과 한계
| 오해 | 실제 | 더 볼 곳 |
|---|---|---|
| "모델이 똑똑해지면 검증기가 필요 없다" | 옳음을 보일 방법이 없다. 안전의 하한은 검증기와 $\beta$가 정한다 | 7.6.7 |
| "모델이 이유를 설명하니 믿을 수 있다" | 설명이 실제 계산과 다를 수 있다 | 7.6.5 |
| "검증기가 있으니 안전하다" | 모델이 뽑은 자료를 검사하면 함께 속는다 | 7.6.7 |
| "주입 공격은 모델이 걸러 준다" | 모델 수준의 완전한 방어는 없다. 속아도 해가 없게 설계한다 | 7.6.8 |
| "탑재하면 링크 걱정이 없다" | 체공 10~30 %와 수 초의 응답을 대가로 낸다 | 7.6.9 |
| "사람이 승인하면 된다" | 자동화 편향이 확인을 약하게 한다 | 7.6.3.2·8.18 |
이 장의 한계도 밝혀 둔다.
- 잔여 위험의 $p$·$q$·$\beta$·$m_h$는 가정이다. 실제 값은 임무와 검증기 범위별 시험으로만 알 수 있고, 생성형 모델의 $p$는 지시의 분포에 따라 크게 달라진다.
- 응답 시간은 대역폭 한계의 어림이다. 실제 성능은 소프트웨어·양자화·묶음 처리에 따라 몇 배 달라질 수 있다.
- 분야가 빠르게 바뀐다. 모델의 이름·크기·성능과 규제의 세부는 2026년 중반 기준이다.
7.6.16 체크포인트·연구 질문
체크포인트
- 언어 모델·시각-언어 모델·시각-언어-행동 모델의 입력과 출력, 무인기에서의 용도을 하나씩 말하라.
- 에이전트에게 계획 등록 도구를 줄 때 준수해야 할 원칙 네 가지를 적어라.
- $p=0.05$, $q=10^{-3}$, $\beta=0.01$일 때 계획 1건당 잔여 위험을 구하고, $q$를 $10^{-4}$로 줄였을 때의 변화를 설명하라.
- 검증기가 모델이 뽑은 비행 구역을 검사하는 설계가 왜 위험한지 공통 원인으로 설명하라.
- 메모리 대역폭 205 GB/s, 4비트 80억 매개변수 모델의 생성 속도 상한을 어림하라($\eta=0.6$).
- 25 W 탑재 모듈이 4 kg 고정익과 2 kg 쿼드콥터의 체공을 깎는 이유가 서로 다른 점을 설명하라.
연구 질문 — 이 장에서 파생되는 열린 주제(25.7에 모은다)
- 검증기의 범위 정의 — 자연어 임무 지시의 공간에서 결정적 검증기가 포괄해야 할 위험의 목록을 어떻게 완결적으로 정의하는가(8.1)?
- 생성형 모델의 $p$와 $\beta$ 측정 — 임무 지시의 분포를 대표하는 시험 자료로 위험한 계획의 비율과 검증기와의 공통 원인을 추정하는 방법은?
- 탑재 소형 모델의 재계획 — 링크가 끊긴 동안 탑재 소형 모델의 재계획이 규칙 기반 비상 절차보다 안전한 조건은 무엇인가(2.6)?
- 사람 확인의 설계 — 자동화 편향을 줄이는 계획 제시 방식(근거·불확실성·대안의 표시)을 실험으로 비교하면?(8.18·7.11)
1차 출처(이 장)
- Ahn, M. et al., "Do As I Can, Not As I Say: Grounding Language in Robotic Affordances," CoRL 2022.
- Liang, J. et al., "Code as Policies: Language Model Programs for Embodied Control," ICRA 2023.
- Vemprala, S.; Bonatti, R.; Bucker, A.; Kapoor, A., "ChatGPT for Robotics: Design Principles and Model Abilities," Microsoft 기술 보고서, 2023(arXiv:2306.17582).
- Brohan, A. et al., "RT-2: Vision-Language-Action Models Transfer Web Knowledge to Robotic Control," CoRL 2023.
- Ji, Z. et al., "Survey of Hallucination in Natural Language Generation," ACM Computing Surveys 55(12), 2023.
- Turpin, M. et al., "Language Models Don't Always Say What They Think: Unfaithful Explanations in Chain-of-Thought Prompting," NeurIPS 2023.
- NIST, Artificial Intelligence Risk Management Framework (AI RMF 1.0), NIST AI 100-1, 2023; Generative Artificial Intelligence Profile, NIST AI 600-1, 2024.
- OWASP GenAI Security Project, OWASP Top 10 for LLM Applications 2025, 2024.
- Regulation (EU) 2024/1689(Artificial Intelligence Act).
- 「인공지능 발전과 신뢰 기반 조성 등에 관한 기본법」(법률 제20676호, 2025년 1월 제정).
출처를 찾고 판을 추적하는 방법은 0.9에서 다룬다.
다음 장: 7.7(학습 기반 비행: 강화학습·모방학습·자율 드론 레이싱)은 임무 계층에서 비행 제어 계층으로 내려간다. 이 장의 모델이 계획을 제안했다면, 그 장의 정책은 각속도와 추력을 직접 낸다. 시뮬레이터에서 배운 정책이 현실에서 붕괴하는 방식과, 그 정책을 런타임 보증으로 감싸는 법을 본다.