제7부 자율성·군집

7.4 자율성 II: 머신러닝 적용과 보증의 난제

7.4.1 이 장에서 배우는 것 / 선수 지식 / 특히 중요한 독자

머신러닝(ML, machine learning)은 무인기의 인지·항법 보조·정비 판단에 이미 들어와 있다. 문제는 성능이 아니라 믿을 근거다. 프로그램으로 짠 기능은 요구에서 코드까지 한 줄씩 따라가며 맞는지 보일 수 있다. 자료로 학습한 기능은 그 길이 끊긴다. 이 장은 무엇이 끊기는지, 그리고 그 틈을 어떤 수단으로 얼마나 메울 수 있는지를 작성한다.

배우는 것:

• ML이 사용되는 곳 — 인지·상태 추정 보조·제어·이상 탐지·정비, 그리고 각 용도이 비행 안전에서 얼마나 떨어져 있는가.
• 보증의 다섯 난제 — 사양 부재, 데이터 의존, 일반화와 분포 이동, 설명 가능성, 적대적 강건성의 개념. 그리고 학습한 모델과 기체에서 도는 모델의 차이.
• 몇 번 시험해야 얼마를 말할 수 있는가 — 이항 시험과 "3의 규칙", 프레임 상관과 조건 분할이 필요한 시험 수를 얼마나 늘리는가.
• 분포 이동과 분포 밖 탐지 — 합성 장난감 모형으로 과신과 감시기의 한계, 흐름 단위 감시를 계산한다.
• 보증 수단의 지도와 인증 동향 — 데이터 관리, 통계 시험, 분포 밖 감시, 런타임 보증(RTA)으로 감싸기, 운용 감시. EASA 학습 보증, EUROCAE WG-114·SAE G-34, FAA 로드맵, DO-178C와의 관계, 군의 AI 신뢰 원칙.

선수 지식: 자율성 수준과 운용 설계 영역(ODD, 7.3.4·7.3.6), 탐지 성능 지표와 기저율(6.12.6), 시험으로 입증할 수 있는 고장률과 공통 원인(1.16.7), 오경보와 미탐의 교환(2.5.5.3). 수식은 이항분포와 정규분포 수준이다.

특히 중요한 독자: 엔지니어는 7.4.5·7.4.6의 계산과 7.4.10의 워크스루를 본다. 인증 담당자는 7.4.7·7.4.8을 본다. 사업 담당자는 7.4.5의 시험량과 7.4.11의 선택지를 본다. 정책·법무 담당자는 7.4.4와 7.4.9, 7.4.14를 본다.

기준 시점과 경계. 이 장은 2026년 10월을 기준으로, 지식은 2026년 중반까지 반영했다. 표준·지침의 판과 상태는 공개 문서로 확인한 것만 단정하고 나머지는 (확인 필요)로 두었다. 계산은 일반적 모형, 교육용 가정이며 특정 모델·제품의 성능이 아니다. 파이썬 표준 라이브러리(math·random, 고정 시드)로 계산했다(mil-uam/fig-src/7.4-calc.py). 적대적 공격은 개념과 방호 설계 수준으로만 작성하고 공격 절차는 작성하지 않는다. 무기 운용의 자율화는 다루지 않는다(19.3). 학습 데이터의 거버넌스는 7.5, 생성형 AI는 7.6, 런타임 보증의 상세는 7.8, 인증 실무는 20.10이 맡는다.

7.4.2 개념·직관 — 사양 대신 자료로 만든 기능

항공 소프트웨어의 보증은 요구 기반이다. 요구를 작성하고, 요구를 설계로, 설계를 코드로 옮기고, 각 단계가 앞 단계를 만족하는지 시험과 검토로 보인다(8.8). 이 논리는 "무엇을 해야 하는지 사람이 말로 다 작성할 수 있다"는 전제 위에 있다.

ML은 그 전제가 붕괴하는 곳에서 사용한다. "영상에서 사람을 찾아라"를 화소 규칙으로 다 작성할 수는 없다. 그래서 정답이 붙은 예시를 잔뜩 모으고, 그 예시를 잘 맞히도록 수백만 개의 매개변수를 맞춘다. 기능의 실제 사양은 학습 자료가 된다. 자료에 없는 상황에서 모델이 무엇을 할지는 설계자도 모른다.

그래서 ML 보증의 질문은 셋으로 바뀐다. ① 학습 자료가 운용 조건을 충분히 포괄했는가(7.5). ② 포괄된 조건 안에서 성능을 통계적으로 얼마나 확신할 수 있는가(7.4.5). ③ 포괄되지 않은 조건에 들어갔을 때 그것을 알아채고 안전하게 물러설 수 있는가(7.4.6·7.8). 세 축의 요구는 이렇게 다르다.

7.4.3 무인기에서 ML이 사용되는 곳

ML이 어디에 사용되는지보다 중요한 것은 틀렸을 때 무엇이 일어나는가다. 비행 안전에서 멀수록 보증의 부담이 가볍다.

배터리 잔량을 신경망으로 추정하면 학습 범위 안에서는 정확하지만, 저온·고노화처럼 안전에 가장 중요한 조건에서 오차 한계를 보이기 어렵다(1.22). 학습 기반 위치 인식도 변화에 강하다는 연구는 있으나 실패를 보증하는 방법이 없다(4.7). 같은 이유로 많은 설계가 ML을 비행 중요 경로 밖에 두거나, 안에 두더라도 독립 감시로 감싼다.

7.4.4 보증의 난제

7.4.4.1 사양 부재

"사람"이나 "전선"을 빠짐없이 정의하는 요구를 사용할 수 없다. 그래서 요구는 자료와 지표로 간접적으로 사용된다. "이 조건의 이 부류에서 재현율 몇 이상"이다. 그러면 요구의 질이 자료의 질과 지표의 정의에 묶인다. 지표가 바뀌면 같은 모델의 점수도 바뀐다(6.12.6.1의 AP 정의 차이).

7.4.4.2 데이터 의존

모델의 행동은 학습 자료의 함수다. 자료의 오류·편향·누락은 설계 오류와 같다. 주석이 틀리면 모델이 틀린 것을 배우고, 특정 지역·계절만 있으면 다른 조건에서 체계적으로 틀린다. 시험 자료가 학습 자료와 중복되면(누수) 성능이 부풀려진다. 데이터의 수명 주기·주석 품질·분할·편향 관리는 7.5가 다룬다.

7.4.4.3 일반화와 분포 이동

학습한 성능이 처음 보는 자료에서도 유지되는 성질이 일반화다. 운용 자료의 분포가 학습 때와 다르면 일반화가 깨진다. 이를 분포 이동(distribution shift)이라 한다. 입력의 분포가 바뀌는 공변량 이동(새 지역·계절·센서), 부류의 비율이 바뀌는 사전 확률 이동(드문 대상이 더 드물어짐), 입력과 정답의 관계 자체가 바뀌는 개념 이동(새 형태의 장애물)이 있다. 무인기 영상에서 흔한 원인은 6.12.6.4가 정리했다. 가장 위험한 것은 긴 꼬리다. 드물지만 위험한 조건(역광 속 전선, 눈 덮인 착륙면)은 자료에 적고, 그래서 성능이 가장 덜 알려져 있다.

7.4.4.4 설명 가능성

심층 신경망은 왜 그 답을 냈는지 사람이 읽을 수 있는 형태로 말하지 않는다. EASA는 설명 가능성을 두 쪽으로 나눈다. 개발·인증·사고 조사에 필요한 개발 설명 가능성과, 조종사·운용자가 운용 중에 필요한 운용 설명 가능성이다. 영상의 어느 부분이 판단에 기여했는지 보여 주는 기법(돌출 지도 등)이 있지만, 그것이 모델의 실제 추론을 충실히 보여 준다는 보장은 약하다. 설명은 보증의 증거라기보다 오류를 찾는 도구로 사용하는 편이 안전하다.

7.4.4.5 적대적 강건성 — 개념

사람 눈에는 거의 보이지 않는 작은 입력 변화가 신경망의 판단을 바꿀 수 있다는 사실이 2014년 무렵 알려졌다(Szegedy 등). 이후 물리적 표식이나 학습 자료 오염(포이즈닝)으로 모델을 속일 수 있다는 연구가 이어졌다. 이 책은 공격 방법을 작성하지 않는다. 설계자가 알아야 할 것은 세 가지다. ① 자연 강건성(잡음·번짐·조명 변화에 대한 강건함)과 적대적 강건성(의도된 교란에 대한 강건함)은 다르며, 앞의 것이 좋아도 뒤의 것은 보장되지 않는다. ② 방호는 단층이 아니다. 학습 자료의 출처 관리와 무결성(7.5), 강건성을 높이는 학습, 다른 물리 원리의 센서를 함께 사용하는 다양성, 모델 파일의 무결성 검증(8.13)을 병용한다. ③ 작은 교란 범위 안에서 판단이 바뀌지 않음을 수학적으로 증명하는 기법이 있지만 작은 망과 좁은 범위에 머문다(7.8).

7.4.4.6 구현의 차이 — 학습한 모델과 기체에서 도는 모델

학습은 데이터센터에서 부동소수점으로 하고, 기체에서는 전력과 지연 때문에 정수 양자화·가지치기·전용 가속기로 돌린다(2.9.8·6.11). 그러면 같은 입력에도 출력이 조금 달라진다. 판정 경계 근처의 입력에서는 결과가 뒤집힌다. 병렬 연산의 순서가 실행마다 바뀌어 결과가 비트 단위로 같지 않은 플랫폼도 있다. 그래서 성능 시험은 기체에서 실제로 도는 형태(추론 모델)로 다시 하고, 학습 모델과 추론 모델의 차이를 따로 검증한다. EASA 개념서의 W자 과정도 추론 모델의 검증을 별도 단계로 둔다(7.4.8). 추론 코드와 그 플랫폼은 DO-178C·DO-254의 대상이다(8.8).

7.4.5 원리 I — 몇 번 시험해야 얼마를 말할 수 있는가

결론부터: 실패 없이 $n$번을 통과해도 신뢰도 95 %로 말할 수 있는 것은 실패 확률이 약 $3/n$ 이하라는 것뿐이다. $10^{-7}$을 말하려면 독립 시험 3천만 번이 필요하다. 영상 프레임은 서로 독립이 아니고, ODD를 조건별로 나누면 칸마다 따로 필요하므로 실제로는 더 많다. 확률 목표가 높은 기능은 시험만으로 입증할 수 없다. 1.16.7은 같은 결론을 비행시간당 고장률로 보였다. 여기서는 판단 한 번마다의 실패 확률로 본다.

$n$번의 독립 시험에서 실패 확률이 $p_0$라면 한 번도 실패하지 않을 확률은 $(1-p_0)^{n}$이다. 이 값이 $1-C$보다 작아야 "실패 확률이 $p_0$ 이하"를 신뢰도 $C$로 말할 수 있다.

$$(1-p_0)^{n}\le 1-C\quad\Rightarrow\quad n\ge\frac{\ln(1-C)}{\ln(1-p_0)}\approx\frac{-\ln(1-C)}{p_0}$$

$C$가 95 %이면 $-\ln 0.05=3.00$이라 $n\approx3/p_0$이다. 이것이 3의 규칙이다(Hanley·Lippman-Hand 1983). 실패를 $k$번까지 허용하면 포아송 근사로 $n\approx\lambda_k(C)/p_0$이고, $C$ 95 %에서 $\lambda_0=3.00$, $\lambda_1=4.74$, $\lambda_2=6.30$, $\lambda_5=10.51$이다. 거꾸로 $n$번 중 $k$번 실패를 보았다면 실패 확률의 95 % 상한은 $\lambda_k/n$이다(포아송 근사).

시험 자료 1만 장에서 한 번도 틀리지 않은 모델에 대해 "정확도 99.99 %"라고 말하고 싶어도, 신뢰도 95 %로 말할 수 있는 것은 "실패 확률 0.03 % 이하"까지다.

이 숫자를 더 키우는 요인이 셋 있다.

1. 프레임 상관. 연속 영상의 이웃 프레임은 거의 같은 장면이다. 상관이 $\rho$인 1차 자기회귀 과정이면 유효 표본은 $n_{\text{eff}}\approx n(1-\rho)/(1+\rho)$이다. 30 fps 영상에서 $\rho=0.99$이면 프레임의 199분의 1, 초당 0.15개뿐이다.
2. 조건 분할. ODD를 조명 4 × 기상 3 × 지면 3의 36칸으로 나누고 칸마다 입증하면 시험이 36배다. 칸을 나누지 않으면 드문 칸의 성능이 평균에 묻힌다(7.5).
3. 대표성. 위 식은 시험 표본이 운용 분포에서 독립으로 고르게 뽑혔다는 가정 위에 있다. 시험 자료가 쉬운 장면에 몰리면 숫자는 낙관적이다.

그래서 통계 시험의 역할은 낮은 확률 목표를 혼자 입증하는 것이 아니라, 구조(7.4.7.3)가 요구하는 중간 목표 — 예컨대 $10^{-3}$ — 를 조건별로 입증하는 것이다. Butler와 Finelli(1993)가 소프트웨어 신뢰도에 대해, Kalra와 Paddock(2016)이 자율주행의 주행 거리에 대해 같은 결론을 냈다.

7.4.6 원리 II — 분포 이동과 분포 밖 탐지

결론부터: 분포가 이동하면 모델은 틀리면서도 확신한다. 분포 밖(OOD, out-of-distribution) 감시기는 이동이 일어났다는 사실을 알려 주지만, 입력 하나하나를 걸러서 오류를 없애지는 못한다. 그래서 감시기의 출력은 기능 전체가 ODD를 벗어났다는 경보로 사용하는 편이 맞다.

이것을 합성 장난감 모형으로 보인다. 두 부류가 2차원 평면에서 $(\mp2,0)$을 중심으로 표준편차 1로 퍼져 있다. 학습 자료(부류마다 2,000개)로 선형 판별 분류기를 만들었다. 학습 분포에서 오분류율은 2.1 %다. 운용 자료는 두 부류가 모두 $\delta\cdot(0.6, 0.8)$만큼 이동한다. 영상으로 치면 조명이나 계절이 바뀌어 특징이 한쪽으로 밀리는 상황이다. 감시기는 두 가지를 비교했다. 감시기 A는 가까운 부류 중심까지의 마할라노비스 거리로 "학습 자료와 얼마나 다른가"를 본다(Lee 등 2018의 생각). 감시기 B는 모델의 최대 사후 확률, 곧 신뢰도가 낮으면 거부한다(Hendrycks·Gimpel 2017의 기준선). 두 문턱 모두 학습 분포에서 거부율이 1 %가 되게 정했다.

읽을 것이 넷이다.

1. 과신. $\delta=3$에서 정확도는 0.78인데 평균 신뢰도는 0.935다. 신뢰도는 학습 분포 안에서만 맞춰져 있다(교정, calibration). Guo 등(2017)은 현대 신경망이 학습 분포 안에서도 과신하는 경향을 보였다.
2. 신뢰도 감시는 이동을 못 본다. B의 거부율은 3.5 %에 머문다. 이동한 입력의 상당수는 경계에서 멀리 떨어져 모델이 확신하는 곳에 떨어진다.
3. 거리 감시는 이동을 보지만 오류를 거르지 못한다. A의 거부율은 51 %까지 오른다. 그러나 통과분의 오분류율은 그대로이거나 더 나쁘다. 이동이 한 부류를 다른 부류처럼 보이는 곳으로 밀었기 때문이다. 그곳의 입력은 학습 자료와 닮아 보인다. 분포 밖 점수와 오류는 같은 것이 아니다.
4. 흐름 단위로 보면 잘 보인다. 입력 500개 창에서 A의 거부가 15건 이상이면 "ODD 이탈"로 판정하면, 학습 분포에서의 오경보는 창당 $7\times10^{-4}$이고 $\delta=1$의 이동을 0.92의 확률로 잡는다. 창이 100개면 같은 이동을 0.23밖에 못 잡는다. 창의 길이가 탐지 지연과 민감도를 맞바꾼다.

문턱을 조이면 가용성이 준다. 두 감시기를 함께 사용하고 문턱을 바꿔 보았다($\delta=2$, 감시가 없을 때 오분류율 0.110).

통과분의 오분류율을 절반 아래로 낮추려면 이동이 없을 때도 입력의 18 %를 버려야 한다. 이것이 분포 밖 감시의 위험-적용 범위 교환이다(표의 값은 몬테카를로 잡음으로 앞 표와 0.005 안팎 다르다). 불확실성을 교정하는 기법(온도 조정, 앙상블, 적합 예측(conformal prediction))도 학습 분포와 운용 분포가 같다는 가정에서 보장을 준다. 분포가 이동하면 그 보장도 함께 불확실해진다. 이 모형은 2차원 장난감이다. 실제 영상의 특징 공간은 수백 차원이고, 이동은 한 방향이 아니다.

7.4.7 보증 수단

어느 한 수단도 다섯 난제를 다 포괄하지 못한다. 아래 지도는 수단과 난제의 대응을 보인다.

7.4.7.1 요구와 ODD — 성능 요구를 조건별로 작성한다

학습 기능의 요구는 조건별 성능 요구로 작성한다. 형식은 이렇다. "ODD의 조건 칸 $c$에서, 정의된 대상 부류에 대해, 거리 $d$ 안에서, 재현율이 $r$ 이상임을 신뢰도 $C$로 입증한다." 조건 칸의 경계는 센서 물리가 정한다. 카메라의 화소 수(6.3), 열영상의 대비(6.4), LiDAR의 안개·반사율 한계(6.6, 4.11)가 "여기까지는 학습 기능에 맡길 수 있다"는 선을 긋는다. 그 선 밖은 ODD 밖이고, ODD 감시기(7.3.6.3)가 담당한다. AAM의 감지 기능이 인증 가능한 성능 근거를 내려면 이 형식이 필요하다. 조건별 시험 자료의 표준은 아직 없다(6.12의 연구 질문).

7.4.7.2 데이터 관리

학습·검증·시험 자료의 출처·주석·분할·버전·무결성을 관리한다. EASA 개념서는 자료 품질 요구(DQR)로 관련성·출처 추적·주석 요구·정확도와 해상도·무결성·완전성과 대표성·세 자료의 독립성을 요구한다. 상세는 7.5가 다룬다.

7.4.7.3 런타임 보증으로 감싸기

시험으로 입증할 수 없는 확률 목표는 구조로 만든다. 학습 기능 옆에 단순하고 검증 가능한 감시기와 안전 기능을 두고, 감시기가 위험을 보면 안전 기능으로 바꾼다(Simplex 구조, 2.10.8.2·7.8). 학습 기능의 실패 확률을 $p_{\text{ML}}$, 감시기가 그 실패를 놓칠 확률을 $q$, 둘이 같은 원인으로 함께 틀리는 비율을 $\beta$라 하면 시스템의 실패 확률은 1.16.7.1의 식을 따른다.

$$p_{\text{sys}}=p_{\text{ML}}\left[(1-\beta)\,q+\beta\right]$$

학습 기능은 $10^{-3}$, 감시기는 $10^{-2}$처럼 시험으로 입증할 수 있는 중간 목표만 맡고, 곱셈이 나머지를 만든다. 대신 $\beta$가 하한을 정한다. 감시기는 학습 기능과 다른 물리 원리, 다른 자료, 다른 개발 과정으로 만들어야 $\beta$를 낮출 수 있다. 같은 카메라 영상을 다른 신경망으로 다시 보는 감시기는 $\beta$가 크다.

7.4.7.4 설명 가능성과 추적성

모델의 판(版), 학습 자료의 판, 학습 설정, 시험 결과를 한 묶음으로 추적한다. 사고가 나면 "어느 모델이, 어떤 자료로 학습되어, 어떤 입력에서 무엇을 냈는가"를 재현할 수 있어야 한다(8.23). 설명 기법은 개발 중 오류 분석에 사용하고, 운용 중에는 운용자가 결과를 믿을지 판단할 근거(입력 영상 조각, 신뢰도, ODD 상태)를 함께 보여 준다(6.12.12).

7.4.7.5 운용 감시와 변경 관리

운용 중의 입력 분포, 감시기 거부율, 사람의 정정 기록을 모은다. 7.4.6의 흐름 단위 감시가 ODD 이탈을 알리고, 모인 자료가 다음 학습과 ODD 조정의 근거가 된다. FAA 로드맵은 운용 중 고정된 학습된 AI(learned AI)와 운용 중 계속 배우는 학습하는 AI(learning AI)를 나눴다. 앞의 것은 판마다 설계·검증 단계에서 보증하고, 뒤의 것은 보증을 운용 환경이나 학습 과정 안에 넣어야 하며 새 규정이 필요할 수 있다고 보았다(2차 출처로 확인). 지금의 실무는 앞의 것이다. 모델을 다시 학습하면 새 판이고, 새 판은 다시 보증한다.

7.4.8 인증 쪽 동향

EASA의 학습 보증(learning assurance)은 "자료 기반 학습 과정의 오류를 찾아 고쳐, AI·ML 구성 요소가 정해진 성능으로 요구를 만족하고 충분한 일반화·강건성을 가짐을 적절한 신뢰 수준으로 입증하는 계획적·체계적 활동 전체"로 정의된다. 기존 개발 보증의 V자 과정 아래에 자료 관리·학습·학습 검증·구현·추론 모델 검증의 단계를 더한 W자 과정으로 그린다. 개념서는 일반화 한계를 정량적으로 내라고 요구하면서도, 큰 신경망에 대한 이론적 한계는 아직 지나치게 커서 사용하기 어렵고 대신 큰 시험 자료로 한계를 얻는 방법이 있다고 적는다. 이것이 7.4.5의 시험량 문제다. 비지도 학습은 이 요구를 채우기가 더 어려워, 개념서가 우선 위험도가 낮은 개발 보증 등급(IDAL D 등)의 구성 요소로 적용을 한정했다.

DO-178C와의 관계. DO-178C는 실행 코드와 분리된 매개변수 자료를 다루는 장치를 두었지만, 학습된 가중치가 요구를 만족한다는 것을 보이는 방법은 없다. 신경망 추론 코드의 구조 커버리지는 쉽게 채워지지만 그것이 행동의 정확성을 말해 주지 않는다. 그래서 위 문서들은 DO-178C를 버리지 않고 그 옆에 학습 보증을 더하는 구조다. 학습 기능을 실행하는 추론 코드와 그 플랫폼(양자화·가속기)은 여전히 DO-178C·DO-254의 대상이다(8.8). EU AI법과 항공 규정의 연결은 17.15·20.10이 다룬다.

7.4.9 군의 AI 신뢰 원칙 — 공개 문서

원칙은 "무엇을"을 말하고 "어떻게"는 대부분 남겨 둔다. "신뢰"를 입증하는 공학 방법은 민간과 같다. ODD를 정하고, 조건별로 시험하고, 분포 밖을 감시하고, 구조로 감싼다. 군의 특수성은 학습 자료와 다른 작전 환경(적의 위장·기만, 낯선 지형과 계절)이 기본값이라는 점, 그리고 시험 자료와 모델이 노획되면 안 된다는 점이다(8.17). 무기 운용 기능에서의 인간 통제는 19.3·19.5, 군 시험평가 제도는 12.7가 다룬다.

7.4.10 수치 예시·워크스루 — 착륙면 사람 감지 기능의 보증 계획

과제. 배송 드론(또는 버티포트에 내리는 AAM 기체)이 착륙 직전에 착륙면에 사람이 있는지 카메라와 신경망으로 확인한다. 안전성 평가(8.4·8.6)에서 사람이 있는데 놓칠 확률을 착륙 한 번당 $10^{-5}$ 이하로 배분받았다고 가정한다. 모든 값은 교육용 가정이다.

1. 시험만으로 하면. 3의 규칙으로 사람이 있는 독립 착륙 장면 29.96만 개를 미탐지 없이 통과해야 한다. ODD를 조명 4 × 기상 3 × 지면 3의 36칸으로 나누어 칸마다 입증하면 1,078만 개다. 같은 착륙의 연속 프레임은 한 장면으로 세야 한다. 현실적이지 않다.
2. 구조를 바꾼다. 신경망 감지($p_{\text{ML}}$)에 다른 물리 원리의 독립 확인(열영상의 사람 크기 열원, 또는 LiDAR 점유 격자)을 더한다. 신경망은 $10^{-3}$을 입증한다. 칸마다 2,994개, 36칸이면 10.8만 개로 계획할 수 있는 양이다. 독립 확인은 미탐지 확률 $q=5\times10^{-3}$을 598개 시험으로 입증한다.
3. 공통 원인을 따진다. 두 경로가 함께 놓치는 비율 $\beta$가 0이면 $5.0\times10^{-6}$, 0.002면 $6.99\times10^{-6}$로 목표를 만족한다. 0.01이면 $1.50\times10^{-5}$, 0.05면 $5.48\times10^{-5}$로 넘친다. $\beta$를 0.002 이하로 논증하는 것이 이 계획의 핵심 증거다. 같은 원인 — 착륙면을 가리는 짙은 안개, 둘 다 못 보는 자세(웅크림·덮개 아래) — 을 목록으로 만들고, 그 조건을 ODD 밖으로 빼거나 착륙 절차로 막는다.
4. ODD 밖을 막는다. 시정·조도·강수가 ODD 칸 밖이면 감지 결과와 무관하게 착륙하지 않고 대기·대체 착륙지로 간다(2.6.7). 흐름 단위 분포 밖 감시(7.4.6)가 경보를 내면 같은 대응을 한다.
5. 운용으로 닫는다. 착륙마다 두 경로의 판정과 영상을 기록한다. 두 경로가 불일치한 사례는 $\beta$와 $q$의 추정을 고치는 자료다. 모델을 다시 학습하면 2단계부터 다시 한다.

결론: $10^{-5}$은 시험으로 사지 않고 구조로 만들고, 시험은 각 부품의 중간 목표에만 사용한다. 그리고 구조의 약점은 공통 원인이므로, 증거의 무게는 "신경망이 얼마나 좋은가"에서 "두 경로가 얼마나 다르게 틀리는가"로 옮겨 간다.

7.4.11 설계 트레이드오프 — ML을 어디에 둘 것인가

① 비행 중요 경로 밖. 임무 분석·정비 판단·운영 지원에만 사용한다. 보증 부담이 가볍고 사람이 결과를 확인한다. 대가는 자율성의 이득을 비행 기능에서 얻지 못하는 것이다. ② 감싸인 비행 기능. 인지·착륙 판단 같은 비행 기능에 쓰되 독립 감시와 RTA로 감싼다. 성능과 보증을 함께 얻지만 감시기와 그 독립성을 따로 개발·입증해야 한다. ③ 비행 중요 경로 안 단독. 학습 기능의 출력을 그대로 제어에 사용한다. 성능의 상한이 가장 높지만 지금의 지침으로는 높은 확률 목표를 입증할 길이 없다.

견해: 민간 UAS와 AAM은 ②를 기본으로 두고, 감시기의 다양성(다른 센서, 다른 원리)에 투자하는 것이 합리적이라고 본다. 근거는 셋이다. 첫째, 7.4.5의 계산처럼 높은 확률 목표는 시험으로 살 수 없다. 둘째, 7.4.10처럼 구조로 나누면 각 부품의 목표가 시험 가능한 범위로 내려온다. 셋째, ED-324·ARP6983은 감독 학습 기반 시스템을 첫 대상으로 삼고, EASA 개념서도 수준 1·2의 보조·협업부터 지침을 냈다. 반대 견해도 있다. 감시기가 보수적이면 가용성이 떨어지고(7.4.6의 교환), 감시기 개발 비용이 학습 기능보다 클 수 있다는 것이다. 군용 소형 드론처럼 소모를 받아들이는 운용에서는 ③이 실제로 사용된다. 다만 그 경우에도 비행 안전과 무관한 판단과 무기 운용 판단은 구분해야 한다(19.3).

7.4.12 세 축 비교

7.4.13 관련 규격·프로토콜

유료 규격은 공개 요약의 범위에서만 다뤘다.

7.4.14 관련 규제·인증 요구와의 연결

7.4.15 함정과 한계

이 장의 한계도 밝혀 둔다.

• 시험 수 계산은 독립·동일 분포를 가정한다. 실제 시험 자료는 대표성이 불완전하므로 숫자는 하한이다.
• 분포 이동 모형은 2차원 장난감이다. 이동의 방향이 하나이고 부류가 둘이다. 실제 영상 특징의 고차원 이동에서 감시기의 성능은 시험으로만 알 수 있다.
• 워크스루의 $\beta$는 가정이다. 공통 원인 비율을 실측하는 확립된 방법은 없다.
• 인증 문서는 움직이고 있다. EASA 개념서 3판과 ED-324·ARP6983의 최종 내용은 2026년 10월 현재 확정 전이다 (확인 필요).

7.4.16 체크포인트·연구 질문

체크포인트

1. 요구 기반 소프트웨어 보증이 학습 기능에서 끊기는 지점을 한 문장으로 말하라.
2. 실패 없이 2만 번을 통과했다. 신뢰도 95 %와 99 %에서 말할 수 있는 실패 확률의 상한을 각각 구하라.
3. 30 fps 영상 1시간을 시험했고 프레임 상관이 0.99라면 유효 표본은 몇 개인가?
4. 분포가 이동했을 때 신뢰도 기반 감시가 이동을 못 보는 이유를 장난감 모형으로 설명하라.
5. $p_{\text{ML}}=10^{-3}$, $q=10^{-2}$, $\beta=0.01$일 때 시스템의 실패 확률을 구하고, $q$를 열 배 좋게 하면 얼마나 줄어드는지 말하라.
6. FAA 로드맵이 나눈 "학습된 AI"와 "학습하는 AI"의 보증 방식 차이를 말하라.

연구 질문 — 이 장에서 파생되는 열린 주제(25.7에 모은다)

1. 조건별 성능 요구의 표준 형식 — 센서 물리가 정한 ODD 칸마다 학습 기능의 성능 요구를 작성하고 시험하는 공통 형식은 무엇이어야 하는가(6.12·7.5·20.10)?
2. 공통 원인 비율의 실측 — 학습 기능과 독립 감시기가 함께 틀리는 비율 $\beta$를 시험과 운용 자료로 어떻게 추정하고 상한을 낼 수 있는가(7.8·8.4)?
3. 흐름 단위 분포 밖 감시의 설계 — 창의 길이·문턱을 탐지 지연과 오경보 요구에서 거꾸로 정하는 방법은(7.3.7)?
4. 재학습의 보증 범위 — 모델 갱신 때 처음부터 다시 보증하지 않고 변경 영향만 입증할 수 있는 조건은 무엇인가(8.22)?

1차 출처(이 장)

• EASA, EASA Concept Paper: Guidance for Level 1 & 2 machine learning applications, Issue 02, 2024; Proposed Issue 03, 2026; Artificial Intelligence Roadmap 2.0, 2023.
• EASA·Daedalean, Concepts of Design Assurance for Neural Networks (CoDANN), 2020.
• FAA, Roadmap for Artificial Intelligence Safety Assurance, Version I, 2024.
• RTCA DO-178C, Software Considerations in Airborne Systems and Equipment Certification, 2011.
• ISO/PAS 8800:2024, Road vehicles — Safety and artificial intelligence.
• Hanley, J. A.; Lippman-Hand, A., "If nothing goes wrong, is everything all right? Interpreting zero numerators," JAMA 249(13), 1983.
• Butler, R. W.; Finelli, G. B., "The infeasibility of quantifying the reliability of life-critical real-time software," IEEE Transactions on Software Engineering 19(1), 1993.
• Kalra, N.; Paddock, S. M., Driving to Safety, RAND Corporation, 2016.
• Szegedy, C. et al., "Intriguing properties of neural networks," ICLR, 2014.
• Hendrycks, D.; Gimpel, K., "A baseline for detecting misclassified and out-of-distribution examples in neural networks," ICLR, 2017.
• Guo, C. et al., "On calibration of modern neural networks," ICML, 2017.
• Lee, K. et al., "A simple unified framework for detecting out-of-distribution samples and adversarial attacks," NeurIPS, 2018.
• Quiñonero-Candela, J. et al. (eds.), Dataset Shift in Machine Learning, MIT Press, 2009.
• U.S. Department of Defense, DoD Directive 3000.09, Autonomy in Weapon Systems, 2023.
• UK Ministry of Defence, JSP 936 Dependable Artificial Intelligence (AI) in Defence, Part 1, 2024.

출처를 찾고 판을 추적하는 방법은 0.9에서 다룬다.

다음 장: 7.5에서 학습 기능의 실제 사양인 학습 데이터를 다룬다. 이 장이 "몇 번 시험해야 하는가"를 물었다면, 그 장은 그 시험 자료와 학습 자료를 어떻게 모으고 나누고 관리하는지, ODD의 조건 칸을 포괄하려면 표본이 얼마나 필요한지, 합성 데이터와 편향을 어떻게 다루는지를 계산한다.