제7부 자율성·군집

7.5 AI 학습 데이터 거버넌스: 데이터셋·합성 데이터·편향

7.5.1 이 장에서 배우는 것 / 선수 지식 / 특히 중요한 독자

학습 기능의 실제 사양은 학습 자료다(7.4.2). 그렇다면 자료를 모으고, 정답을 달고, 나누고, 보관하는 일은 설계 활동이고, 그 기록은 설계 증거다. 이 장은 그 활동을 하나의 수명 주기로 묶고, "자료가 운용 조건을 포괄하는가"를 숫자로 따진다. 그리고 합성 데이터·편향·출처와 라이선스·개인정보·보안이라는, 자료에 수반되는 문제들을 다룬다.

배우는 것:

• 데이터 수명 주기 — 수집·주석·정제·분할·학습과 시험·승인·운용 감시·보관과 폐기, 그리고 모든 단계의 판과 계보 기록.
• 데이터 요건 — 자료 품질 요구(DQR), 조건 공간의 커버리지가 축 수에 따라 지수로 늘어나는 계산, 희귀 조건의 표본을 얻을 확률.
• 주석 품질과 분할 — 일치도($\kappa$), 라벨 오류가 측정 가능한 성능의 하한을 형성하는 계산, 학습·검증·시험 분할의 누수.
• 합성 데이터와 편향 — 현실 격차와 영역 무작위화, 합성 자료가 증거가 될 수 있는 조건, 무인기 자료에 흔한 편향의 종류.
• 출처·라이선스·개인정보·보안 — 공개 데이터셋의 지형, 자료 오염과 노획 시 보호.

선수 지식: 머신러닝 보증의 난제와 시험 수 계산(7.4.4·7.4.5), 운용 설계 영역(ODD, 7.3.6), 탐지 성능 지표와 영역 이동(6.12.6). 수식은 포아송 분포 수준이다.

특히 중요한 독자: 엔지니어·데이터 담당자는 7.5.4~7.5.7과 7.5.12의 워크스루를 본다. 인증 담당자는 7.5.4.1과 7.5.6을 본다. 법무·정책 담당자는 7.5.9·7.5.11과 7.5.16을 본다. 사업 담당자는 7.5.12의 수집·주석 비용과 7.5.13을 본다.

기준 시점과 경계. 이 장은 2026년 10월을 기준으로, 지식은 2026년 중반까지 반영했다. 데이터셋의 규모와 표준의 판은 공개 자료로 확인한 것만 단정하고 나머지는 (확인 필요)로 두었다. 계산은 일반적 모형, 교육용 가정이다. 파이썬 표준 라이브러리(math)로 계산했다(mil-uam/fig-src/7.5-calc.py). 머신러닝 보증 일반은 7.4, 임무 영상의 처리 흐름은 6.12가 맡는다. 사람을 식별하거나 추적하는 자료의 구축은 다루지 않는다.

7.5.2 개념·직관 — 자료는 사양이고, 자료 관리는 설계다

전통 소프트웨어에서 요구서가 틀리면 설계가 틀린다. 학습 기능에서는 자료가 틀리면 모델이 틀린다. 정답이 잘못 달린 영상, 한 지역에만 몰린 수집, 시험 자료와 중복된 학습 자료는 모두 설계 오류다. 그래서 EASA 개념서는 학습 보증의 첫 단계로 자료 관리를 두고(7.4.8), 자료의 출처부터 최종 사용까지를 추적하라고 요구한다.

자료 관리가 어려운 이유는 셋이다. ① 양이 크다. 수십만 장의 영상과 수백만 개의 상자를 사람이 하나씩 검토할 수 없다. ② 조건이 많다. 조명·기상·지면·고도·센서·지역의 조합이 지수로 늘어난다(7.5.4.2). ③ 수명이 길다. 모델은 다시 학습되고 자료는 계속 쌓이므로, 어느 판의 모델이 어느 판의 자료로 배웠는지를 몇 년 뒤에도 답할 수 있어야 한다. 세 축의 요구는 이렇게 다르다.

7.5.3 데이터 수명 주기

국제 표준도 같은 틀을 세웠다. ISO/IEC 8183:2023은 AI 시스템의 데이터 수명 주기 틀을 정하고, ISO/IEC 5259 시리즈는 분석·머신러닝용 자료의 품질 모형·측정·관리 과정을 다룬다(7.5.15). 학계에서는 데이터셋마다 동기·구성·수집 과정·권장 용도를 적은 문서를 붙이는 데이터시트(Gebru 등) 관행이 퍼졌다. 이 장은 그것을 "데이터 카드"라 부른다. 데이터 카드에 적을 항목은 다음과 같다.

7.5.4 데이터 요건 — ODD를 포괄하는가

7.5.4.1 자료 품질 요구

EASA AI 개념서 2판은 학습·검증·시험에 사용하는 모든 자료에 대해 자료 품질 요구(DQR, data quality requirements)를 정하라고 요구한다. 항목은 다음과 같다. 의도한 용도와의 관련성, 출처의 확인 가능성, 주석 과정의 요구, 형식·정확도·해상도, 출처부터 최종 사용까지의 추적성, 저장·처리·전송 중 손상 방지, 자료의 완전성과 대표성, 그리고 학습·검증·시험 자료 사이의 독립성이다. 출발점은 항공 자료 처리의 품질 표준 ED-76A(RTCA DO-200B)다. 위험도가 높은 구성 요소일수록 요구가 엄격해진다. 예컨대 시험 자료의 독립성은 높은 등급에서 엄격히, 낮은 등급에서는 공유 비율을 정해 완화할 수 있다고 적는다.

7.5.4.2 조건 공간의 커버리지

결론부터: 조건 축을 칸으로 나누면 칸 수가 축 수의 지수로 늘어난다. 운용 중 만나는 대로 모으면 가장 드문 칸이 전체 수집량을 정하므로 필요한 양이 폭발한다. 드문 조건은 기다려서 모을 수 없고 찾아가서 모아야 한다.

EASA 개념서는 완전성을 따지는 한 방법으로 입력 공간을 운용 매개변수 축으로 나눈 초입방체(hyper-cube)들의 합으로 보고, 칸마다 들어간 표본 수를 세라고 제안한다. 축 $d$개를 축마다 $b$칸으로 나누면 칸 수 $K$와 필요한 표본 수는 다음과 같다.

$$K=b^{d},\qquad N_{\text{설계}}=n_{\min}\,b^{d},\qquad N_{\text{자연}}\gtrsim\frac{n_{\min}}{p_{\min}},\quad p_{\min}=\prod_{j=1}^{d}\min_{i}q_{j,i}$$

$n_{\min}$은 칸마다 필요한 최소 표본, $q_{j,i}$는 축 $j$의 $i$번째 칸을 운용 중 만나는 비율이다. 설계된 수집은 칸마다 일부러 채우고, 자연 수집은 만나는 비율대로 모은다. 아래 계산은 칸마다 30개, 축마다 조건 비율을 3칸이면 70·25·5 %, 5칸이면 50·25·15·7·3 %로 치우치게 둔 교육용 가정이다. 자연 수집은 모든 칸이 30개 이상일 확률이 95 %가 되는 양이다(칸별 포아송 근사).

칸 수를 줄이는 방법은 둘이다. 하나는 축을 줄이는 것이다. 성능에 영향이 없다고 입증된 축은 합친다. 다른 하나는 조합 커버리지다. 모든 칸 대신 두 축씩의 조합(쌍)이 한 번 이상 나오게 설계하면 칸 수가 크게 준다. 대신 세 축 이상이 함께 나쁠 때만 나타나는 실패(역광 + 눈 + 젖은 면)는 놓칠 수 있다. 어느 쪽이든 "포괄했다"는 주장은 어떤 축을, 몇 칸으로, 칸마다 몇 개인지와 함께 해야 한다.

7.5.4.3 희귀 조건의 표본 수

발생 비율이 $p$인 조건을 $N$개의 수집에서 만나는 횟수는 대략 포아송 분포를 따른다. 기대 개수는 $\lambda=Np$다.

$$P(X\ge k)=1-\sum_{i=0}^{k-1}e^{-\lambda}\frac{\lambda^{i}}{i!}$$

결론부터: $k$개를 얻으려고 딱 $k/p$개를 모으면 실제로 $k$개 이상 얻을 확률은 0.51~0.63이다. 95 %를 보장하려면 기대 개수를 더 크게 잡아야 한다.

$k=1$의 줄은 7.4.5의 "3의 규칙"과 같은 식이다. 비율 $10^{-3}$인 조건에서 30개를 확실히 얻으려면 3.95만 개를 모아야 하고, 1분에 독립 장면 하나를 모은다면 659 비행시간이다. 그래서 희귀 조건은 표적 수집(그 조건을 찾아가 비행), 연출 촬영(동의한 사람과 소품으로 장면을 만든다), 합성(7.5.7)으로 채운다.

7.5.5 주석 품질과 일치도

주석은 지침에서 시작한다. 어디까지를 "사람"으로 볼지(가려진 사람, 그림자, 마네킹), 상자를 어디에 그릴지, 애매하면 어떤 속성을 달지를 사례와 함께 적는다. 지침의 판이 바뀌면 이전 주석과 섞을 때 표시한다.

주석의 일관성은 두 사람이 같은 자료를 독립으로 달아 일치도로 잰다. 단순 일치율은 우연한 일치를 포함하므로 Cohen의 $\kappa$를 사용한다.

$$\kappa=\frac{p_o-p_e}{1-p_e}$$

$p_o$는 관찰한 일치율, $p_e$는 두 사람의 부류 비율로 계산한 우연 일치율이다. "사람 있음"이 10 %인 자료에서 일치율이 0.97이면 $\kappa$는 0.833이고, 50 %인 자료에서 같은 일치율이면 0.940이다. 드문 부류일수록 높은 일치율이 덜 믿을 만하다. 상자 주석은 두 상자의 중첩(IoU)으로 일치를 잰다.

라벨 오류는 측정할 수 있는 성능의 하한을 만든다. 시험 자료의 라벨이 확률 $e$로 뒤집혀 있고 모델 오류와 독립이면, 참 오류율 $p$인 모델의 측정 오류율은 다음과 같다.

$$m=p(1-e)+(1-p)e$$

라벨 오류가 2 %인 시험 자료로는 $10^{-3}$짜리 모델과 $10^{-2}$짜리 모델을 구별하지 못한다. 7.4.5의 시험량 계산은 라벨이 맞다는 가정 위에 있으므로, 시험 자료의 라벨 오류는 목표 오류율보다 한 자릿수 이상 작아야 한다. 두 사람이 독립으로 달고 불일치하면 판정자가 바로잡는 구조에서 남는 오류는 두 사람이 같은 쪽으로 틀릴 확률, 대략 $e^{2}$이다.

이 계산은 두 사람이 독립으로 틀린다고 가정한다. 실제로는 어려운 장면(작은 물체, 가림, 야간)에서 함께 틀리므로 남는 오류가 더 크다. 7.4.7.3의 공통 원인 $\beta$와 같은 구조다. 정답을 아는 점검용 사례를 섞어 주석자의 정확도를 재고, 어려운 장면은 전문가가 따로 본다.

7.5.6 학습·검증·시험 분할과 누수

자료는 셋으로 나눈다. 학습 자료로 매개변수를 맞추고, 검증 자료로 구조와 설정을 고르며, 시험 자료로 마지막에 한 번 성능을 잰다. EASA 개념서는 세 자료를 분리하고 특히 시험 자료의 독립성에 주의하라고 요구한다. 시험 자료가 학습에 조금이라도 새면(누수, leakage) 측정한 성능은 운용에서 재현되지 않는다.

가장 흔하고 큰 것이 첫 줄이다. 7.4.5에서 보았듯 30 fps 영상의 이웃 프레임은 상관이 0.99에 이를 수 있다. 프레임 단위로 무작위 분할하면 시험 자료의 대부분이 학습 자료의 "거의 복사본"이 된다. 분할의 단위는 독립성의 단위와 같아야 한다. 무인기 자료에서 그 단위는 대개 비행·장소·날짜다. 그래서 칸마다 시험 자료를 채우려면 서로 다른 장소와 날짜가 충분히 있어야 한다.

7.5.7 합성 데이터와 시뮬레이션

합성 자료는 시뮬레이터 렌더링, 실제 영상의 변형(증강), 생성 모델로 만든다. 무인기에서 값이 큰 용도은 다음과 같다.

합성과 실제의 차이를 현실 격차(sim-to-real gap)라 한다. 렌더링의 질감, 센서 잡음과 렌즈 왜곡, 압축 손상, 움직임 번짐이 원인이다. 줄이는 길은 둘이다. 하나는 렌더링과 센서 모형을 실제에 가깝게 만드는 사진 실사화다(AirSim 기반의 TartanAir가 예다). 다른 하나는 반대로 합성의 변화를 일부러 아주 넓게 주어 실제가 그 변화의 하나처럼 보이게 하는 영역 무작위화다(Tobin 등 2017). 합성과 실제의 비율에는 정답이 없다. 합성으로 미리 학습하고 실제로 다듬거나, 섞어서 학습하되, 그 선택은 실제 자료의 검증 성능으로 정한다.

합성 자료가 증거가 되는 조건은 따로 따져야 한다. 학습에 사용하는 데는 제약이 적다. 그러나 시험 증거로 사용하려면 시뮬레이터 자체가 그 조건에서 실제를 대표한다는 타당성 입증이 필요하다(8.19). 그 입증에도 실제 자료가 든다. 실제 300장에서 실패가 없으면 실패 확률 $10^{-2}$ 이하까지만 말할 수 있고, $10^{-3}$을 말하려면 실제 3,000장이 필요하다. 그래서 지금의 실무에서 합성 자료는 학습과 약점 찾기의 도구이고, 마지막 시험 증거는 대부분 실제 자료다. 시뮬레이터와 합성 데이터 도구 제품은 24.35, 연구용 시뮬레이터·데이터셋 기반은 25.5가 다룬다.

7.5.8 편향의 종류

자료의 편향은 운용 분포와 체계적으로 다른 자료의 치우침이다. 무인기 자료에서 흔한 것은 다음과 같다.

무인기에 특유한 것은 운용 선택 편향이다. 자료는 비행할 때만 쌓이고, 비행은 승인 조건과 기상 한계 안에서만 한다. 그래서 자료는 ODD의 한가운데에 몰리고, 정작 성능이 궁금한 경계 근처 — 강풍, 저시정, 황혼 — 에서 얇다. 수색구조처럼 사람을 찾는 기능에서는 대상의 다양성이 안전 문제다. 앉거나 누운 사람, 어두운 옷, 아이처럼 작은 사람, 물에 일부 잠긴 사람을 덜 찾는다면 그것은 성능 저하이자 공정성의 문제다. 부류와 속성별 재현율을 따로 보고한다.

7.5.9 출처·라이선스·개인정보

출처와 라이선스. 공개 데이터셋에는 저마다 이용 조건이 있다. 비상업 연구용으로만 허락한 것, 출처 표시와 같은 조건 공유를 요구하는 것, 상업 이용을 허락하는 것이 섞여 있다. 상업 제품의 학습에 비상업 조건의 자료를 사용하면 법적 위험이 생긴다. 공개 자료를 받아 사용하면 그 자료의 출처까지 추적하기 어려우므로, EASA 개념서는 외부 자료의 경우 출처를 신청자가 관리한 지점으로 좁혀 정하고 그 관리를 설명하라고 적는다. 자료마다 출처·이용 조건·받은 날짜·판을 데이터 카드에 남긴다.

개인정보. 무인기 영상에는 의도하지 않은 사람·차량 번호판·사유지가 찍힌다(6.12.13). 학습 자료로 사용하는 것은 촬영 목적과 다른 목적 외 이용이 될 수 있다. 한국에서는 「개인정보 보호법」이 드론 같은 이동형 영상정보처리기기의 촬영을 규율하고 (조문·시행일 확인 필요), 가명처리한 정보를 연구 목적으로 사용하는 특례가 있다 (적용 범위 확인 필요). 원칙은 6.12.13과 같다. 필요한 만큼만 모으고, 학습에 필요 없는 얼굴과 번호판은 지우거나 흐리게 하며, 보존 기한을 정한다. 사람을 찾는 기능의 학습 자료는 동의한 사람의 연출 촬영으로 모으는 편이 안전하다. 상세는 18.17이 다룬다.

AI 법제의 데이터 요구. EU AI법은 고위험 AI의 학습·검증·시험 자료에 데이터 거버넌스를 요구하고, 자료가 목적에 비추어 관련 있고 충분히 대표적이며 가능한 한 오류 없이 완전해야 한다고 정한다(제10조). 항공 분야는 이 요구가 항공 기본규정을 거쳐 연결되며, EASA가 NPA 2025-07로 구체화하고 있다(17.15·20.10). 한국의 AI 기본법은 2026년 1월 시행됐다(2차 출처로 확인, 조문 확인 필요). 고영향 AI 사업자의 의무가 무인기 기능에 어떻게 적용되는지는 18.21이 다룬다. 항공 사진의 보안 시설은 공개 전 심사 대상일 수 있다(18.20). 학습 자료를 외국 클라우드에 두는 문제는 데이터 주권과 이어진다(19.20).

7.5.10 공개 데이터셋 지형

규모는 논문·공식 저장소의 공개 값이며 판마다 다를 수 있다. 공개 데이터셋은 연구의 공통 잣대로는 값지지만 인증 증거로는 대개 부족하다. 수집 조건이 내 ODD와 다르고, 칸별 표본 수가 정해져 있지 않으며, 주석 지침과 라벨 오류율이 내 요구와 다르고, 시험 자료가 이미 여러 번 공개되어 사실상 봉인되지 않았다. 공개 데이터셋은 사전 학습과 비교 평가에 사용하고, 증거용 시험 자료는 따로 만든다. 연구 인프라로서의 데이터셋은 25.5가 다룬다.

7.5.11 데이터 보안·노획 시 보호

자료 오염. 학습 자료를 몰래 바꾸면(포이즈닝) 모델에 의도한 약점을 심을 수 있다. EASA 개념서도 의도적 자료 손상을 별도의 정보 보안 목표로 다룬다. 방호는 공급망 보안과 같은 구조다. 자료의 출처를 기록하고, 판마다 해시와 서명을 남기며, 주석 도구와 저장소의 접근을 통제하고, 외부 자료는 들여올 때 검사한다(8.13). 공격 방법은 이 책의 범위 밖이다.

모델에서 새는 자료. 학습된 모델에서 학습 자료의 일부나 특정 자료의 포함 여부를 추정하는 연구가 있다. 사람이 찍힌 자료로 학습한 모델은 그 자체가 개인정보 위험이 될 수 있다는 뜻이다. 비식별 처리와 접근 통제를 모델에도 적용한다.

노획 시 보호. 기체가 노획되면 탑재 모델과 기체에 남은 영상이 노출된다. 군용에서는 모델이 학습한 조건과 약점이 드러나고, 민간에서도 영업 비밀과 개인정보가 샌다. 기체에는 학습 자료를 두지 않고, 모델과 기록을 암호화하며, 노획 위험이 있으면 지우는 제로화를 설계한다(8.17). 군의 학습 자료와 시험 자료는 비밀로 관리되는 경우가 많고, 방산기술보호의 대상이 될 수 있다(19.17).

7.5.12 수치 예시·워크스루 — 착륙면 사람 감지의 시험 자료 계획

과제. 7.4.10의 착륙면 사람 감지 기능이다. 신경망의 미탐지 확률 $10^{-3}$을 ODD의 칸마다 신뢰도 95 %로 입증해야 한다. 칸마다 사람이 있는 장면 2,994개를 미탐지 없이 통과해야 한다(7.4.5). ODD는 조명 4(주간 65 %, 역광 10 %, 황혼 10 %, 야간 15 %) × 기상 3(맑음·흐림 75 %, 비 20 %, 눈 5 %) × 지면 3(포장 60 %, 잔디 30 %, 젖은 면 10 %)의 36칸이다. 비율은 운용 중 만나는 비율의 교육용 가정이다.

1. 칸의 분포를 본다. 가장 흔한 칸(주간·맑음·포장)은 29.3 %, 가장 드문 칸(역광 또는 황혼·눈·젖은 면)은 0.05 %다. 36칸 가운데 19칸이 1 % 미만이다.
2. 설계된 시험 자료의 크기. $2{,}994\times36=107{,}784$장면이다.
3. 자연 수집이라면. 모든 칸이 2,994개를 넘을 확률 95 %를 위해 약 620만 장면을 모아야 한다. 설계된 수집의 58배이고, 착륙 장면으로 세면 사실상 불가능하다. 드문 칸은 그 조건을 찾아가는 표적 수집과 연출 촬영으로 채운다.
4. 분할 단위. 시험 장면은 학습에 사용하지 않은 장소와 날짜에서 모은다. 한 장소·한 날짜에서 칸 하나를 다 채우면 그 장소의 특징을 시험하게 되므로, 칸마다 여러 장소와 날짜로 나눈다.
5. 주석 비용과 라벨 품질. 두 사람이 장면마다 30초씩 독립으로 달면 1,796시간, 한 사람의 1년 노동(1,800시간)이다. 한 사람의 라벨 오류가 0.005면 두 사람과 판정자의 구조에서 남는 오류는 약 $2.5\times10^{-5}$로, 목표 $10^{-3}$보다 충분히 작다. 한 사람만 달면 측정 오류율이 0.006이 되어 목표를 아예 측정할 수 없다.
6. 합성의 자리. 드문 칸의 학습 자료는 합성으로 보탠다. 그러나 시험 증거로 사용하려면 칸마다 실제 장면이 필요하다. 실제 300장으로는 $10^{-2}$까지만 말할 수 있다.
7. 개인정보. 착륙면의 사람 장면은 동의한 사람과 마네킹으로 연출하고, 실제 운용 영상에서 회수한 사례는 비식별 후 보존 기한을 정해 사용한다.

결론: 시험 자료의 크기는 성능 목표가 아니라 ODD의 칸 구조와 가장 드문 칸이 정한다. 그리고 그 칸들을 채우는 비용 — 표적 수집, 연출, 이중 주석 — 이 학습 기능 개발 비용의 큰 몫이 된다. 칸을 줄이는 것(성능에 영향 없는 축을 합치기, ODD에서 빼기)이 가장 값싼 절약이다.

7.5.13 설계 트레이드오프

① 자연 수집 중심. 운용하면서 쌓이는 자료를 그대로 사용한다. 싸고 운용 분포를 잘 대표한다. 드문 칸이 비고, 운용 선택 편향이 그대로 들어간다. ② 설계된 수집. 칸을 먼저 정하고 표적 수집과 연출로 채운다. 커버리지를 입증할 수 있다. 비용이 크고, 연출 장면이 실제와 다를 위험이 있다. ③ 합성 중심. 시뮬레이터로 칸을 채운다. 드물고 위험한 조건에 강하다. 현실 격차가 있고, 증거로 사용하려면 시뮬레이터의 타당성을 입증해야 한다.

견해: 안전에 걸린 학습 기능이라면 시험 자료는 ②로, 학습 자료는 ①에 ③을 보태는 조합이 지금으로서는 합리적이라고 본다. 근거는 셋이다. 첫째, 7.5.4.2의 계산처럼 자연 수집으로는 드문 칸을 채울 수 없다. 둘째, 시험 증거의 독립성과 라벨 품질은 설계된 자료에서만 관리할 수 있다. 셋째, 합성은 학습에서 값이 크지만 증거로 사용하기에는 타당성 입증의 부담이 아직 크다(7.5.7). 반대 견해도 있다. 시뮬레이터의 타당성 입증이 성숙하면 ③이 ②보다 훨씬 싸고 넓게 칸을 포괄할 것이며, 자동차 분야는 이미 그 방향으로 간다는 주장이다. 판단은 시뮬레이터 타당성 입증 방법의 성숙도(8.19)에 달려 있다.

7.5.14 세 축 비교

7.5.15 관련 규격·프로토콜

유료 규격은 공개 요약의 범위에서만 다뤘다.

7.5.16 관련 규제·인증 요구와의 연결

7.5.17 함정과 한계

이 장의 한계도 밝혀 둔다.

• 커버리지 계산은 칸 사이 독립과 포아송 근사를 사용했다. 실제 조건 축은 서로 상관되고(눈과 저온), 칸의 경계는 연속 변수를 자른 것이다.
• 칸마다 필요한 표본 수는 목적에 따라 다르다. 학습용 30개와 시험용 2,994개는 전혀 다른 질문에 답한다.
• 라벨 오류 모형은 대칭·독립 오류를 가정했다. 실제 오류는 어려운 장면에 몰린다.
• 데이터셋 규모와 이용 조건은 판마다 바뀐다. 사용 전에 공식 저장소를 확인해야 한다 (확인 필요).
• 미해결 문제: 영상처럼 고차원 자료에서 "대표성"을 재는 합의된 방법은 아직 없다. 시뮬레이터 타당성을 칸별로 입증하는 방법도 정해져 있지 않다.

7.5.18 체크포인트·연구 질문

체크포인트

1. 데이터 수명 주기의 단계를 적고, 각 단계에서 사고 조사에 필요한 기록을 하나씩 말하라.
2. 조건 축 4개를 축마다 3칸으로 나누고 칸마다 50개가 필요하다면 설계된 수집의 크기는 얼마인가?
3. 비율 $10^{-3}$인 조건에서 10개 이상을 95 %로 얻으려면 몇 개를 모아야 하는가?
4. 두 주석자의 일치율이 0.95이고 "있음" 비율이 둘 다 5 %일 때 $\kappa$를 구하라.
5. 라벨 오류가 1 %인 시험 자료에서 참 오류율 $10^{-3}$인 모델의 측정 오류율을 구하라.
6. 프레임 단위 무작위 분할이 왜 누수인지, 무인기 자료에서 분할 단위를 무엇으로 해야 하는지 말하라.

연구 질문 — 이 장에서 파생되는 열린 주제(25.7에 모은다)

1. 고차원 자료의 대표성 측정 — 영상 자료가 ODD 칸을 포괄했음을 특징 공간에서 정량화하는 방법은 무엇이며, 인증 증거로 사용할 수 있는가(7.4·20.10)?
2. 합성 자료의 칸별 타당성 입증 — 시뮬레이터가 어떤 ODD 칸에서 실제를 대표한다는 것을 실제 자료 몇 개로 입증할 수 있는가(8.19·24.35)?
3. 조건 속성이 붙은 무인기 공개 시험 자료 — 조명·기상·고도·센서 속성을 표준 형식으로 단 공개 시험 자료와 봉인 평가 체계를 어떻게 만들 것인가(6.12·25.5)?
4. 운용 선택 편향의 보정 — 승인·기상 한계 때문에 생긴 수집 편향을 운용 기록으로 추정하고 보정하는 방법은(7.3.7)?

1차 출처(이 장)

• EASA, EASA Concept Paper: Guidance for Level 1 & 2 machine learning applications, Issue 02, 2024.
• RTCA DO-200B, Standards for Processing Aeronautical Data, 2015 (판 확인 필요).
• ISO/IEC 8183:2023, Information technology — Artificial intelligence — Data life cycle framework.
• ISO/IEC 5259-1:2024, Artificial intelligence — Data quality for analytics and machine learning (ML) — Part 1: Overview, terminology, and examples.
• Regulation (EU) 2024/1689(EU AI법), 제10조.
• Gebru, T. et al., "Datasheets for Datasets," Communications of the ACM 64(12), 2021.
• Cohen, J., "A coefficient of agreement for nominal scales," Educational and Psychological Measurement 20(1), 1960.
• Tobin, J. et al., "Domain randomization for transferring deep neural networks from simulation to the real world," IROS, 2017.
• Zhu, P. et al., "Detection and Tracking Meet Drones Challenge," IEEE Transactions on Pattern Analysis and Machine Intelligence, 2022 (권·호 확인 필요).
• Du, D. et al., "The Unmanned Aerial Vehicle Benchmark: Object Detection and Tracking," ECCV, 2018.
• Xia, G.-S. et al., "DOTA: A Large-scale Dataset for Object Detection in Aerial Images," CVPR, 2018.
• Varga, L. A. et al., "SeaDronesSee: A Maritime Benchmark for Detecting Humans in Open Water," WACV, 2022.
• Wang, W. et al., "TartanAir: A Dataset to Push the Limits of Visual SLAM," IROS, 2020.

출처를 찾고 판을 추적하는 방법은 0.9에서 다룬다.

다음 장: 7.6에서 생성형 AI와 파운데이션 모델을 무인기에 사용할 때를 다룬다. 이 장까지가 정해진 과제를 배우는 학습 기능의 자료와 보증이었다면, 그 장은 자연어로 임무를 받고 계획을 제안하는 거대 모델이 왜 더 어려운 보증 문제를 낳는지, 그리고 모델은 제안하고 결정적 검증기와 사람이 승인하는 구조가 무엇을 보호하는지를 다룬다.