제7부 자율성·군집

7.7 학습 기반 비행: 강화학습·모방학습·자율 드론 레이싱

7.7.1 이 장에서 배우는 것 / 선수 지식 / 특히 중요한 독자

비행 제어는 오랫동안 사람이 모형을 세우고 이득을 맞추는 일이었다(2.2). 학습 기반 비행은 다른 길을 간다. 원하는 것을 보상이나 시연으로 적고, 시뮬레이터에서 수백만 번 날려 보며 정책을 찾는다. 2023년에는 이렇게 학습한 쿼드콥터가 사람 챔피언과의 레이싱에서 이겼다. 이 장은 그 방법의 틀과, 같은 방법이 왜 인증 앞에서는 멈춰 서는지를 함께 다룬다.

배우는 것:

• 강화학습의 틀 — 상태·행동·보상·정책·가치, 시간차 학습, 보상 설계가 결과를 어떻게 바꾸는가.
• 모방학습 — 전문가 시연을 흉내 내는 행동 복제가 분포 이동으로 붕괴하는 이유와 DAgger.
• 시뮬레이션 학습과 현실 격차 — 영역 무작위화, 잔차 모형, 관측에 이력을 넣는 일의 효과와 한계.
• 자율 드론 레이싱 — 2016년 첫 대회에서 2023년 챔피언 대결, 2025년 공식 대회까지 공개 연구가 보여 준 것과 남긴 한계.
• 고전 제어와의 비교와 안전한 학습 — 성능·보증·튜닝의 차이, 제약 강화학습과 안전 필터, 런타임 보증으로 감싸기.

선수 지식: 캐스케이드 제어와 지연·위상 여유는 2.2(2.2.3·2.2.5), 비행동역학 모형과 시스템 식별은 2.1, 런타임 보증과 제어 장벽 함수는 7.8(7.8.3·7.8.4.3), 머신러닝 보증의 일반 논리는 7.4이다. 수식은 확률과 기댓값 수준이다.

특히 중요한 독자: 엔지니어는 7.7.3~7.7.5와 7.7.10의 워크스루를 본다. 인증 담당자는 7.7.7·7.7.8·7.7.14를 본다. 학습 정책에 무엇을 요구할 수 있는지가 거기 있다. 정책·사업 담당자는 7.7.2·7.7.6·7.7.11을 본다.

기준 시점과 경계. 이 장은 2026년 10월을 기준으로, 지식은 2026년 중반까지 반영했다. 계산은 일반적 모형, 교육용 가정이다. 심층 신경망이 아니라 칸으로 나눈 표 기반 Q-학습의 장난감 과제(1차원 고도 유지)로 원리만 보였고, 파이썬 표준 라이브러리(math·random, 고정 시드)로 돌렸다(mil-uam/fig-src/7.7-model.py 외). 레이싱 연구의 수치는 논문 보고치와 주최 측 발표 (공개 주장치)를 구분했다. 드론 레이싱은 민간 연구와 스포츠의 맥락으로만 다룬다. FPV 기체의 전장화는 10.8의 몫이며 이 장의 기법과 연결하지 않는다.

7.7.2 개념·직관 — 규칙을 작성하는 대신 경험에서 정책을 얻는다

고전 제어기를 만드는 사람은 어떻게 날지를 사용한다. 위치 오차에 이득을 곱하고, 지연을 보고 위상 여유를 맞춘다. 학습 기반 방법은 무엇을 원하는지만 작성한다. "목표 고도에 빨리 붙고, 땅에 닿지 마라"를 보상으로 적으면(강화학습, RL, reinforcement learning), 또는 잘 나는 사람이나 프로그램의 비행 기록을 주면(모방학습, IL, imitation learning) 최적화가 정책을 찾는다. 정책(policy)은 관측을 행동으로 바꾸는 함수이고, 요즘은 대개 신경망이다.

이 방법이 빛나는 곳은 셋이다. ① 모형을 세우기 어려운 곳(접촉·난류·복잡한 공력). ② 카메라 영상처럼 고차원 관측에서 바로 행동을 내야 하는 곳. ③ 기체의 한계를 끝까지 사용하는 곳(레이싱). 반대로 약한 곳도 셋이다. ① 정책이 옳다는 증명이 없다. ② 시뮬레이터와 실제가 다르면 성능이 붕괴한다(현실 격차). ③ 같은 설정으로 다시 학습해도 결과가 다르다. 이 장은 이 여섯 가지를 차례로 숫자로 본다.

아래 그림이 이 장 전체의 고리다. 시뮬레이터에서 배우고, 안전 장치로 감싸 실제로 날리고, 실제 기록으로 시뮬레이터를 고친다.

세 축의 요구는 이렇게 다르다.

7.7.3 강화학습의 틀

7.7.3.1 상태·행동·보상·정책

결론부터: 강화학습은 앞으로 받을 보상의 합을 최대화하는 정책을 시행착오로 찾는다. 수학의 틀은 마르코프 결정 과정(MDP)이다. 매 걸음 기체는 상태 $s_t$에서 행동 $a_t$를 고르고, 보상 $r_t$를 받고, 다음 상태 $s_{t+1}$로 간다. 목표는 할인된 보상 합의 기댓값이다.

$$J(\pi)=\mathbb E_\pi\Bigl[\sum_{t=0}^{T}\gamma^{t}\,r_t\Bigr],\qquad Q^{\pi}(s,a)=\mathbb E_\pi\Bigl[\sum_{k\ge0}\gamma^{k}r_{t+k}\ \Big\vert\ s_t=s,\ a_t=a\Bigr]$$

가장 단순한 학습 규칙이 Q-학습이다(Watkins, 1989). 한 걸음을 겪을 때마다 추정을 고친다.

$$Q(s,a)\ \leftarrow\ Q(s,a)+\alpha\Bigl[r+\gamma\max_{a'}Q(s',a')-Q(s,a)\Bigr]$$

상태가 연속이고 고차원이면 표 대신 신경망을 사용한다. 비행 연구에서는 정책을 직접 고치는 정책 경사 계열, 특히 PPO(Schulman 외, 2017)가 널리 사용된다. 원리는 같다. 시뮬레이터가 경험을 싸고 빠르게 공급하기 때문에 가능하다.

알고리즘은 크게 세 갈래다.

장난감 과제는 이렇다. 멀티콥터가 목표 고도에서 최대 4 m 떨어져 출발해 12초 안에 목표 ±0.5 m에 붙어 멈춰야 한다(10 Hz). 실제 가속은 $k(g+a)-g$에 돌풍(표준편차 0.3 m/s²)을 더한 것이고, $k$는 추력 효율(배터리 전압·탑재 질량에 따라 변한다, 공칭 1.0), 명령은 시정수 0.1 s로 늦게 따라온다. 고도 오차가 −5 m 아래로 가면 지면 충돌로 센다.

7.7.3.2 보상 설계 — 원하는 것을 사용하기는 어렵다

결론부터: 정책은 보상이 말한 것만 배운다. 말하지 않은 것(부드러움·에너지·부품 수명)은 고려하지 않는다. 세 보상 설계로 3만 에피소드씩 학습했다(씨앗 3개 평균, 공칭 시험 300회).

읽을 것이 셋이다. 첫째, 희소 보상은 불안정하다. 씨앗 셋 모두 학습 도중 한때 성공률 0.95를 넘었지만 3만 에피소드 뒤에는 0.49~0.80이다. 목표 근처 말고는 신호가 없어 그 밖에서의 행동을 붙잡아 둘 압력이 약하다고 해석한다. 둘째, 같은 설계도 씨앗에 따라 다르고 학습 곡선은 단조롭지 않다. 위치 벌점 설계는 씨앗 셋 가운데 하나가 0.66에 머물렀고, 조밀 보상의 한 씨앗은 학습 막바지에 한 번 0.44로 떨어졌다가 돌아왔다. 셋째, 가장 잘 배운 조밀 보상 정책은 오차가 PID(0.119 m)의 약 7분의 1이지만 명령이 매 걸음 1.6 m/s²씩 튄다. 정지 상태에서도 평균 1.1 m/s²의 명령을 위아래로 번갈아 낸다. 보상이 명령의 크기만 조금 벌하고 변화를 벌하지 않았기 때문이다. 시뮬레이터에서는 공짜인 이 채터링이 실제 기체에서는 모터 발열·진동·배터리 소모가 되고, 모형에 없는 고주파 동역학을 깨운다. 보상이 원하지 않는 방식으로 만족되는 현상을 보상 해킹(reward hacking)이라 부른다. 대응은 보상에 명령 변화의 벌점을 넣고 이전 행동을 관측에 넣는 것, 또는 정책 출력에 변화율 제한을 거는 것이다.

7.7.4 모방학습 — 전문가를 흉내 내기

보상을 사용하기 어렵다면 잘하는 비행을 보여 주면 된다. 가장 단순한 방법이 행동 복제(BC, behavior cloning)다. 전문가가 날며 남긴 (관측, 행동) 쌍으로 지도학습을 한다. 문제는 분포 이동이다. 학습자가 조금 틀리면 전문가가 가 본 적 없는 상태에 들어가고, 거기서는 배운 것이 없어 더 틀린다. 오류가 쌓인다. Ross·Bagnell(2010)은 한 걸음 오류율 $\epsilon$, 길이 $T$의 과제에서 행동 복제의 누적 손실이 최악의 경우 $\epsilon T^{2}$ 규모로 자랄 수 있음을 보였다.

DAgger(Ross·Gordon·Bagnell, 2011)는 이를 고친다. ① 학습자가 직접 날고, ② 학습자가 방문한 상태에 전문가가 "여기서는 이렇게"를 붙이고, ③ 모은 자료 전체로 다시 학습하는 일을 반복한다. 학습자가 실제로 가는 상태를 자료가 포괄하므로 누적 손실이 $\epsilon T$ 규모로 준다.

장난감 과제로 계산했다. 전문가는 적분 없는 PD 제어기다. 전문가가 좁은 출발(목표에서 1 m 안)에서 20번 시연한 자료로 행동 복제를 하고, 넓은 출발(4 m 안)에서 시험했다. DAgger는 학습자가 넓은 출발에서 40번씩 날고 전문가가 이름을 붙인다(씨앗 5개 평균).

전문가 자신은 넓은 출발에서도 300회 모두 성공한다. 행동 복제가 절반만 성공하는 것은 전문가가 나빠서가 아니라 시연이 포괄하지 못한 상태 때문이다. 대가도 있다. DAgger는 학습자가 서툰 동안에도 기체를 날려야 하고(실기체라면 안전 조종자나 안전 필터가 필요하다), 전문가가 언제든 물어볼 수 있어야 한다. 그래서 실무에서는 전문가를 시뮬레이터 안의 프로그램으로 둔다. 시뮬레이터의 완전한 상태를 아는 계획기(특권 전문가)를 센서만 보는 학습자가 흉내 내게 하는 방식이 고속 비행 연구에 사용되었다(Loquercio 외, 2021).

보상도 시연도 마땅치 않을 때 사용하는 중간 길이 있다. 시연에서 보상을 거꾸로 추정하는 역강화학습(inverse RL)과, 사람이 두 비행 가운데 나은 쪽을 고르게 해 보상을 배우는 선호 학습이다. 둘 다 "원하는 것을 적기 어렵다"는 7.7.3.2의 문제를 다른 방식으로 푼다. 어느 쪽이든 배운 보상이 원래 의도와 같다는 보장은 없다.

7.7.5 시뮬레이션 학습과 현실 격차

결론부터: 시뮬레이터에서 완벽한 정책도 실제 기체의 파라미터가 조금 다르면 붕괴할 수 있다. 이를 현실 격차(sim-to-real gap)라 부른다. 원천은 넷이다. ① 동역학 파라미터(질량·관성·추력 계수·배터리 전압). ② 지연과 작동기 응답(2.2.5). ③ 센서와 외관(카메라의 조명·질감, 잡음). ④ 모형에 없는 효과(지면 효과·후류·진동).

대응은 세 갈래다.

1. 영역 무작위화(domain randomization, Tobin 외, 2017). 학습 때 파라미터를 넓게 섭동시켜 정책이 그 전체에서 통하게 한다.
2. 시스템 식별과 잔차 모형. 실제 비행 자료로 시뮬레이터를 맞춘다(2.1). 모형이 설명하지 못한 차이만 따로 학습하는 잔차 모형도 있다(7.7.6의 레이싱 사례).
3. 관측에 이력을 넣는다. 정책이 최근 관측·행동의 이력에서 숨은 파라미터를 스스로 추정하게 한다. 고전 제어의 적분기와 적응 제어가 하던 일을 정책 안에서 한다.

장난감 과제에서 추력 효율 $k$를 바꿔 시험했다. 학습 정책은 씨앗 4개로 각각 6만 에피소드씩 학습했다.

읽을 것이 넷이다. 첫째, 공칭에서 완벽한 정책이 추력이 15 % 모자라면 성공률 0.36으로 떨어진다. 시뮬레이터의 $k$ = 1에 맞춘 행동이 몸에 배어 있기 때문이다. 둘째, 무작위화만으로는 나아지지 않았다. 관측 $(z, w)$만으로는 지금 기체의 $k$를 알 수 없어서 정책은 여러 기체의 평균에 맞춘 타협을 배운다. 공칭 성능이 0.87로 내려가고, 기우는 쪽이 씨앗마다 달라 $k$ = 0.85의 성공률이 씨앗에 따라 0.00~1.00으로 갈렸다. 셋째, 관측에 오차 적분을 넣자 0.9~1.2에서 0.85 이상을 고르게 지켰다. 적분이 "계속 처진다"는 이력을 포함해 숨은 $k$를 간접으로 드러내기 때문이다. 넷째, 적분 동작이 있는 PID는 같은 범위에서 0.99 이상이다. 고전 제어는 이 문제를 구조(적분기)로 풀고, 학습 정책은 그 구조를 관측 설계와 학습량으로 다시 배워야 한다. $k$ = 0.80은 최대 상승 가속이 0.44 m/s²뿐인 추력 한계라 모두 어렵다. 명령 지연을 0.3 s로 늘린 시험에서는 공칭 학습 정책도 0.98 이상을 유지했다. 이 과제에서는 지연보다 추력 효율의 차이가 더 큰 격차였다.

7.7.6 자율 드론 레이싱 — 공개 연구 사례

드론 레이싱은 학습 기반 비행의 시험장이다. 과제가 분명하고(문을 순서대로 통과해 가장 빨리), 기체의 한계를 끝까지 사용하며, 사람 챔피언이라는 비교 기준이 있다.

첫 대회. 사람이 조종하지 않는 첫 자율 드론 레이싱은 2016년 10월 IROS 학회(대전)에서 열렸다. 완주가 어려워 가장 멀리 간 팀이 이기는 방식이었고, KAIST 팀이 1위, TU Delft MAVLab이 2위였다. 대회는 그 뒤 몇 해 IROS에서 이어졌다.

흐름을 표로 정리하면 다음과 같다.

사람 챔피언과의 대결(2023). Kaufmann 외(Nature 620, 2023)의 Swift는 사람 챔피언 셋과 실제 경주를 했다. 논문이 보고한 사실은 다음과 같다.

같은 논문은 한계도 적었다. 충돌 뒤 회복을 배우지 않았다. 패배 10번 가운데 상대와의 충돌과 문 충돌이 각각 40 %였다. 인지가 학습 때와 같은 외관을 가정해 조명이 바뀌면 실패할 수 있다. 동역학 잔차는 그 경주로의 자료로 맞춘 것이다. 사람은 120 Hz 카메라를 사용하는데 Swift는 30 Hz였다. 같은 연구진은 같은 과제에서 강화학습 제어기가 최적 제어보다 빨랐던 이유를 "같은 목적을 더 잘 푼 것이 아니라 더 나은 목적을 최적화했기 때문"이라고 분석했다. 최적 제어는 계획한 궤적을 따르는 문제로 나누는 탓에 모형에 없는 효과 앞에서 표현할 수 있는 행동이 좁아진다는 설명이다(Song 외, Science Robotics, 2023).

공식 대회(2025). 2025년 4월 아부다비의 A2RL × DCL 자율 드론 대회에서 TU Delft MAVLab의 자율 기체가 사람 조종자와의 대결에서 이겼다고 주최 측과 대학이 발표했다. 전방 카메라 하나를 주된 감지로 사용했다고 한다 (공개 주장치, 경기 조건의 세부는 확인 필요).

이 사례들이 무인기 공학에 남긴 것은 셋이다. ① 학습 정책이 기체 한계 근처의 기동에서 사람과 고전 계획을 넘을 수 있다. ② 그 성능은 좁은 운용 설계 영역(ODD, operational design domain)(정해진 경주로, 조명, 기체) 안의 것이다. ③ 현실 격차를 메운 것은 무작위화만이 아니라 실제 자료로 시뮬레이터를 고치는 고리였다(7.7.2의 그림).

7.7.7 학습 기반 제어와 고전 제어의 비교

학습이 비행 계층의 어디에 들어오느냐에 따라 안전과의 거리가 다르다.

아래 표는 각속도·속도 계층에서 학습 정책과 고전 제어를 견준 것이다.

이 표의 결론은 "어느 쪽이 낫다"가 아니다. 학습 정책은 성능의 상한을 올리고, 고전 제어는 보증의 하한을 확보한다. 그래서 실무 구조는 둘을 병용한다. 안쪽 각속도·자세 루프는 고전 제어가 맡고 학습 정책은 그 위에 각속도나 가속 명령을 내는 경우가 많다(Swift도 총추력과 각속도를 상용 비행 제어기에 넘겼다). 그리고 그 둘레를 7.8의 런타임 보증이 감싼다.

시간 예산도 견줄 만하다. Swift의 제어 정책 추론 8 ms는 2.2의 위치·속도 루프 주기(50 Hz, 20 ms) 안에 들어간다. 그러나 문 모서리를 찾는 인지망의 40 ms는 그 두 배이고, 카메라 30 Hz의 표본 간격 33 ms가 더해진다. 학습 기반 비행의 지연은 정책보다 인지가 정한다. 그 지연은 7.8.5의 전환 시간 예산에 그대로 들어간다.

7.7.8 안전한 학습 — 학습 중과 배치 뒤

안전은 두 시점에서 문제가 된다. 학습 중에는 시행착오가 곧 추락이다. 배치 뒤에는 정책이 처음 보는 상태에서 무엇을 할지 모른다.

두 원칙이 중요하다. 첫째, 배치 뒤의 안전은 학습 결과에 기대지 않는 장치가 맡는다. 기댓값 제약이나 벌점은 "평균적으로 안전하다"이지 "이번 비행이 안전하다"가 아니다. 둘째, 학습은 안전 장치를 알고 해야 한다. 7.8.6.3의 계산처럼 감시기의 경계 안쪽까지 성능을 짜는 복잡 기능은 매번 끊긴다. 안전 필터를 학습 중에도 켜 두면 정책은 필터가 허용하는 범위 안에서 최적을 찾고, 배치 때와 학습 때의 동작이 같아진다.

7.7.9 시뮬레이터와 학습 인프라

학습 기반 비행은 시뮬레이터 위에서 자란다. 시뮬레이터에 요구되는 것은 서로 부딪친다.

연구에서 사용되는 것은 물리·렌더링 시뮬레이터(Gazebo, Flightmare, AirSim 계열, NVIDIA Isaac 계열 등)와 오토파일럿의 SITL·HITL 구성이다 (시뮬레이터의 구조와 2026년 유지 상태는 8.28.8, 제품별 판은 24.35). 학습 인프라에는 시뮬레이터 말고도 실험 기록이 필요하다. 이 장의 장난감 과제에서도 영역 무작위화 정책은 같은 설정인데 씨앗에 따라 $k$ = 0.85의 성공률이 0.00~1.00으로 갈렸다(7.7.5). 학습 정책의 성능은 씨앗 여럿의 분포로 보고해야 하고(Henderson 외, 2018), 배치한 정책의 씨앗·자료·시뮬레이터 판을 형상 관리 대상으로 둔다(8.22). 시험평가의 M&S 일반은 8.19가 다룬다.

7.7.10 수치 예시·워크스루 — 고도 유지 정책을 학습해 배치한다

과제. 점검용 멀티콥터의 고도 유지를 학습 정책으로 바꾸려 한다. 탑재 질량과 배터리 상태에 따라 추력 효율이 ±15 % 변한다(가정). 앞 절의 장난감 결과로 단계를 밟는다.

1. 보상. 조밀 보상으로 오차를 PID의 약 7분의 1로 줄였지만 명령이 걸음마다 1.6 m/s² 튄다. 명령 변화 벌점과 출력 변화율 제한을 넣는다(7.7.3.2).
2. 공칭 시험만으로는 모른다. 공칭에서 성공률 1.00인 정책이 추력 효율 1.2에서 0.64, 0.85에서 0.36로 떨어진다.
3. 무작위화와 이력. 무작위화만 하면 한쪽으로 기운다. 관측에 오차 적분을 넣은 정책이 0.85~1.2에서 0.73 이상, 0.9~1.2에서 0.85 이상을 유지한다.
4. 씨앗을 여럿 돌린다. 같은 설정의 씨앗별 범위가 넓으므로 정책을 고를 때 공칭 성적이 아니라 시험 조건 전체의 최저 성적으로 고른다.
5. 고전 제어와 병용한다. 적분이 있는 PID는 같은 범위에서 0.99 이상로 가장 고르다. 학습 정책은 PID 위에서 성능을 더하는 역할로 두는 것이 보증에 유리하다.
6. 런타임 보증. 지면과의 최소 고도를 제약으로 두고, 감시기가 경계를 보면 PID 기반 회복 기능으로 넘긴다(7.8.5의 예산). 학습 중에도 같은 경계를 켠다(7.7.8).
7. 증거. 시험 조건별 성공률 분포(씨앗별), 채터링 지표, 감시기 전환 기록, 시뮬레이터와 실제의 차이 측정을 묶는다(8.7).

결론: 학습 정책의 성패는 공칭 성능이 아니라 현실 격차를 얼마나 해소했는가와 안전 장치와 어떻게 병용했는가에서 결정된다. 이 과제에서는 적분 하나로 풀리는 문제를 학습 정책이 배우려면 관측을 바꾸고 상태 칸을 일곱 배(308칸에서 2,156칸)로 늘려야 했다. 문제에 따라 고전 제어가 더 싼 해답이다.

7.7.11 설계 트레이드오프 — 어디까지 학습에 맡길 것인가

① 고전 제어 + 학습은 조언·튜닝. 학습이 이득 튜닝이나 경로 제안만 하고 비행 제어는 고전 구조가 한다. 보증이 가장 쉽고 성능 이득은 작다. 민간 UAS와 AAM의 현재 위치에 가깝다.

② 고전 안쪽 루프 + 학습 바깥 정책 + 런타임 보증. 학습 정책이 각속도·가속 명령을 내고 안쪽 루프와 RTA가 담당한다. 레이싱 연구의 구조와 같고 성능 이득이 크다. 대가는 경계 설계와 현실 격차 입증의 부담이다.

③ 종단간 학습. 영상에서 모터 명령까지 하나의 신경망이 한다. 성능 잠재력이 가장 크지만 보증 방법이 없다(7.4). 연구에 머문다.

견해: 인증을 겨냥하는 무인기에서는 당분간 ②가 상한이라고 본다. 근거는 셋이다. 첫째, 학습 정책에는 위상 여유 같은 안정성 증거가 없으므로 안쪽 루프는 고전 제어가 맡아야 증거가 남는다(7.7.7). 둘째, 장난감 과제에서도 현실 격차와 씨앗 편차가 컸다. 그 위험은 학습 결과에 기대지 않는 RTA가 막아야 한다(7.8). 셋째, 레이싱의 성공은 좁은 ODD 안의 것이었다. 반대 입장도 있다. 학습 정책이 이미 사람보다 나은 영역(급기동·고장 대응)이 있으므로 ②의 RTA 경계를 너무 보수적으로 잡으면 안전 이득까지 버린다는 주장이다. 이 판단은 인증 사례가 쌓이면 바뀔 수 있다.

7.7.12 세 축 비교

7.7.13 관련 규격·프로토콜

학습 정책 자체의 성능 요건을 정한 항공 표준은 확인하지 못했다. 시뮬레이터의 표준은 9.21이 다룬다.

7.7.14 관련 규제·인증 요구와의 연결

7.7.15 함정과 한계

이 장의 한계도 밝혀 둔다.

• 장난감 과제는 1차원 표 기반 Q-학습이다. 심층 강화학습의 수치(학습량·성능)와 직접 비교할 수 없고, 원리의 방향만 보인다.
• 씨앗 수가 적다. 현실 격차 그림은 씨앗 4개, 보상 설계 표는 3개의 평균이다. 씨앗 편차 자체가 이 장의 결론 가운데 하나다.
• 레이싱 수치는 논문 보고치와 발표치다. 2025년 대회의 경기 조건은 확인하지 못했다.

7.7.16 체크포인트·연구 질문

체크포인트

1. 강화학습의 상태·행동·보상·정책을 고도 유지 과제로 설명하고, Q-학습의 갱신식이 무엇을 고치는지 말하라.
2. 조밀 보상 정책이 오차는 작은데 실제 기체에 부적합할 수 있는 이유를 이 장의 숫자로 설명하라.
3. 행동 복제가 넓은 출발에서 실패하는 이유와 DAgger가 이를 고치는 절차를 말하라.
4. 무작위화만 한 정책과 관측에 오차 적분을 넣은 정책의 차이를 고전 제어의 적분기와 비교해 설명하라.
5. Swift가 현실 격차를 줄인 방법과 논문이 밝힌 한계를 각각 둘씩 말하라.
6. 학습 정책을 RTA로 감쌀 때 학습 중에도 같은 경계를 켜야 하는 이유를 7.8의 시뮬레이션 결과로 설명하라.

연구 질문 — 이 장에서 파생되는 열린 주제(25.7에 모은다)

1. 학습 정책의 안정 여유 — 학습 정책을 포함한 폐루프의 위상·이득 여유에 해당하는 강건성 지표를 정의하고 입증하는 방법은?
2. 현실 격차의 정량 입증 — 시뮬레이터와 실제의 차이를 어떤 지표로 재야 시뮬레이터 시험을 인증 증거로 사용할 수 있는가(8.19·9.21)?
3. 씨앗 편차를 포함한 보증 — 같은 설정의 학습 결과 분포에서 배치할 정책을 고르는 통계적 기준은?
4. 경계를 아는 학습 — RTA 경계를 학습 중에 켠 정책과 끈 정책의 성능·개입 빈도를 실기체에서 비교하면 무엇이 달라지는가(7.8)?

1차 출처(이 장)

• Sutton, R. S.; Barto, A. G., Reinforcement Learning: An Introduction, 2nd ed., MIT Press, 2018.
• Watkins, C. J. C. H., Learning from Delayed Rewards, PhD thesis, University of Cambridge, 1989.
• Schulman, J. et al., "Proximal Policy Optimization Algorithms," arXiv:1707.06347, 2017.
• Hwangbo, J. et al., "Control of a Quadrotor With Reinforcement Learning," IEEE Robotics and Automation Letters 2(4), 2017.
• Ross, S.; Bagnell, J. A., "Efficient Reductions for Imitation Learning," AISTATS 2010.
• Ross, S.; Gordon, G. J.; Bagnell, J. A., "A Reduction of Imitation Learning and Structured Prediction to No-Regret Online Learning," AISTATS 2011.
• Tobin, J. et al., "Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World," IROS 2017.
• Kaufmann, E.; Bauersfeld, L.; Loquercio, A.; Müller, M.; Koltun, V.; Scaramuzza, D., "Champion-level drone racing using deep reinforcement learning," Nature 620, 982–987, 2023.
• Song, Y.; Romero, A.; Müller, M.; Koltun, V.; Scaramuzza, D., "Reaching the limit in autonomous racing: Optimal control versus reinforcement learning," Science Robotics 8(82), 2023.
• Loquercio, A. et al., "Learning high-speed flight in the wild," Science Robotics 6(59), 2021.
• Altman, E., Constrained Markov Decision Processes, Chapman & Hall/CRC, 1999.
• Achiam, J. et al., "Constrained Policy Optimization," ICML 2017.
• Alshiekh, M. et al., "Safe Reinforcement Learning via Shielding," AAAI 2018.
• Henderson, P. et al., "Deep Reinforcement Learning that Matters," AAAI 2018.

출처를 찾고 판을 추적하는 방법은 0.9에서 다룬다.

다음 장: 7.8(런타임 보증(RTA)과 정형 검증)은 이 장이 여러 번 기댄 안전 장치를 다룬다. 학습 정책 같은 복잡 기능을 검증된 단순 기능과 감시기로 감싸는 구조, 전환이 늦지 않게 경계를 정하는 시간 예산, 그리고 정형 검증이 증명할 수 있는 것과 없는 것을 본다.