AEGLOSLAB 로봇공학 전서(全書)

제0부 개관·역사·연구 준비

0.16 로봇공학 연구 방법론: 논문·표준·특허·법령·데이터셋·코드 — 1차 출처 탐색·검토·추적·재현

0.16.1 이 장에서 배우는 것 / 선수 지식 / 특히 중요한 독자

이 장은 로봇공학의 주장을 1차 출처에서 확인하는 절차를 여섯 종류의 출처(논문·표준·특허·법령·데이터셋·코드)별로 정리한다. 앞의 역사·구조·규제 장(0.4~0.15)에서 반복한 방법을 일반화한 것이다. 이 장이 사용하는 API 응답과 문서는 2026-11-03에 직접 호출·내려받았고, 앞 장에서 사용한 방법은 해당 장을 가리킨다. 다룰 질문은 네 가지다. 어느 출처가 1차인가, 어떻게 원문에 이르는가, 읽은 범위를 어떻게 표시하는가, 머리글 수치를 어떻게 재계산하는가.

배우는 것:

  • 연구 절차 여덟 단계 — 주장 확정에서 재현까지, 접근 실패와 출처 불일치의 되돌림.
  • 출처별 판독 — 판본·서지 데이터베이스의 불일치(논문), 카탈로그 읽기(표준), 인용 목록 해석(특허), 시점 고정(법령), 리비전과 의존성 고정(데이터셋·코드).
  • 풀이 예제 — 논문의 머리글 수치(OpenVLA가 RT-2-X보다 절대 성공률 16.5% 높다)를 과제별 표에서 재계산하고 불확실성을 시행 단위와 과제 단위로 평가한다.
  • 판독 층위와 표기 — 원문 확인·재수록본·요약 경유·서지만 확인·2차의 구분과 이 책의 표기.

선수 지식: 0.4(Devol 특허와 인용 목록), 0.6(스캔 문서 판독), 0.15(법령 재수록본), 평균·표준오차·신뢰구간 수준의 통계(1.19).

특히 중요한 독자: 연구자·엔지니어(논문·코드·데이터셋의 재현), 법무·인증 독자(법령·표준의 시점 고정), 정책·사업 독자(주장 수치의 해석, 0.17로 이어진다).

기준 시점과 출처 방침. 이 장의 서술은 2026년 11월 기준이며 조회일은 2026-11-03이다. 이 장이 직접 읽거나 호출한 자료는 다음과 같다. ① Kim 외, 『OpenVLA』(arXiv:2406.09246v3, 2024-09-05)의 초록·서론·제5.1절·부록 B(표 4·6) PDF 전문. ② Crossref·OpenAlex·arXiv의 서지 API 응답(논문 6편). ③ Google Patents의 US 2,988,237 페이지(전문 HTML과 인용 표). ④ IEC 웹스토어의 표준 카탈로그 페이지 3건. ⑤ eCFR 버전 API(21 CFR 820)와 Federal Register API(문서 2024-01709). ⑥ Hugging Face 데이터셋 API(lerobot/pusht)와 GitHub API(openvla/openvla), 그 저장소의 pyproject.toml. 앞 장에서 읽은 자료(Shakey 보고서, OTA 1984 보고서, 한국 법령 재수록본, ISO 8373 FDIS 미리보기)는 방법의 사례로만 인용한다. 표준의 발행본 본문, ISO·KS 카탈로그, 인용 DB 중 Semantic Scholar·Google Scholar, EUR-Lex 본문은 읽지 못했다.

서지 API의 인용 수·내려받기 수·갱신일은 조회일마다 바뀐다. 이 장의 값은 조회일의 스냅숏이며 인용할 때 조회일을 함께 적어야 한다. 출처의 성격은 원문(논문 PDF·특허 공보·API가 돌려준 원자료), 카탈로그(표준 메타데이터), 저장소 메타데이터로 구분한다.

0.16.2 연구 절차와 출처의 종류

0.16.2.1 여덟 단계

① 주장 확정 ② 유형 판정 ③ 탐색 ④ 취득 ⑤ 판독 ⑥ 대조 ⑦ 기록 ⑧ 재현 접근 실패: 대체 경로 불일치
1차 출처 연구의 여덟 단계(이 책의 정리 도식). 색을 입힌 단계(취득·판독·재현)가 원문 또는 원자료와 직접 접촉한다. 접근 실패는 취득에서 탐색으로, 출처 사이 불일치는 대조에서 탐색으로 되돌린다.

각 단계의 산출물은 다음과 같다.

단계하는 일산출물
① 주장 확정검증할 문장을 수치·날짜·조문 단위로 분해한다주장 목록(주체·대상·값·시점)
② 유형 판정주장을 뒷받침하는 1차 출처가 어느 종류인지 정한다출처 종류(0.16.2.2)
③ 탐색서지 DB·카탈로그·검색으로 후보 문서를 찾는다식별자(DOI·arXiv 번호·특허 번호·표준 번호·조문 번호)
④ 취득식별자로 원문 또는 원자료를 내려받는다원본 파일, 취득 경로, 조회일
⑤ 판독인용할 문장·표·조문의 위치를 읽는다위치(쪽·표·절), 읽은 범위
⑥ 대조둘 이상의 출처로 값을 맞춘다일치·불일치 목록
⑦ 기록판독 층위와 시점을 본문 표기로 남긴다0.16.2.3의 표기
⑧ 재현표·코드·데이터에서 값을 다시 계산한다재계산 표, 고정한 입력(리비전·판본)

식별자는 ③에서 확정하고 ④에서 검증한다. 내려받은 문서의 첫 쪽 제목·저자·번호를 식별자와 대조하는 절차가 검증이며, 추측한 식별자는 다른 문서를 돌려줄 수 있다. 이 장의 시험에서 IEC 웹스토어의 출판 번호 62131을 추측해 열었더니 IEC 60942:2017(음향 교정기)이었고, 0.6의 작업에서 IJCAI-97 논문 번호를 추측해 받은 PDF는 다른 논문이었다. 검색 결과가 알려 준 URL만 받고, 받은 뒤 제목을 확인한다.

0.16.2.2 출처의 여섯 종류

종류1차에 해당하는 것유통본·2차이 장이 접근을 확인한 취득 경로대표 위험
논문게재판, 프리프린트의 최종판초록 서비스·요약·블로그arxiv.org/pdf/<번호>, Crossref·OpenAlex·arXiv API판본 혼동, 머리글 수치와 표의 불일치
표준발행본(유료), 최종안(FDIS) 미리보기카탈로그 요약·해설서·기업 자료IEC 웹스토어 카탈로그, 미리보기 PDF(0.3)판·개정 상태 오인, 본문을 읽지 않은 인용
특허공보의 명세서·청구항검색 요약·백과Google Patents 페이지OCR 오류, 인용 목록 오독
법령관보의 공포본, 시점별 통합본재수록본·해설eCFR·Federal Register API(미국), 재수록본(한국, 0.15), 기관 안내 페이지(EU)기준 시점 불일치, 하위 규정 누락
데이터셋배포 저장소의 특정 리비전과 카드논문의 서술·카탈로그Hugging Face API리비전 변동, 카드 라이선스 오기
코드특정 커밋과 잠금 파일README·블로그GitHub API·원본 파일의존성 범위 지정, 가중치·데이터가 저장소 밖

0.16.2.3 판독 층위와 이 책의 표기

층위뜻본문 표기
원문 확인인용한 문장·표·조문을 원본에서 직접 읽었다장 서두에 읽은 자료와 범위를 나열한다
재수록본제3자가 전재한 문서에서 읽었다(예: 한국 법령)"재수록본"을 밝히고 원문 대조를 (확인 필요)로 둔다
요약 경유검색·요약 도구의 답을 거쳤다"요약 경유". 수치와 부재("없다") 서술은 원문 재확인 전에 인용하지 않는다
서지만 확인제목·날짜·번호를 DB·카탈로그에서만 확인했다"서지만 확인하고 본문은 읽지 않은 것"
2차백과·보도·해설"2차"
주장치·추정·확인 필요·견해제조사·연구팀의 수치, 2차 추정, 미검증, 저자 판단(공개 주장치)·(추정)·(확인 필요)·"견해"

한 장 안에서 같은 문헌의 층위가 쪽마다 다를 수 있다. 예를 들어 0.8은 OpenVLA 논문의 초록과 서론 위주로 읽고 비교 주장을 "저자의 평가"로 적었으며, 이 장의 풀이 예제(0.16.8)가 같은 논문의 표를 읽는다.

0.16.3 논문

0.16.3.1 판본과 날짜

프리프린트는 판을 거듭하고 게재판과 내용이 다를 수 있다. arXiv API가 돌려주는 최초 공개일(published)과 최신 판의 갱신일(updated)은 다음과 같다(조회 2026-11-03).

논문arXiv 최초 공개최신 판(갱신일)게재 정보
RT-1(2212.06817)2022-12-13v2(2023-08-11)OpenAlex가 RSS 2023(DOI 10.15607/RSS.2023.XIX.025, 발행일 2023-07-10)을 같은 레코드로 묶는다
Diffusion Policy(2303.04137)2023-03-07v5(2024-03-14)arXiv 주석 "An extended journal version of the original RSS2023 paper". OpenAlex에 RSS 2023과 IJRR(2024-10-11) 레코드가 따로 있다
Open X-Embodiment(2310.08864)2023-10-13v9(2025-05-14)arXiv DOI로 조회한 OpenAlex 레코드는 프리프린트이고 위치 목록에 대학 저장소 PDF(파일명에 ICRA2024)가 있다. 별도의 게재판 레코드가 있는지는 확인하지 않았다 (확인 필요)
OpenVLA(2406.09246)2024-06-13v3(2024-09-05)arXiv 레코드에 게재 정보가 없고 arXiv DOI로 조회한 OpenAlex 레코드는 프리프린트 하나(인용 62)이다. 게재 여부는 이 장이 확인하지 못했다 (확인 필요)

RT-1은 arXiv로는 2022년, RSS로는 2023년이다. 논문 연도는 어느 날짜인지 밝혀 적어야 하며, 역사 장(0.8)은 arXiv 최초 공개월을 적었다. arXiv 레코드에 게재 정보가 없다는 사실은 미게재의 증거가 아니다. 판본이 갈리는 값(표의 수치, 평가 방법)은 인용한 판을 v3처럼 적는다. 이 장이 읽은 OpenVLA는 v3이다.

0.16.3.2 서지 데이터베이스는 서로 다른 값을 준다

같은 논문의 인용 수와 참고문헌 수는 데이터베이스마다 다르다(조회 2026-11-03).

논문Crossref 인용 수Crossref 참고문헌 수OpenAlex 인용 수OpenAlex 참고문헌 수
Hart·Nilsson·Raphael, 『A Formal Basis for the Heuristic Determination of Minimum Cost Paths』(1968)10,057812,7437
Khatib, 『A unified approach for motion and force control of robot manipulators』(1987)2,476372,94525

차이는 집계 범위의 차이로 추정된다 (추정). 각 DB의 집계 방식 문서는 이 장이 읽지 않았다. 한 작업이 여러 레코드로 나뉘는 경우도 있다. OpenAlex에서 Diffusion Policy는 RSS 2023(인용 535), IJRR 2024(인용 613), arXiv 프리프린트(인용 12)의 세 레코드이다. 세 값을 합산하면 같은 논문을 인용한 문헌이 이중으로 계수될 수 있다. 인용 수를 제시하려면 데이터베이스, 레코드, 조회일을 적고, 값을 비교하는 용도에는 한 DB의 한 레코드 안의 값만 사용한다.

서지 API 호출 형식은 다음과 같다. 무료 사용은 한도가 있다(0.16.9).

curl -sL -A "Mozilla/5.0" "https://api.crossref.org/works/<DOI>"
curl -sL "https://api.openalex.org/works/doi:<DOI>"
curl -sL "http://export.arxiv.org/api/query?id_list=<arXiv 번호>"

0.16.3.3 읽는 순서와 판독

  1. 식별자와 첫 쪽을 확인한다. 내려받은 PDF의 제목·저자·번호가 목표와 같은지 본다.
  2. 머리글 수치의 위치를 찾는다. 초록·서론의 수치가 본문 어느 표·절에서 나오는지 찾고, 표를 읽는다(0.16.8).
  3. 평가 프로토콜을 읽는다. 시행 수, 초기 조건, 부분 점수, 비교 방법의 조건, 통계량의 정의를 본다. OpenVLA는 17개 과제 각 10회(WidowX)와 12개 과제 각 5회(Google robot)를 평가했고, 같은 과제·같은 초기 상태에서 A/B로 비교했다고 적는다.
  4. 텍스트가 없는 PDF는 영상으로 읽는다. pdftotext가 0줄이면 pdftoppm -r 90 -f N -l M -png로 쪽 영상을 만들어 읽는다(0.6의 Shakey 보고서). OCR이 숫자를 흐리면 표 캡션과 합계로 교차 확인한다.
  5. 읽은 범위를 적는다. 전문을 읽었는지, 초록과 서론만 읽었는지, 표만 읽었는지를 장 서두에 적는다.
  6. 인용 추적은 양방향이다. 후방(이 논문이 인용한 문헌)은 참고문헌 목록으로, 전방(이 논문을 인용한 문헌)은 서지 DB의 인용 검색으로 찾는다. 이 장은 전방 인용의 목록이 아니라 인용 수만 조회했다. 인용은 동의가 아니므로 인용 수로 주장을 입증하지 않는다.

0.16.4 표준

표준의 발행본 본문은 유료이고 이 장은 읽지 못했다. 본문 없이 말할 수 있는 것은 번호·판·발행일·개정 상태이며, 이 정보는 카탈로그에서 읽는다. IEC 웹스토어 페이지가 노출하는 항목은 다음과 같다(조회 2026-11-03).

표준판발행일쪽수안정성 날짜웹스토어의 개발 단계 표기
IEC 61508-1:20102.02010-04-301272027Under development: Preparation of RVC
IEC 60204-1:2016+AMD1:2021 CSV(통합본)6.12021-09-155632027Under development: Draft circulated as CD
IEC 60204-1:2016/AMD1:2021(개정 1)6.02021-09-15202027Under development: Approved for CDV

이 표에서 읽을 수 있는 사항은 두 가지다. 현행 판의 발행일과 안정성 날짜(Stability date, 정의는 이 장이 읽지 못했다)가 쪽마다 적혀 있다. 개정 작업이 진행 중이라는 표시가 있으나 같은 규격 계열의 두 쪽이 서로 다른 단계(CD·CDV)를 적고 있어, 이 표시가 어느 개정 프로젝트를 가리키는지 쪽에서 확인되지 않는다 (확인 필요). 개정 단계의 약어(CD·CDV·RVC)의 정의는 이 장이 읽지 못했다.

  • ISO와 한국산업표준. ISO 카탈로그는 봇 확인 화면으로 막혔고(HTTP 403), e나라표준인증도 같은 화면과 연결 실패(curl 코드 000)로 막혔다. KS 번호와 개정은 2차 해설로만 확인되므로 (확인 필요)로 둔다.
  • 미리보기. 정의·범위는 최종안(FDIS)이나 공개 미리보기 PDF에서 읽을 수 있다. ISO 8373:2021의 정의는 FDIS 미리보기 12쪽으로 읽었다(0.3). 미리보기는 발행본과 편집상 차이가 있을 수 있고 뒤 절이 없다.
  • 조화 표준의 연결. 유럽 표준의 부속서 ZA는 지침·규정의 필수 요건과의 관계를 정한다(0.9.5, 0.15.3). 규제 문서에서 표준을 인용할 때는 번호와 판을 함께 적는다(BK 규격 인용 방침).
  • 카탈로그 요약을 본문 인용으로 바꾸지 않는다. 표준을 "읽었다"고 적으려면 인용한 조항을 본문 또는 미리보기에서 읽어야 한다.

ISO 10218-1·-2는 27.10, IEC 61508은 26.5에서 다룬다.

0.16.5 특허

Google Patents의 US 2,988,237A(Devol, 「Programmed article transfer」, 1954-12-10 출원, 1961-06-13 등록, 0.4.8)의 인용 표를 구조화된 HTML에서 추출하면 다음과 같다(조회 2026-11-03).

항목값
후방 인용(이 특허가 인용한 특허)18건. 18건 모두 심사관 인용 표시(*), 제3자 인용(†) 0건
후방 인용의 발행일 범위1941-09-02 ~ 1958-12-30
전방 인용(이 특허를 인용한 특허)99건(1964~2025). 86건이 심사관 인용
전방 인용의 10년 단위 분포1960년대 28 · 1970년대 36 · 1980년대 13 · 1990년대 5 · 2000년대 6 · 2010년대 7 · 2020년대 4

판독 규칙은 다음과 같다.

  • 인용 목록은 심사관 인용이 대부분이다. 후방 18건 전부가 심사관 인용이므로 발명자가 무엇을 참조했는지를 보이지 않는다. 계승 관계의 증거로 사용하지 않는다(0.4.8).
  • "인용 없음"은 원문의 목록으로 반증한다. 검색 요약이 이 특허에 선행 인용이 없다고 답했으나 인용 표에는 18건이 있다. 부재 서술은 목록을 직접 내려받아 확인한다.
  • 번호의 종별 코드를 적는다. US2988237A의 A는 공보 종별이다. 등록 공보와 출원 공개는 종별 코드가 다르므로 인용에는 번호와 종별, 열람일을 함께 적는다.
  • OCR 전문은 오류를 포함한다. 오래된 특허의 명세서는 스캔 OCR이어서 수치·기호가 틀릴 수 있다. 청구항과 도면 설명은 숫자를 도면과 대조한다.
  • 우선일·출원일·발행일을 구분한다. 인용 표의 날짜 열은 발행일이며 선행 기술의 판단 기준인 우선일과 다르다.

특허 동향과 지식재산 전략은 42.16, 지식재산법은 40.21, 산업 조사에서의 특허 이용은 0.17에서 다룬다.

0.16.6 법령

법령은 개정되므로 기준 시점이 인용의 일부이다. 시점을 고정하는 경로는 나라마다 다르다.

대상이 장이 접근을 확인한 경로시점 고정 방법한계
미국 연방규정eCFR 버전 API(ecfr.gov/api/versioner/v1/versions/title-21.json?part=820), 본문은 발행일을 지정한 full/<날짜>/title-21.xml발행일 지정날짜가 최신 발행일보다 뒤면 오류. --compressed 필요
미국 관보Federal Register API(federalregister.gov/api/v1/documents/<문서번호>.json)문서번호·관보 인용·공표일·시행일규정 본문은 별도
한국 법령제3자 재수록본(0.15). 국가법령정보센터 원문은 본문 없는 화면이다시행일·법률 번호원문 대조 필요 (확인 필요)
EU 법령EUR-Lex는 응답이 비어(HTTP 202) 본문을 읽지 못했다. 집행위원회 안내 페이지로 일정을 확인(0.9.7, 0.15.6)안내 페이지의 갱신일조문 본문 미열람

21 CFR Part 820의 품질 체계 규정 개정은 두 시스템에서 다른 날짜로 나타난다. Federal Register API가 돌려준 문서 2024-01709(『Medical Devices; Quality System Regulation Amendments』)는 관보 인용 89 FR 7496, 공표일 2024-02-02, 시행일 2026-02-02이다. eCFR 버전 API는 Part 820의 절 단위 버전 73건을 돌려준다. 버전 날짜는 2016-12-30(33건)·2020-04-02(1건)·2024-10-15(1건)·2026-02-02(1건)·2026-02-04(37건)이며, 2026-02-04 버전 가운데 27건이 삭제 표시(removed)이다. 개정의 시행일(2026-02-02)과 통합본의 버전 날짜(2026-02-04)가 이틀 다르므로 "2026-02 시행"처럼 월 단위로 적거나 두 날짜의 출처를 함께 적는다. 이 규정의 품질 체계는 0.14.4가 다룬다.

법령 인용 형식은 법령명·조문·기준 시점·판독 층위(원문 또는 재수록본)이다. 하위 규정(시행령·시행규칙·고시)은 상위 근거와 함께 읽는다. 규제 설계의 이론은 38.1, 로봇 규제 개관은 0.15가 다룬다.

0.16.7 데이터셋과 코드

0.16.7.1 재현의 단위

재현하려면 인용이 가리키는 불변의 대상을 고정해야 한다.

출처고정할 것이 장이 조회한 값
논문판본(arXiv vN), DOIOpenVLA v3
데이터셋리비전 해시, 카드의 갱신일, 형식 버전lerobot/pusht: 리비전 7628202a…, 갱신 2025-09-27, codebase_version v3.0
코드커밋 해시, 잠금 파일, 환경openvla/openvla: main의 c8f03f48…(2025-03-23)
환경하드웨어·OS·드라이버·난수 시드이 장은 실행하지 않았다

0.16.7.2 데이터셋 카드 읽기

Hugging Face API가 돌려준 lerobot/pusht의 메타데이터는 다음과 같다. 리비전 해시 7628202a2180972f291ba1bc6723834921e72c19, 갱신 2025-09-27, 카드의 라이선스 태그 MIT, 태그에 arxiv:2303.04137(Diffusion Policy)이 있다. meta/info.json은 codebase_version v3.0, 에피소드 206개, 프레임 25,650개, 초당 10프레임을 적는다. 내려받기 수(26,523)는 조회일마다 변하므로 재현의 근거가 아니다. 카드의 라이선스는 업로더의 선언이며 원 데이터셋의 라이선스와의 관계는 이 장이 확인하지 않았다 (확인 필요). 데이터 권리는 40.20, 형식은 27.9, 대표 데이터셋은 18.11·18.12이 다룬다.

0.16.7.3 저장소 읽기

openvla/openvla 저장소의 GitHub API 응답은 다음과 같다. 생성 2024-06-13, 마지막 푸시 2025-03-23, 라이선스 MIT, 기본 브랜치 main, 열린 이슈 118건, 태그와 릴리스가 없다(releases/latest가 404). 릴리스가 없으므로 인용은 태그가 아니라 커밋 해시로 한다. 저장소의 pyproject.toml의 의존성 22개를 지정 방식으로 나누면 다음과 같다.

지정 방식개수예
정확한 버전(==)12torch==2.2.0, transformers==4.40.1, tensorflow==2.15.0
하한만(>=)1accelerate>=0.25.0
버전 지정 없음8einops, matplotlib, wandb
저장소 주소(커밋 미지정)1dlimp @ git+https://github.com/moojink/dlimp_openvla

flash_attn==2.5.5는 주석으로 문서화만 되어 있고 설치 지시는 README에 있다. 정확한 버전이 12개여도 나머지 10개는 설치 시점에 따라 달라질 수 있으므로 재현에는 잠금 파일(설치된 버전 목록)과 하드웨어를 함께 기록해야 한다. 이 장은 저장소를 실행하지 않았으므로 재현 가능 여부는 판단하지 않는다. 학습 정책의 평가·재현성은 17.25, 오픈 VLA 실무는 19.46가 다룬다.

0.16.8 풀이 예제 — 머리글 수치의 재계산

OpenVLA 논문은 초록과 서론에서 OpenVLA가 55B 매개변수의 RT-2-X보다 두 로봇(WidowX·Google robot)의 29개 평가 과제에서 절대 성공률이 16.5% 높다고 서술한다. 이 수치를 부록의 과제별 표(표 4·6)에서 재계산하고, 같은 표로 불확실성을 두 가지 단위로 평가한다. 결론부터 적으면 다음과 같다. ① 보고된 평균 4개와 16.5는 표에서 정확히 재현된다. ② 16.5는 두 로봇의 230시행을 합산한 값이고, 같은 표에서 합산 방식에 따라 13.3~16.5가 나온다. ③ 두 가지 단위의 95% 구간은 모두 8%p 안팎에서 25~26%p에 이르며, Google robot 12개 과제만으로는 0을 포함한다.

항목값
출처Kim 외, arXiv:2406.09246v3, 부록 B.1.3 표 4(BridgeData V2 WidowX 17과제×10시행)·B.2.2 표 6(Google robot 12과제×5시행)
입력표의 "# Successes" 열. 일부 과제에서 부분 성공 0.5점을 허용한다(부록 B.1.1)
비교논문은 같은 과제·같은 초기 로봇·물체 상태에서 A/B로 평가했다고 서술한다
계산시행 가중 차이 $\Delta = 100\,(S_{\text{OpenVLA}} - S_{\text{RT-2-X}})/N$($S$는 성공 수의 합, $N$은 시행 수의 합), 부트스트랩 10,000회(시드 0, 구역별 복원추출), 부호 검정

입력은 다음 29개 과제이다.

구역과제시행RT-2-XOpenVLA차이(%p)
BridgePut Eggplant into Pot (Easy Version)10710+30
BridgePut Eggplant into Pot10510+50
BridgePut Cup from Counter into Sink1007+70
BridgePut Eggplant into Pot (w/ Clutter)1067.5+15
BridgePut Yellow Corn on Pink Plate1089+10
BridgeLift Eggplant106.57.5+10
BridgePut Carrot on Plate (w/ Height Change)104.54.5+0
BridgePut Carrot on Plate1018+70
BridgeFlip Pot Upright1058+30
BridgeLift AAA Battery1027+50
BridgeMove Skull into Drying Rack1055+0
BridgeLift White Tape1001+10
BridgeTake Purple Grapes out of Pot1054-10
BridgeStack Blue Cup on Pink Cup105.54.5-10
BridgePut {Eggplant, Red Bottle} into Pot108.57.5-10
BridgeLift {Cheese, Red Chili Pepper}108.510+15
BridgePut {Blue Cup, Pink Cup} on Plate108.59.5+10
GooglePick Coke Can555+0
GoogleMove Apple near Green Can535+40
GoogleMove Blue Chip Bag near Apple545+20
GooglePlace Coke Can Upright544+0
GoogleOpen Middle Drawer523+20
GoogleMove Orange near Brown Chip Bag555+0
GooglePick Pepsi Can554-20
GooglePick Banana555+0
GooglePick Green Cup555+0
GooglePlace Apple on Plate544+0
GooglePlace Banana in Pan524+40
GoogleMove Coke Can near Taylor Swift532-20

계산 핵심은 다음과 같다(전체 스크립트는 fig-src/0.16-claim.py).

import math, random

def pooled(T):
    """시행 가중 평균 차이(%p): OpenVLA − RT-2-X"""
    n = sum(t[1] for t in T)
    return 100 * sum(t[3] - t[2] for t in T) / n

def se_bin(x, n):
    """성공 수 x/n의 표준오차(%), (n-1) 분모"""
    p = x / n
    return 100 * math.sqrt(p * (1 - p) / (n - 1))

def boot(T, b=10000, seed=0):
    """과제 단위 부트스트랩 95% 구간"""
    g, grp = random.Random(seed), {}      # 구역별로 복원추출
    for t in T:
        grp.setdefault(t[0], []).append(t)
    d = sorted(pooled([g.choice(v) for v in grp.values()
                       for _ in v]) for _ in range(b))
    return d[int(.025 * b)], d[int(.975 * b)]

def sign_p(w, l):
    """부호 검정 양측 정확 p(동률 제외)"""
    n, k = w + l, max(w, l)
    s = sum(math.comb(n, i) for i in range(k, n + 1))
    return min(1, 2 * s / 2 ** n)

재계산 결과.

항목논문 보고재계산
BridgeData V2 WidowX(170시행) RT-2-X 평균 성공률50.6%50.6% (86/170)
BridgeData V2 WidowX(170시행) OpenVLA 평균 성공률70.6%70.6% (120/170)
Google robot(60시행) RT-2-X 평균 성공률78.3%78.3% (47/60)
Google robot(60시행) OpenVLA 평균 성공률85.0%85.0% (51/60)
머리글 수치(29과제, 230시행)16.5%16.5%p (171 − 133) / 230
과제 단순 평균 차이(29과제)—14.5%p
두 구역 차이의 평균—13.3%p (20.0, 6.7)

16.5%p는 두 구역의 성공 수 차이 38(=171−133)을 시행 수 230으로 나눈 값이다. 과제를 하나씩 세어 평균하면 14.5%p, 두 구역의 차이(20.0, 6.7)를 평균하면 13.3%p이다. 논문의 이 수치의 계산식이 서술되어 있는지는 이 장이 읽은 범위(초록·서론·부록 B)에서 찾지 못했다. 표에서 재현되는 방식은 시행 가중 합산이다.

표준오차. 논문의 표는 평균 옆에 표준오차를 병기한다. 정수 성공 수만 있는 Google robot은 $\sqrt{p(1-p)/(N-1)}$과 4개 모두 일치한다.

구역·방법보고 표준오차$\sqrt{p(1-p)/(N-1)}$보고값 대비
Bridge RT-1-X2.7%3.0%보고값이 10% 작음
Bridge Octo2.6%3.1%보고값이 16% 작음
Bridge RT-2-X3.5%3.8%보고값이 9% 작음
Bridge OpenVLA3.2%3.5%보고값이 9% 작음
Google RT-1-X6.1%6.1%일치
Google Octo5.8%5.8%일치
Google RT-2-X5.4%5.4%일치
Google OpenVLA4.6%4.6%일치

Bridge의 보고값이 같은 식보다 9~16% 작은 방향은 부분 성공(0.5점)이 있는 점수의 분산이 $p(1-p)$ 이하라는 사실과 일치한다 (추정). 시행별 점수가 공개되어 있지 않아 이 장은 보고값을 정확히 재현하지 못했다 (확인 필요).

불확실성. 같은 16.5%p를 두 단위로 평가하면 다음과 같다.

단위차이(%p)95% 구간(%p)비고
시행(230개를 독립으로 가정)16.58.0 ~ 25.1정규 근사, 두 방법의 시행이 독립이라는 가정
과제(29과제 구역별 부트스트랩)16.57.6 ~ 26.110,000회, 시드 0
과제(Bridge 17과제)20.08.2 ~ 32.410,000회, 시드 0
과제(Google 12과제)6.7−3.3 ~ 18.310,000회, 시드 0

과제별 승·동률·패(OpenVLA 기준): 16·8·5, 부호 검정 양측 $p$ = 0.027

아래 도해는 위 구간을 나란히 놓은 것이다.

0 10 20 30 40 성공률 차이 (OpenVLA − RT-2-X, %p) 시행 단위(230시행, 독립 가정) 과제 단위(29과제) Bridge 17과제 Google 12과제
같은 합산 차이(OpenVLA − RT-2-X, 16.5%p)의 95% 구간을 평가 단위별로 나타낸 것(논문 표 4·6에서 계산, 점은 추정치). 시행 단위는 230시행을 독립으로 가정한 정규 근사이고, 과제 단위는 구역별 부트스트랩 10,000회(시드 0)이다.

과제 하나하나의 차이는 다음과 같다. 파선이 가중 평균(16.5)이다.

−20 0 20 40 60 성공률 차이 (OpenVLA − RT-2-X, %p) 과제(차이 순) 가중 평균 16.5 BridgeData V2 WidowX (17과제) Google robot (12과제)
과제별 성공률 차이(OpenVLA − RT-2-X)를 크기 순으로 나열한 것(논문 표 4·6, 29개 과제). 점의 세로 위치는 순위이며 파선은 시행 가중 평균 16.5%p이다.

해석은 세 가지다. 첫째, 합산 차이의 하한은 시행 단위와 과제 단위 모두 8%p 안팎이어서 0과 구별되고, 부호 검정의 $p$도 0.027이다. 둘째, 구간의 폭이 17~19%p이므로 16.5라는 점추정치를 소수점까지 인용하는 것은 정밀도를 과장한다. 셋째, 차이는 일부 과제에 모여 있다. 차이가 가장 큰 과제는 70%p인 두 과제(Put Cup from Counter into Sink, Put Carrot on Plate)이며, Google robot 12과제의 구간은 0을 포함한다. 논문 본문도 Google robot에서 두 VLA가 이 평가 집합에서 비슷하게 수행했다고 서술한다.

한계. 이 계산은 표에 한정된다. 시행을 독립으로 보는 구간은 같은 초기 상태를 두 방법이 공유하는 쌍체 설계를 이용하지 않는다. 과제 단위 부트스트랩은 과제를 교환 가능한 표본으로 가정하나 과제는 연구자가 선정했고 모집단에서 추출한 것이 아니다. 두 계산 모두 평가 환경의 재구성, 분포 이동의 정의, 부분 점수 기준의 타당성을 다루지 않는다. 따라서 이 계산은 저자 주장의 입증도 반증도 아니며, 주장의 수치가 표에서 어떻게 나오고 얼마나 불확실한지를 보이는 것이다.

견해: 이 책은 논문의 머리글 수치를 인용할 때 ① 표에서 재현되는지, ② 합산 방식(시행·과제·구역), ③ 불확실성의 크기를 함께 적는 것을 기본으로 삼는다. 근거는 위 예제에서 같은 표가 합산 방식에 따라 13.3~16.5를 내고 구간 폭이 17~19%p라는 점이다. 이는 OpenVLA 논문이 틀렸다는 뜻이 아니다. 재현은 주장을 검증하는 최소 단계이며 평가 설계의 타당성 검토(17.25, 21.14)는 별도이다.

0.16.9 접근 실패와 우회

접근이 막히면 같은 문서를 다른 경로로 받거나, 못 받으면 판독 층위를 낮춰 표시한다. 이 장과 앞 장들에서 관찰한 사례는 다음과 같다.

대상관찰대체 경로
ISO 카탈로그HTTP 403, 봇 확인 화면(2026-11-03)FDIS 미리보기(0.3), CEN 표지(0.9), 표준 번호는 2차 확인
e나라표준인증봇 확인 화면, curl 연결 실패(2026-11-03)없음. (확인 필요)
Semantic Scholar APIHTTP 429(키 없음, 2026-11-03)Crossref·OpenAlex
arXiv API연달아 호출하면 "Rate exceeded"(14바이트 응답). 4~8초 간격에서도 일부가 실패해 간격을 두고 재시도했다(2026-11-03)번호별로 간격을 두고 호출
OpenAlex키 없이 호출되며 응답에 일일 한도 공유 안내가 있다(2026-11-03)대량 조회는 키 또는 스냅숏
Zenodo APIHTTP 403(2026-11-03)DOI 해석 페이지
Software Heritage봇 확인 화면(2026-11-03)GitHub API의 커밋 해시
EUR-LexHTTP 202, 빈 응답(0.9·0.15)집행위원회 안내 페이지
국가법령정보센터본문 없는 화면(0.15)제3자 재수록본(원문 대조 필요)
OSHA 사이트curl 403(0.9)요약 경유를 표시
제조사·학회 문서고(Kawasaki·FANUC·Yaskawa·JSME·ABB)와 J-STAGE 공개 논문요약 도구가 403을 낸 곳도 curl -A "Mozilla/5.0"로 받아졌다(0.5)직접 내려받기
봇 확인 화면(automate.org·princeton.edu·core.ac.uk·ResearchGate)과 CAPTCHA받아지지 않았다(0.5)저자·기관의 다른 호스팅을 찾는다
스캔 PDFpdftotext 0줄(0.6)pdftoppm으로 쪽 영상, 눈으로 판독
정부 보고서(OTA 1984)보관소 경로의 번호를 알 수 없었다(0.5)UNT 웹 보관소의 Ota_N 경로에서 N=1~5를 시험해 Ota_4에서 전문을 받았다

요약 도구(WebFetch)는 모델이 요약한 문서이므로 "요약 경유"로 표시하고, PDF 본문과 긴 목록은 curl -sL -A "Mozilla/5.0"로 새 폴더에 내려받아 직접 읽는다. 내려받은 파일은 신뢰할 수 없는 입력으로 다루어, 별도 디렉터리에 두고 인터프리터를 그 안에서 실행하지 않는다. 회사 블로그의 발행일은 본문에 없으면 HTML의 datePublished로 확인한다(0.7의 Boston Dynamics 사례). 기업 연혁은 자사 서술이며 "최초"의 한정어가 서로 달라 동시에 성립할 수 있다(0.5).

0.16.10 쟁점 — 어디까지 확인해야 인용할 수 있는가

자료에서 확인되는 확인 수준은 세 가지다.

  • ① 원문 전부 읽기. 인용하는 문서를 전부 읽고 모든 수치를 재계산한다. 오류를 가장 잘 걸러내나 유료 표준·비공개 보고서에는 적용할 수 없고 시간이 든다.
  • ② 인용 부분 읽기와 읽은 범위 표시. 인용한 수치·표·조문을 원문에서 읽고, 장 서두에 읽은 범위를 적으며, 읽지 못한 것은 층위를 표시한다. 대부분의 장이 따르는 방식이다.
  • ③ 2차 출처 허용과 표기. 접근이 불가능하면 2차 출처를 인용하되 (확인 필요)·(공개 주장치)로 표시한다. 속도는 빠르나 요약이 틀려도 걸러지지 않는다.

견해: 이 책은 ②를 기본으로 삼고, 부재·최초·유일 서술과 머리글 수치는 ①에 가깝게 확인한다고 본다. 근거는 이 장의 시험에서 요약이 부재 서술을 틀리게 전한 사례(Devol 특허 인용 18건), 추측한 식별자가 다른 문서를 돌려준 사례(IEC 60942, IJCAI-97 논문), 머리글 수치의 합산 방식에 따라 값이 13.3~16.5로 갈린 사례가 있다는 점이다. 재현 수준도 ① 표 재계산, ② 코드 재실행, ③ 독립 재구현으로 갈리며 이 장은 ①만 수행했다.

0.16.11 사료의 한계와 유의점

검토한 서술확인한 결과근거
논문의 연도는 하나다arXiv 최초 공개와 게재 날짜가 다르다(RT-1 2022-12-13 대 RSS 2023). 인용 시 어느 날짜인지 적는다arXiv API, OpenAlex
인용 수는 하나의 값이다Crossref 10,057 대 OpenAlex 12,743(A*), 2,476 대 2,945(Khatib)서지 API
논문 하나는 레코드 하나다Diffusion Policy는 OpenAlex에서 세 레코드다OpenAlex
특허 인용 목록은 발명자의 참조다후방 18건 전부 심사관 인용이다Google Patents
특허에 선행 인용이 없다(검색 요약)원문 인용 표에 18건이 있다Google Patents
표준 카탈로그의 판이 현행이다개정 작업 표시가 있고 같은 계열의 쪽이 서로 다른 단계를 적는다IEC 웹스토어
OpenVLA가 RT-2-X보다 16.5% 높다표에서 재현된다(시행 가중 합산). 합산 방식에 따라 13.3~16.5, 95% 구간은 폭 17~19%p이다논문 표 4·6
논문의 표준오차는 이항 표준오차다Google robot은 일치, Bridge는 보고값이 9~16% 작다(원인 미확인)논문 표 4·6
저장소는 재현 가능하다의존성 22개 중 12개만 정확한 버전이다. 릴리스가 없다. 실행은 하지 않았다pyproject.toml
데이터셋 카드의 라이선스가 정확하다업로더의 선언이다. 원 라이선스와의 관계 미확인Hugging Face API

읽지 못한 자료는 다음과 같다. 표준의 발행본 본문, ISO·KS 카탈로그, Semantic Scholar·Google Scholar의 값, 각 서지 DB의 집계 방식 문서, OpenVLA 논문의 시행별 점수, EUR-Lex의 EU 규정 본문, 국가법령정보센터의 원문. 이 장의 API 값(인용 수·내려받기 수·갱신일)은 조회일의 스냅숏이다.

0.16.12 관련 규격·프로토콜과 후속 장

개념이 장에서의 위치후속 장
로봇 학습의 평가·재현성, 실험 보고 권고풀이 예제, 재현의 단위17.25
실세계 평가 통계(A/B·순차 검정·다중 비교)풀이 예제의 통계21.14
실험 설계·재현성·기술 성숙도전체47.3
대표 로봇 데이터셋데이터셋 카드18.11, 18.12
데이터 권리·라이선스데이터셋·코드40.20
로봇 모델·데이터 형식형식 버전27.9
오픈 VLA 실무저장소 읽기19.46
특허 동향·지식재산법특허42.16, 40.21
표준 본문(로봇 안전·기능안전)표준27.10, 26.5
규제 이론·로봇 규제 개관법령38.1, 0.15
시연 영상·주장 수치의 해석머리글 수치42.14
학회·저널·데이터셋·오픈소스 목록탐색A.14
공개 정보 기반 산업 조사다음 장0.17

0.16.13 체크포인트·연구 질문

체크포인트:

  1. 연구 절차 여덟 단계를 나열하고 접근 실패와 출처 불일치에서 어느 단계로 되돌아가는지 설명할 수 있는가.
  2. 논문의 연도를 적을 때 arXiv 최초 공개일과 게재 날짜를 구분하고 판본을 표시할 수 있는가.
  3. 서지 DB의 인용 수를 인용할 때 DB·레코드·조회일을 적어야 하는 이유를 설명할 수 있는가.
  4. 특허 인용 목록의 심사관 인용 표시를 읽고 발명자의 참조와 구분할 수 있는가.
  5. 법령 인용에 기준 시점이 포함되어야 하는 이유와, 21 CFR 820의 시행일과 통합본 날짜가 다른 사례를 설명할 수 있는가.
  6. 풀이 예제의 세 표에서 머리글 수치의 재현 여부, 합산 방식의 영향, 구간의 폭을 해석할 수 있는가.
  7. 읽은 범위가 다른 문서(전문·초록·표·재수록본·요약 경유)를 본문에서 어떻게 표시하는지 설명할 수 있는가.

연구 질문(47.12에 수록한다):

  • Crossref·OpenAlex 외 서지 DB(Semantic Scholar·Google Scholar)의 인용 수 차이는 집계 범위의 차이로 설명되는가.
  • OpenVLA 논문 Bridge 평가의 표준오차는 시행별 점수에서 어떤 식으로 계산되었는가.
  • 로봇 학습 논문의 실제 평가 시행 수와 보고 방식은 분야 전체에서 어떤 분포인가(17.25의 보고 권고와 대조).
  • IEC 웹스토어의 개발 단계 표기(CD·CDV·RVC)는 어느 개정 프로젝트를 가리키는가.
  • KS 표준의 개정 이력은 공개 경로로 어디까지 확인되는가.

1차 출처

  • Kim 외, 『OpenVLA: An Open-Source Vision-Language-Action Model』, arXiv:2406.09246v3(2024-09-05), 초록·서론·제5.1절·부록 B 표 4·6.
  • Crossref REST API(api.crossref.org/works/<DOI>), OpenAlex API(api.openalex.org/works), arXiv API(export.arxiv.org/api/query), 조회 2026-11-03.
  • Google Patents, US 2,988,237A 페이지(조회 2026-11-03).
  • IEC 웹스토어, IEC 61508-1:2010(출판 5515), IEC 60204-1:2016+AMD1:2021 CSV(71256), IEC 60204-1:2016/AMD1:2021(66124), 조회 2026-11-03.
  • eCFR 버전 API(21 CFR Part 820), Federal Register API(문서 2024-01709, 89 FR 7496), 조회 2026-11-03.
  • Hugging Face API(datasets/lerobot/pusht)와 meta/info.json, GitHub API(repos/openvla/openvla)와 pyproject.toml, 조회 2026-11-03.
  • 서지만 확인하고 본문은 읽지 못한 것: RT-1(arXiv:2212.06817), Diffusion Policy(arXiv:2303.04137), Open X-Embodiment(arXiv:2310.08864), Hart·Nilsson·Raphael(1968), Khatib(1987) (확인 필요).

다음 장. 0.17은 공개 정보 기반 로봇 산업 조사 방법을 다룬다. 이 장의 방법을 기업·시장 자료(공시·특허·채용 공고·인허가 데이터베이스·분해 보고서)에 적용하며, 각 자료의 정의·집계 범위·시점 의존을 판독하는 절차를 정리한다.