사람 영상 100만 시간 학습한 로봇…성능은 자체 실험

사람의 1인칭 영상 100만 시간 이상이 로봇 학습에 쓰이고 있다. 다이나 로보틱스는 사람 영상으로 Dyna-2를 사전학습했으며, 데이터 규모를 늘린 실험에서 14개 과제의 평균 정규화 성능이 20%에서 53%로 높아졌다고 밝혔다.

다이나 로보틱스가 2026년 8월 공개한 연구에는 요리·정리·접기·조립 같은 일상 작업 영상이 담겼다. 일부 영상에서는 손 자세를 추적해 손목 궤적과 쥐는 동작 정보를 추출했다. 연구진은 사전학습 데이터 규모를 1000시간부터 100만 시간까지 달리해 결과를 비교했다.

53%는 작업 성공률이 아니다. 회사가 정의한 과제별 ‘달성 가능한 최대 성능’에 대한 평균 정규화 성능이다. 모든 로봇과 작업 환경에서 같은 성능을 낸다는 뜻도 아니며, 결과는 회사 자체 실험이다.

사람 영상에는 손과 물체가 접촉하고 작업 장면이 바뀌는 과정이 담긴다. 다이나 로보틱스는 이런 정보가 물체 조작 학습에 도움이 된다고 연구에서 설명했다. 로봇을 직접 움직여 시연 데이터를 수집하는 방식에 더해, 일상 영상을 학습 자료로 활용하려는 접근이다.

그러나 사람의 손과 로봇의 관절은 구조와 움직임이 다르다. 영상에서 관찰한 행동을 로봇이 실행할 관절 명령과 힘 조절로 바꾸려면 별도의 변환과 검증이 필요하다. 손의 궤적을 추출하는 것만으로 실제 물체를 잡고 옮기는 동작이 재현되는 것은 아니다.

국제인공지능공동학회(IJCAI)에 실린 2026년 조사 논문은 비정형 영상을 학습용 작업 단위로 구성하고, 영상에서 얻은 정보를 로봇 동작으로 연결하는 일을 과제로 꼽았다. 실제 배치 성능을 예측할 평가 방법도 필요하다고 짚었다. 영상의 양과 작업 정보의 정확성은 별도로 살펴야 한다.

데이터 수집은 일반 영상과 전용 모션캡처 장비로 나뉜다. 인노데이터는 2026년 9월 30일 미국 뉴저지주 리지필드파크에 모션캡처 연구개발 실험실을 열었다고 발표했다. 회사는 비콘(Vicon) 적외선 광학 카메라로 움직임을 서브밀리미터 수준까지 추적하도록 시설을 설계했다고 밝혔다.

이 사양은 시설의 추적 정밀도에 관한 회사 발표다. 데이터 생산량이나 학습 모델의 성능을 보여주는 지표는 아니다. 정밀한 장비로 움직임을 기록하는 방식과 일상 영상을 활용하는 방식은 수집 환경과 기록 정보가 달라, 결과를 같은 기준으로 비교하기 어렵다.

스케일AI(Scale AI)는 물리 AI 데이터 사업에서 원격조작 시연과 로봇이 필요 없는 1인칭 영상 수집 플랫폼을 소개하고 있다. 이는 사업자가 밝힌 제품·운영 방식이다. 수집 조건과 주석 방식이 다른 데이터를 함께 사용할 때는 학습에 필요한 작업 정보가 일관되게 담겼는지도 따져야 한다.

사람 영상을 쓰려면 촬영 데이터의 처리 방식도 정해야 한다. 제조업의 인간·로봇 협업을 다룬 윤리 연구는 노동자 동의와 고지한 목적에 맞는 데이터 처리를 다뤘다. 작업장 영상은 보관 기간과 재사용 범위, 고용주의 감시나 평가에 활용되는지도 검토할 사안이다.

다이나 로보틱스의 실험 결과만으로 영상 기반 학습의 현장 성능을 일반화하기는 어렵다. 영상에서 실행 가능한 동작을 얼마나 정확히 추출하는지, 실제 로봇과 작업 환경에서 성능이 재현되는지 추가 평가가 필요하다. 사람 영상은 직접 수집한 로봇 시연을 보완하는 데이터 경로로 제시됐다.