휴머노이드 단일 과제 91% 성공…연속 과제도 70%

김민준 기자 2026.11.07 18:38

애플 연구진은 가상 실내 1000곳에서 만든 300시간 분량의 학습 자료로 HALO를 시험했다.

토포AI로 이 기사 더 깊이 읽기

낮은 장애물 아래로 몸을 숙이는 휴머노이드 로봇 / TokenPost.ai

애플($AAPL) 연구진의 휴머노이드 자율 제어 시스템 HALO가 사전 지도화하지 않은 실제 실내 6곳에서 단일 과제 360회를 수행해 평균 성공률 91%를 기록했다. 세 가지 동작 조합을 잇는 연속 과제의 평균 성공률은 70%였다.

연구진은 4일 arXiv에 사전 공개한 논문에서 HALO의 구성과 시험 결과를 밝혔다. 실제 시험에는 카메라와 연산 장치를 추가한 유니트리(Unitree) G1을 사용했다. 시험 공간은 학습에 쓰이지 않았고, 사전에 스캔하거나 지도화하지 않았다.

연구의 출발점은 학습 데이터 부족이다. 말로 받은 지시와 카메라 영상을 전신 동작에 연결하려면 세 요소가 짝을 이룬 자료가 필요하지만, 사람에게 로봇을 직접 조종하게 하거나 동작을 촬영하는 방식은 시간과 노력이 든다. 연구진은 가상 실내 1000곳에서 영상·언어·움직임이 짝을 이룬 학습 자료 300시간 분량을 만들었다.

실제 공간과 가상 공간의 시각 차이를 줄이기 위해 조명 색온도와 노출·대비를 바꾸고 영상 흐림과 센서 잡음도 추가했다. 로봇 카메라와 비슷한 시야를 가상 환경에서 구현해 학습에 활용했다.

HALO는 자연어 요청을 세부 과제로 나누는 단계, 카메라 화면을 보고 5초 앞 전신 동작을 계획하는 단계, 깊이 영상과 관절 상태를 바탕으로 움직임을 제어하는 단계로 구성된다. 과제 선택은 약 2초마다 이뤄지고, 동작 생성기는 초당 약 3회 새 계획을 만들며, 제어기는 초당 50회 관절 명령을 갱신한다. 시스템은 로봇에 탑재된 연산 장치에서 실행됐다.

단일 과제는 △이름을 지정한 물체로 이동 △의자에 앉기 △반쯤 열린 문 통과 △낮은 장애물 아래로 몸을 숙여 지나가기 △기어가기 △상자 밀기였다. 각 과제를 실제 환경 6곳에서 10회씩 시도했으며, 과제별 성공률은 몸을 숙여 통과하기 100%, 상자 밀기 88%였다.

연속 과제는 실제 환경 한 곳에서 세 가지 동작 조합을 각각 10회씩 진행했다. 문 통과 뒤 물체로 이동하는 조합은 10회 모두 성공했고, 몸을 숙인 뒤 앉는 조합은 60%, 몸을 숙인 뒤 목표물로 이동해 상자를 미는 조합은 50% 성공했다. 마지막 조합의 실패 5회 가운데 3회에서는 로봇이 몸을 숙인 뒤 고개를 상자 반대쪽으로 돌려 상자를 시야에 두지 못했다.

학습 자료 생성에는 H100 GPU 250장을 약 48시간 사용했다. 동작 생성기 훈련에는 B200 GPU 64장, 동작 추적기 훈련에는 H100 GPU 4장이 쓰였다.

자료 생성 과정은 자동화했지만 새 동작을 추가할 때 지시문과 핵심 자세는 사람이 설계해야 한다. 동작 추적기 훈련에는 사람의 움직임 영상과 모션 캡처 자료도 활용됐다. 연구진은 물체가 카메라 시야에서 사라지거나 가려지면 접촉 상태를 파악하기 어렵다며 촉각 감각을 추가하는 방안을 개선 방향으로 제시했다.