GPT-6 아스트라 로봇팔 평가 69.4점…사람보다 약 100배 느려

GPT-6 Astra가 실제 로봇팔을 이용한 8개 과제 평가에서 평균 69.4점으로 5개 언어모델 가운데 가장 높은 점수를 받았다. 모델 대부분은 과제 하나에 약 30분을 썼고, 사람이 같은 과제를 수행하는 데 걸린 평균 20초와 비교하면 약 100배 느린 수준이다.

Artificial Analysis는 2026년 10월 14일 연구 프리뷰 ‘AA-Robotics v0.1’을 공개했다. AA-Robotics v0.1은 코딩 에이전트 환경의 언어모델에 로봇팔을 제어하게 해 물리 환경의 이해·계획·행동 능력을 평가했다.

모델은 코딩 에이전트에서 코드를 작성한 뒤 HTTP API로 로봇팔에 동작 명령을 보냈다. 탁자 주변 카메라 3대와 로봇팔 손목에 달린 카메라 1대가 주변 장면을 제공했다. 모델은 과제별 사전 훈련 없이 작업을 시도했다.

평가에는 버튼 누르기, 장난감 옮기기, 물 따르기, 블록 정리, 글씨 쓰기, 상자 측정 등이 포함된 8개 과제가 쓰였다. 모델은 카메라로 물체 위치와 주변 환경을 확인한 뒤 움직임을 정했다. 과제는 로봇팔 한 대를 이용한 탁상 작업으로 구성됐다.

점수는 과제 성공률이 아니다. 완수하면 100점을 주고 일부만 해내면 진척에 따라 부분 점수를 매긴 뒤, 8개 과제 점수의 평균을 냈다. 따라서 GPT-6 Astra의 69.4점을 과제의 69.4%를 성공했다는 의미로 해석할 수 없다.

평균 점수는 GPT-6 Astra가 69.4점으로 가장 높았다. GPT-6.1 Sol은 64.6점, Gemini 4 Argon은 55.3점, Claude Opus 5.5는 48.8점, Claude Fable 5.1은 46.3점이었다.

과제별 결과는 달랐다. 버튼 누르기와 장난감 배치에서는 5개 모델 모두 만점을 받았지만, 상자 측정에서 만점을 받은 모델은 없었다. 종합 점수만으로 각 작업 유형의 성능을 설명하기 어려운 결과다.

◇ 점수와 속도는 다른 지표

모델 5개 가운데 4개는 과제 하나를 수행하는 데 약 30분이 걸렸다. 평가 결과에서 속도는 점수와 별도로 살펴야 할 차이를 보였다.

Gemini 4 Argon은 과제당 평균 52분을 썼다. 사람이 같은 과제를 수행하는 데 걸린 시간은 평균 20초로 제시됐다. 평가기관이 설명한 모델과 사람의 속도 차이는 약 100배다.

실행 기록에서는 모델이 처음에 로봇팔과 주변 장면을 파악하고, 동작 사이사이에도 다음 움직임을 계획하는 데 시간을 들였다. 로봇팔을 실제로 움직이는 단계 외에도 환경을 해석하고 행동을 정하는 과정이 전체 수행 시간에 포함됐다.

물체 잡기 결과는 종합 점수와 별도로 집계됐다. 물체 잡기 과제 6개에서 시도별 성공 비율은 GPT-6 Astra가 45%, GPT-6.1 Sol이 28%였다. 이 수치는 물체 잡기 시도에 관한 것으로, 8개 과제의 점수 평균이나 전체 과제 성공률과는 다르다.

모델마다 실행에 사용한 코딩 도구도 달랐다. GPT 계열은 Codex, Claude 계열은 Claude Code, Gemini 4 Argon은 Antigravity에서 작동했다. 따라서 점수 차이를 언어모델 자체의 능력만으로 해석하기 어렵다.

레딧의 r/singularity 공개 토론에서는 간단한 물리 과제를 실제로 수행한 점을 인상적으로 보는 의견과, 속도가 느리고 연구 단계인 만큼 ‘체화된 AI 시대’라는 표현은 이르다는 지적이 함께 나왔다. 더 복잡한 실제 환경에서도 평가해야 한다는 의견도 제기됐다. 이는 공개 커뮤니티 일부의 반응으로 업계 전체의 견해를 대표하지는 않는다.

이번 결과는 언어모델이 카메라로 물리 환경을 살피고 코드로 로봇팔을 제어해 제한된 탁상 과제를 수행할 수 있음을 보여준다. 평가 대상은 로봇팔 한 종류와 8개 과제에 한정돼 있어, 이 점수만으로 생산 현장 성능을 판단할 수는 없다.