GPT-6.2 아스트라, 엠버-0서 41.2%…이전 모델보다 두 배 넘었다
오픈AI의 GPT-6.2 아스트라가 XDOF의 실물 로봇 평가 엠버-0에서 41.2% 성공률을 기록했다. 이전 모델보다 성공률이 두 배 이상 높았고 평균 예측 지연시간은 15.0초에서 10.1초로 줄었다.
오픈AI(OpenAI)의 GPT-6.2 아스트라(GPT-6.2 Astra)가 실물 로봇 조작 평가 엠버-0(Ember-0)에서 41.2% 성공률을 기록했다. 이전 모델 GPT-6 아스트라(GPT-6 Astra)의 19.6%보다 두 배 이상 높은 수치다.
XDOF는 20일 공개한 엠버-0 결과에서 GPT-6.2 아스트라의 성적을 발표했다. 크립토브리핑(Crypto Briefing)은 XDOF 발표를 전하며 이전 모델과의 비교 수치와 별도 로봇팔 평가 결과를 함께 소개했다.
엠버-0는 XDOF가 운영하는 실물 로봇 벤치마크다. 두 개의 로봇팔로 티셔츠 펼치기, 매듭 묶기, 가려진 물체 찾기 등 16개 과제를 수행하게 한 뒤 과제별 성공률을 같은 비중으로 평균 내 모델의 조작 능력을 비교한다.
모델은 자연어 지시를 행동 계획으로 바꾼 뒤 두 팔의 움직임을 순서대로 실행한다. 각 시도는 물체를 잡고 옮기거나 도구를 사용하는 실제 조작으로 이어진다.
◇ 변형 물체 과제와 속도 개선
이번 결과에서 가장 눈에 띄는 대목은 티셔츠와 로프처럼 형태가 바뀌는 물체를 다룬 성과다. 크립토브리핑은 GPT-6.2 아스트라가 이런 변형 물체 과제에서 성공을 보인 첫 모델로 소개됐다고 전했다.
블록이나 컵은 움직여도 형태가 유지되지만 천과 로프는 당기는 방향과 접촉 위치에 따라 전체 모양이 달라진다. 로봇은 한 번 세운 계획을 그대로 실행하기보다 장면을 다시 읽고 동작을 조정해야 한다.
평균 예측 지연시간은 GPT-6 아스트라의 15.0초에서 GPT-6.2 아스트라의 10.1초로 줄었다. 모델이 다음 동작을 결정하는 간격이 짧아졌지만 10.1초는 실시간 반응을 요구하는 제어에는 여전히 긴 편으로 제시됐다.
GPT-6.2 아스트라는 앞서 실제 로봇팔 제어 평가에서 평균 79점을 기록했고 8개 과제 중 6개를 완료했으며, 로봇팔 명령은 668회였다.
AA-Robotics v0.1은 로봇팔에 보낸 명령 횟수와 과제 완료 여부를 함께 보여준 평가이고, 엠버-0는 변형 물체와 양팔 협응을 포함한 16개 과제의 평균 성공률을 본다. 과제와 집계 방식이 달라 두 점수를 단순 합산하거나 순위를 직접 비교할 수는 없다.
◇ 점수와 적용성 읽기
엠버-0의 41.2%는 16개 과제 전체를 한 번씩 성공했다는 뜻이 아니다. 과제별 성공률을 동일한 비중으로 평균한 값이어서 일부 과제에서 높은 성적을 내고 다른 과제에서 낮은 성적을 내도 같은 방식으로 집계된다.
XDOF는 과제별 30회 반복을 기본으로 삼고 95% 신뢰구간도 함께 제시한다. 반복 횟수와 구간을 함께 봐야 단일 실행의 결과인지 여러 시도에서 비슷하게 나타난 성적인지 구분할 수 있다.
벤치마크는 모델의 계획 수립과 시각적 판단만 평가하지 않는다. 접촉 과정의 정밀도, 도구 조작, 양팔 협응, 변형 물체 대응까지 측정해 언어모델이 지시를 실제 행동으로 바꾸는 과정을 본다.
XDOF는 초기 평가에서 언어모델이 지시를 계획으로 바꾸는 능력은 보였지만 정밀한 접촉과 변형 물체 조작에는 어려움을 겪었다고 설명했다. 이번 결과의 변형 물체 과제 성공은 초기 평가에서 어려움으로 설명된 영역에서 나온 변화다.
엠버-0 결과표는 성공률 외에도 실행 시간, 비용, 예측 지연시간을 함께 병기한다. 이런 표준화된 평가는 대형 언어모델을 로봇 제어기로 활용하려는 흐름에서 모델의 주장을 실제 행동 데이터와 대조하는 역할을 한다.
오픈AI GPT-6.x 계열은 언어와 이미지로 학습한 모델이 지시를 물리적 행동으로 바꾸는지 확인하는 로봇 제어 실험에 포함돼 왔다. 엠버-0와 AA-Robotics v0.1처럼 표준화된 과제는 모델 버전이 바뀔 때 성능 차이를 같은 틀에서 비교하게 한다.
GPT-6.2 아스트라는 이번 평가에서 이전 모델보다 높은 성공률과 짧은 지연을 보였고, 변형 물체 과제에서도 성공 사례를 냈다. 평균 성공률 41.2%와 10.1초 지연시간은 실행 시간·비용과 함께 로봇 적용성을 판단할 때 확인해야 할 수치로 남았다.

서도윤 기자 




Comment 0
불러오는 중…