3D 1위 아스트라, 개발자는 장기 코딩에 오푸스 5.5 선호

| 이도현 기자

오픈AI(OpenAI)의 GPT-6.2 아스트라(GPT-6.2 Astra)가 3D 제작 평가에서 1위를 기록했지만, 사전 시험에 참여한 개발자는 장기 코딩 작업에서 클로드 오푸스 5.5(Claude Opus 5.5)를 더 선호한다고 밝혔다. 3D 결과물 평가와 여러 날 이어지는 개발 협업에서 서로 다른 평가가 나왔다.

테오 브라운(Theo Browne) T3 Chat·T3 Code CEO는 17일 공개한 글에서 “코딩 업무라면 오푸스 5.5 대신 아스트라를 선택하지 않겠다”고 말했다. 그는 오픈AI에 보낸 사전 시험 의견을 공개하면서 일부 지적은 반영됐지만 추천할 정도는 아니라고 썼다.

아티피셜 애널리시스(Artificial Analysis)가 운영하는 AA-3D에서 아스트라는 1318 Elo를 받아 1위에 올랐다. 클로드 페이블 5.2는 1271점으로 뒤를 이었다. 본지는 앞서 아스트라가 페이블 5.2를 47점 앞선 결과를 전했다.

AA-3D는 글로 된 요구사항을 받아 조작 가능한 3D 웹 장면을 만드는 평가로, 과제 55개로 구성된다. 평가자는 어느 모델이 결과물을 만들었는지 모른 채 두 장면을 비교한다. 평가 자료에 제시된 순위는 이 과제에서의 결과물 품질을 비교한다.

이 평가는 장기간 이어지는 코드 수정이나 이용자와의 대화 품질을 직접 측정하지 않는다. 따라서 3D 제작 1위와 개발자의 장기 작업 경험은 서로 다른 능력을 살펴본 결과다.

브라운은 아스트라가 다른 모델이 놓친 코드 문제를 찾는 검토 능력과 3D·게임 제작, 컴퓨터 조작에서 강점을 보였다고 평가했다. 오픈AI는 모델 발표 자료에서 아스트라가 자동차 3D 모델을 만들고, 타이어와 현가장치 움직임을 계산하는 파이썬 프로그램을 작성한 뒤 블렌더로 애니메이션을 제작한 사례를 소개했다.

◇ 장기 작업에서 제기된 문제

브라운은 게임 ‘아우터 와일즈’의 새 구역을 만들어 달라고 요청한 뒤 약 두 시간이 지나 아스트라가 작업을 멈췄다고 했다. 아스트라는 검수 절차의 결과물을 24_g521.mp4와 24_p11.mp4 중 어떤 파일명으로 저장했는지 물었다. 브라운은 자신이 알 수 없는 내부 정보를 요구하는 질문이었다고 지적했다.

그는 GPT-5.6 솔과 코덱스에서는 이런 일을 겪지 않았다고 말했다. 장기 작업 도중 모델이 멈춰 세부 사항을 묻는 방식이 아스트라를 추천하지 않는 이유 가운데 하나라는 설명이다.

결과를 설명하는 방식도 지적했다. 브라운은 한 컴퓨터에서만 프로젝트 빌드가 느린 이유를 물었을 때 아스트라가 패키지 관리 도구 pnpm의 내부 동작과 캐시를 길게 설명했다고 말했다. 반면 오푸스 5.5는 저장장치 속도를 원인으로 짚었다는 게 그의 설명이다.

브라운은 아스트라가 긴 작업을 마친 뒤 오푸스 5.5에 이해하기 쉬운 요약을 맡기는 습관이 생겼다고 했다. 이는 모델의 결과 자체와 이용자에게 작업 과정을 설명하는 능력을 별도로 평가한 사례다.

그는 타입스크립트로 작성한 프로젝트를 러스트로 다시 쓰는 작업에서도 아스트라를 시험했다고 밝혔다. 브라운의 설명에 따르면 앞선 모델 시험에는 토큰 비용으로 30만달러 이상(약 4억500만원)이 들었지만 진전이 없었고, 오푸스는 2만달러(약 2670만원)를 들여 2주가 되기 전에 작업을 마쳤다.

아스트라는 같은 프로젝트에서 7일 동안 작업했지만 개선을 내지 못했고, 컴파일러는 오히려 56% 느려졌다고 브라운은 주장했다. 성능 개선에 집중하라고 지시한 뒤 4일을 더 실행했지만 변경 사항은 없었다고 덧붙였다.

◇ 다른 시험자의 평가와 오픈AI 설명

개발자 겸 스타트업 CEO 플라비오 아다모(Flavio Adamo)는 게시물에서 “아스트라는 좋은 모델이지만 지금 주력으로 쓰지는 않겠다”고 말했다. 그는 3D 성능을 높이 평가하면서도 실제 개발 작업에서는 오푸스 5.5로 돌아갔다.

아다모는 기존 웹 화면에 새 요소를 추가할 때 아스트라가 기존 디자인을 따르지 않는 경우가 있었다고 설명했다. 원하는 디자인을 명시적으로 지시하지 않으면 자체 스타일로 작업한다는 이유에서다.

오픈AI는 아스트라의 기존 코드베이스 수정과 테스트 능력이 개선됐다고 발표 자료에서 설명했다. 또 아스트라와 솔의 두 평가에서 파일 누락이나 검색 도구 장애처럼 작업을 막는 문제가 있어도 모델이 이를 알리지 않는 경향을 확인했다고 밝혔다. 오픈AI는 문제 보고 누락을 줄이도록 코덱스에 지시를 추가했다고 설명했다.

브라운이 제기한 사례는 모델이 알 수 없는 세부 정보를 물으며 작업을 멈춘 경우로, 오픈AI가 설명한 장애 보고 누락과는 다른 문제다. 브라운은 자신이 과민하게 반응했을 수 있다고 인정하면서 자신이 틀렸기를 바란다고도 썼다.

본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.

Most Popular

지금 꼭 알아야 할 리포트