7일 코딩에도 개선 없는 아스트라…맷 슈머 '거의 사용 불가'

GPT-6.2 아스트라가 출시 직후 장시간 코딩과 창의적 작업에서 일관성이 떨어진다는 평가를 받았다. 반면 3D 장면 제작 평가에서는 1318 Elo로 1위에 올라 작업 유형에 따른 평가 차이가 나타났다.

테오 브라운(Theo Browne) T3 Code 창업자는 17일 X에 공개한 사전 테스트 편지에서 “코딩 업무라면 클로드 오푸스 5.5(Claude Opus 5.5) 대신 아스트라를 선택하지 않겠다”고 말했다. 브라운은 아스트라를 오픈AI가 출시한 모델 가운데 최악 중 하나로 평가했다.

브라운은 장시간 작업에서 아스트라가 진행을 멈추거나 같은 과정을 반복했다고 지적했다. 게임 'Outer Wilds'의 새 구역을 설계하게 하자 약 두 시간 뒤 내부 파일과 영상 출력 경로를 어디로 지정할지 물었다고 설명했다.

코드 리팩터링에서는 TypeScript를 Rust로 바꾸는 프로젝트에 7일을 투입했지만 개선 결과를 내놓지 못했고 컴파일러 속도는 56% 느려졌다고 밝혔다. 속도 개선에 집중하라고 다시 지시한 뒤에도 4일 동안 변화가 없었다고 덧붙였다.

창의성에 대한 지적도 나왔다. 브라운과 다른 테스트자가 서로 다른 게임의 신규 구역을 요청했는데 두 결과물이 물과 종소리를 공통 소재로 삼았고 이름까지 'Bellwether'로 같았다고 주장했다.

맷 슈머(Matt Shumer) AI 투자자이자 전 HyperWrite CEO도 17일 GPT-6.2 아스트라와 GPT-6.2 솔(GPT-6.2 Sol)을 시험한 뒤 “두 모델은 거의 사용할 수 없었고, 사용을 추천하지 않는다”고 밝혔다. 그는 아스트라가 여러 핵심 평가에서 앤트로픽의 클로드 오푸스 5.5보다 뒤처졌고 클로드 페이블 5.2(Claude Fable 5.2)와 비교해도 격차가 있다고 평가했다.

슈머는 아스트라를 하위 에이전트로 투입했지만, 이를 감독하던 클로드 오푸스 5.5와 클로드 페이블 5.2가 결과물을 다시 작성해야 했다고 설명했다. 하위 에이전트는 큰 작업을 맡은 모델이 일부 업무를 분담하는 보조 모델을 뜻하며, 재작업이 필요하면 전체 작업 시간이 늘어날 수 있다.

오픈AI는 17일 아스트라를 복잡한 전문 업무와 추론·코딩용 모델로, 솔을 일상 업무와 다단계 작업용 모델로 공개했다. 두 모델은 GPT-6.2 계열로 함께 출시됐지만, 이용자 평가는 장시간 작업과 에이전트 운용에서 엇갈렸다.

오픈AI 자체 평가에서는 아스트라가 이전 GPT-6 아스트라보다 높은 점수를 받았고 작업당 비용도 낮았다. 이번 사례는 자체 평가 점수와 실제 장기 작업 경험이 다르게 나타날 수 있음을 보여준다.

아스트라는 아티피셜 애널리시스(Artificial Analysis)가 운영하는 AA-3D에서 1318 Elo로 1위를 기록했다. 2위 클로드 페이블 5.2보다 47점 앞섰고, 일부 테스트자는 Three.js와 Blender, 3D 시각화 작업에서 강점을 인정했다.

AA-3D는 텍스트 요구사항을 바탕으로 조작 가능한 3D 장면을 웹 애플리케이션으로 만들게 한 뒤 사람이 결과물을 비교하는 평가다. 평가자는 어느 모델이 만든 장면인지 모른 채 결과물을 고르기 때문에 장기 코딩과는 다른 능력을 측정한다.

브라운의 사례는 모델이 답변을 생성하는 능력과 여러 날 이어지는 작업을 끝까지 관리하는 능력이 다를 수 있다는 점을 보여준다. 이번 비판은 결과물뿐 아니라 작업 진행 상황과 중단 이유를 사용자가 이해할 수 있게 설명하는지도 중요하다는 점을 드러냈다.

본지는 앞서 아스트라의 3D 평가 1위와 장기 코딩에서의 오푸스 5.5 선호가 엇갈렸다고 보도했다. 이번에 공개된 슈머와 브라운의 사례는 같은 대비를 7일간의 리팩터링과 하위 에이전트 재작업 문제로 구체화했다.

모델을 도입하려는 개발자와 기업은 단일 벤치마크 점수보다 작업 지속성, 결과 설명, 재작업 필요 여부를 함께 확인할 필요가 있다. 아스트라에 대한 초기 평가는 특정 영역의 강점과 장기 업무의 불안정성이 함께 제시된 형태로 정리됐다.

본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.

Most Popular

지금 꼭 알아야 할 리포트