카파시, 소설 한 문단으로 3D 게임 세계 만들었다…"오류 많아도 의미 있다"

오픈AI 공동창업자 출신인 안드레이 카파시(Andrej Karpathy)가 소설 문장 하나로 3차원 게임 세계를 만들어내는 AI 실험 결과를 공개했다.

카파시는 2일 X(옛 트위터)에 이 실험 과정을 공유했다. 그는 앤트로픽 모델로 알려진 'Opus 5'에 《반지의 제왕(The Lord of the Rings)》 첫 문단을 입력하고, 100만 토큰 예산으로 자바스크립트 라이브러리 Three.js를 이용해 이 문장을 실행 가능한 3D 세계로 바꾸도록 지시했다고 밝혔다. 비용은 10달러(약 1만4000원) 수준이었다고 그는 덧붙였다. 이번 실험은 카파시 개인이 X에 공유한 테스트로, 앤트로픽의 공식 발표는 아니다.

약 2시간 뒤 5500행이 넘는 코드가 만들어졌다. 절차적으로 생성된 인터랙티브 3D 장면이 완성됐지만, 결과물은 거칠고 부자연스러운 오류가 다수 발견됐다고 카파시는 전했다. 완성도보다는 텍스트 한 단락에서 세계를 스스로 구성해내는 능력 자체에 의미를 뒀다는 설명이다.

카파시는 이 작업이 단순한 이미지 생성과는 다르다고 설명했다. 모델은 △장면과 등장인물 관계를 이해하고 △3차원 공간에서 사물 좌표를 배치하고 △폴리곤 애셋을 놓고 △애니메이션과 상호작용을 제어하는 코드까지 작성해야 했다. 게임 개발 과정에 가까운 작업이었다는 게 그의 설명이다.

그는 X 게시물에서 "모델은 단순히 코드를 쓰는 것이 아니라 어느 정도는 '세계 편성(world orchestration)'을 하고 있다"고 말했다. AI에게 자전거 탄 펠리컨을 그리게 하는 식의 단순 과제로 언어모델 능력을 시험하던 단계를 이제는 벗어나고 있다는 뜻이라고 그는 짚었다. 텍스트를 읽고 그림 한 장을 그리는 수준을 넘어, 공간과 서사를 함께 다루는 단계로 넘어가고 있다는 취지다.

카파시는 이용자가 원하는 세계를 AI가 즉석에서 만들어내는 '주문형 게임' 형태가 가능해질 수 있다는 개념도 거론했다. 다만 그는 한계도 함께 짚었다. 모델은 자신이 만든 세계를 직접 플레이하며 검증하지 못했고, 서로 다른 시점의 화면을 느린 속도로 캡처해 확인하는 데 그쳤다. 멀티모달 이해력과 게임 내 상호작용, 자기검증 능력이 아직 부족하다는 게 그의 진단이다.

이번 공유는 논문이나 제품 출시가 아니라 카파시 개인의 실험 기록에 가깝다. 100만 토큰, 비용 10달러(약 1만4000원)라는 규모 자체가 그가 던진 메시지이기도 하다. 소수 개발자만 시도할 수 있던 실험을 개인이 커피 한 잔 값으로 반복할 수 있게 됐다는 점을 부각한 것으로 풀이된다.