잠정 집계 72.7%…알마, 클로드 코드 앞서며 성공 비용도 낮아

독립 개발자 예톤(Yetone)이 개발한 AI 에이전트 알마(Alma)가 진행 중인 비교 평가의 순위표 스냅샷에서 과제 통과율 72.7%를 기록해 클로드 코드(Claude Code)의 70.0%를 앞섰다.

이 수치는 11일 마스비트(Marsbit)가 전한 프런티어하니스(FrontierHarness) v1.1 순위표 기준이다. 같은 화면에서 코덱스 CLI(Codex CLI)는 77.9%, Pi는 72.8%를 기록했다.

성공 과제 한 건당 평균 비용은 알마가 0.80달러(약 1074원), 클로드 코드가 0.94달러(약 1261원)로 제시됐다. 두 수치의 차이는 0.14달러다. 비용은 에이전트가 과제를 수행하며 사용한 토큰을 기준으로 비교했다.

◇ 평가 설계와 수치 해석

평가를 운영하는 곳은 AI 에이전트 인프라 기업 룬타(Runta)다. v1.1은 에이전트 실행 설정 21개와 AI 모델 5개를 대상으로 한다.

같은 과제 62개를 각 조합에 주고 과제마다 네 차례 실행한다. 계획된 실행 횟수는 총 2만6040회로, 이전 버전보다 규모가 72배 커졌다.

모든 도구는 통일된 클라우드 환경에서 실행됐다. 평가는 과제 성공률과 토큰 비용, 실행 속도를 비교한다.

이번 방식은 같은 모델과 과제를 서로 다른 에이전트 실행 틀에 적용해 결과를 살핀다.

따라서 클로드 코드의 70.0%를 클로드 모델 자체의 성능 수치로 읽을 수는 없다. 점수는 평가에 쓰인 모델과 에이전트 실행 설정을 함께 적용한 결과다.

마스비트 보도에 따르면 참여 모델에는 GLM·DeepSeek·Kimi·Muse 등 공개 모델이 포함됐다. GPT와 클로드 계열 비공개 모델은 평가 대상에 들어가지 않았다.

평가는 아직 끝나지 않았다. 실행 결과가 추가되면 순위표가 바뀔 수 있어 현재 수치는 평가 범위의 잠정 집계다.

◇ 알마와 헤르드 연동

알마는 컴퓨터에서 실행하는 AI 에이전트다. 장기 기억을 갖추고 코드를 읽거나 수정하며 터미널 명령 실행과 웹 검색을 지원한다.

이용자는 기반 모델을 바꿀 수 있고 Skills와 MCP를 연결할 수 있다. 로컬 실행과 도구 연결은 알마의 제품 기능으로, 이번 평가의 통과율과는 구분된다.

알마는 최근 Herdr 연동 기능도 추가했다. Herdr에서 실행 중인 클로드 코드와 코덱스, Pi 등의 작업을 알마의 채팅 화면에서 확인하고 질문에 답하거나 작업을 승인할 수 있다.

아이폰으로 컴퓨터에서 실행 중인 여러 에이전트를 원격 관리하는 기능도 제공한다. Herdr 연동은 여러 에이전트를 한 화면에서 다루는 제품 기능이며, 평가 점수와는 별개다.