구글에서 선호하는 출처로 추가
2배 빠른 AI 과제 역량 개선 추정…앤스로픽 평가 핵심 근거 비공개
서도윤 기자
METR는 앤스로픽 모델의 과제 역량 향상 속도가 과거보다 약 두 배 빨라졌을 가능성을 제시했다. 다만 원인 판단에 유용했던 근거 상당수는 공개되지 않았다.
토포AI로 이 기사 더 깊이 읽기
비영리 AI 평가기관 METR는 앤스로픽 모델의 과제 역량 향상 속도가 2026년 10월 기준 과거보다 약 두 배 빨라졌을 가능성을 제시했다. 평가 대상은 성공 여부를 분명한 기준으로 판정할 수 있는 과제다.
METR는 5일 독립 평가 보고서를 공개했다. 평가 작업은 8월 12일 시작됐다. 앤스로픽 내부 자료를 살핀 평가는 10월 29일까지 이어졌다.
비교 기준은 2024년 3월부터 잡았다. 측정 구간은 2025년 10월까지 이어졌다.
METR는 실제 가속 폭이 과거 속도의 1.3배에 그치거나 3배에 가까울 수도 있다고 봤다. 성공 기준이 명확하지 않은 더 넓은 작업에도 같은 가속 폭을 적용할 수 있을지는 불확실하다고 밝혔다.
◇ AECI 성장률과 전체 평가는 구분해야
별도 지표인 AECI에서는 앤스로픽 모델의 벤치마크 점수 성장률이 2025년 10월 이후 이전보다 1.9배 높아진 것으로 추정됐다. 95% 신뢰구간은 1.5~2.8배다.
AECI는 앤스로픽이 Epoch Capabilities Index를 바탕으로 만든 역량 지표다. METR는 과거 약 2년 치 벤치마크 진전이 1년 사이 이뤄진 수준이라고 설명했다. 계산에는 공개되지 않은 최신 모델의 평가 결과도 포함됐지만, METR는 해당 모델에 대한 질의 권한을 요청하지 않았다고 밝혔다.
약 두 배라는 수치는 제한된 과제군에서의 역량 향상 속도에 대한 종합 판단이고, 1.9배는 AECI 벤치마크 점수의 성장률이다. 앤스로픽의 가속 기준 공시와 METR의 벤치마크 분석을 앞서 다룬 본지 보도에서도 1.9배 수치를 소개했다.
◇ 원인 판단은 비공개 근거에 의존했다
METR는 2026년 10월 기준 가속의 과반, 어쩌면 약 80%가 AI를 활용한 연구개발에서 비롯됐을 것으로 추정했다. 다만 이를 확정할 결정적 증거는 찾지 못했다고 밝혔다.
METR는 2025년 말의 가속에는 AI 외 요인도 상당히 작용했을 가능성을 인정했다. 연구개발 속도 향상은 AI의 완전 자율 작업보다 연구자를 돕는 방식에 주로 기댔다고 설명했다.
METR는 결론을 내리는 데 특히 유용했던 증거의 대부분이 앤스로픽의 비공개 처리로 보고서에서 빠졌다고 밝혔다. 앤스로픽은 비공개 정보에 대한 삭제 권한을 보유했다.
공개되지 않은 항목에는 중간 역량 지표, 알고리즘 진전 추정치, 연구개발 투입 자료, 병목 분석과 전망이 포함됐다. METR는 이 때문에 독자가 원인 판단의 근거를 직접 검토하기 어렵다고 설명했다.
앤스로픽은 8월 위험 보고서에서 자동화 연구개발 관련 위험을 ‘낮음’으로 평가했다. 평가 기준 시점은 7월 15일이었다.
METR는 해당 시점의 재앙적 위험이 낮았다는 평가에는 동의하면서도, 조기 경보 기준을 이미 넘었을 가능성이 있다고 봤다. METR와 앤스로픽 연구진 다수는 기준을 넘지 않았다는 쪽에 기울었다. METR는 별도 검토문에서 이 차이를 다뤘다.
조기 경보 기준은 AI 연구개발 가속의 위험 신호를 살피기 위한 것으로, 재앙적 피해가 발생했다는 판정은 아니다. METR의 평가는 제한된 과제에서 관측된 개선 속도와 가속 위험을 다뤘으며 초지능 도달 시점은 제시하지 않았다.
Comment 0
불러오는 중…