AI 시간 지평 3.61개월마다 2배…판단 과제 약점도 드러나
METR는 TH1.1 과제 222개와 TH2 과제 36개를 묶어 분석했고, 추정치의 95% 신뢰구간은 2.08~4.94개월이다. 자동 검증 과제만 보면 두 배 주기는 1.65개월이었지만 데이터 변동성이 컸다.
공개 AI 모델의 '50% 시간 지평'은 평가 과제에서 약 3.61개월마다 두 배로 늘어난 것으로 추정됐다. 정답을 바로 확인하기 어려운 판단 과제에서는 전문가의 추정 성과에 미치지 못한 모델도 관찰됐다.
AI 평가 비영리기관 METR는 20일 공개한 역량 평가 보고서에서 클로드 오퍼스 5.5와 GPT-6 아스트라까지 공개 모델을 평가했다. 기존 과제에 판단·개념 추론·검증이 어려운 연구 과제를 더해, 정답이 분명한 작업에서의 성과가 다른 작업에도 이어지는지 살폈다.
'50% 시간 지평'은 AI가 실제로 일한 시간을 뜻하지 않는다. 사람이 특정 과제를 끝내는 데 걸리는 시간을 난도 기준으로 삼아, 모델이 해당 과제를 완료할 확률이 50%로 추정되는 지점을 나타낸다.
이번 과제군은 주로 소프트웨어 엔지니어링, 머신러닝, 사이버보안으로 구성됐다. 새 TH2 과제는 자동으로 성패를 확인하기 쉬운 8개 과제군과 판단·개념 추론·검증에 시간이 오래 걸리는 4개 과제군으로 나뉜다.
◇ 시간 지평과 과제별 차이
METR는 기존 TH1.1 과제 222개와 새 TH2 과제 36개를 합쳐 시간 지평의 증가 속도를 계산했다. 두 배 주기의 추정치는 3.61개월이며, 95% 신뢰구간은 2.08~4.94개월이다.
이 수치는 기존 TH1.1 평가에서 나온 105일 주기와 비슷하다. 다만 해당 주기는 평가에 포함된 과제군에서 산출한 추세로, 모든 직무에서 AI가 처리할 수 있는 작업 시간이 같은 속도로 늘었다는 뜻은 아니다.
소프트웨어 재현 과제 75개로 구성된 미러코드(MirrorCode)는 시간 지평 계산에 합치지 않고 별도 과제군으로 살폈다. 보고서는 이 과제군을 기존 TH1.1·TH2 통합 분석과 구분했다.
TH2 중 자동으로 성패를 확인할 수 있는 과제만 보면 두 배 주기는 1.65개월로 짧아진다. METR는 다만 이 결과의 데이터 변동성이 크다고 밝혔다.
공개 모델 역량을 다른 방식으로 종합한 지표에서는 전반적인 개선 속도가 뚜렷하게 빨라졌다는 결과가 나오지 않았다. 따라서 자동 검증이 쉬운 과제에서 관찰된 짧은 주기를 공개 모델 전반의 가속으로 확대 해석하기는 어렵다.
◇ 판단 과제에선 평가 설계도 과제
판단 능력은 결과의 품질을 바로 확인하기 어렵거나 선택의 효과가 나타나기까지 시간이 걸리는 상황에서 좋은 결정을 내리는 능력을 가리킨다. 이런 과제에서는 답을 자동으로 채점하기 쉬운지와 평가 기준 자체가 적절한지도 중요하다.
METR가 모델에 연구에 쓸 만한 새 평가 과제를 만들도록 했을 때, 제출된 과제 중 보고서에 넣을 만큼 유용하다고 판단한 것은 없었다. 모델들은 성패를 자동으로 확인하기 쉬운 최적화 문제를 주로 만들었다.
철학적 논증에 대한 비판의 품질을 평가하는 과제에서는 모든 공개 모델의 일치도가 15분을 들인 전문가의 추정 성과 수준에 미치지 못했다. 다만 일부 모델은 5분을 들인 전문가의 추정 수준을 웃돌았다.
METR는 이 결과가 모든 판단 업무에서 사람이 앞선다는 뜻은 아니라고 설명했다. 일부 머신러닝 최적화 과제에서는 모델이 인간 평가자를 앞섰고, 판단 과제에서 모델의 역량을 충분히 끌어내지 못했을 가능성도 남아 있다.
◇ 사람 기준 추정의 한계
새 과제에서 사람이 걸릴 시간을 추정할 때 실제 수행 결과가 직접 쓰인 비중은 9%였다. 나머지는 공개 기록과 전문가 추정, 외삽 등을 활용했다.
METR는 자동 채점이 쉬운 시험이 모델의 실제 역량을 과대평가할 수 있다고 설명했다. 판단 과제 수가 제한적이고, 좋은 평가 과제를 만드는 능력이 AI 연구개발 가속에 얼마나 필요한지도 아직 불확실하다고 덧붙였다.
이번 공개 모델 평가는 METR가 11월 5일 공개한 앤스로픽(Anthropic) 평가와 대상과 방법이 다르다. 당시 평가는 앤스로픽 내부 자료와 연구진 면담을 바탕으로, 2026년 10월 현재 명확히 정의된 과제에서 모델 역량 개선 속도가 과거보다 약 두 배 빨라졌을 가능성을 제시했다. METR는 추정 범위를 1.3~3배, 벤치마크 점수 성장률을 1.9배로 계산했고 후자의 95% 신뢰구간은 1.5~2.8배였다. 본지는 당시 평가의 핵심 근거 대부분이 비공개 처리됐다는 METR의 설명을 보도했다. 20일 보고서는 공개 모델 전반에서 그와 같은 가속을 확인하지 못했다.
김민준 기자 




Comment 0
불러오는 중…