41.25% 통과한 앤스로픽 AI, 프리랜서 과제 58.75% 미달

앤스로픽(Anthropic)의 Fable 5.2가 원격 프리랜서 업무 평가에서 41.25%의 통과율로 1위를 기록했다. 평가 기준에 미달한 비율은 58.75%로, 선두 모델도 절반 넘는 과제에서 고객 수용 기준을 넘지 못했다.

스케일 AI(Scale AI)가 공개한 원격노동지수(Remote Labor Index·RLI) 순위표에서 13일 확인 기준 Fable 5.2는 41.25%, 2위 Opus 5.5는 21.25%를 기록했다. 두 모델의 격차는 20%포인트다.

앤스로픽은 9일 모델 출시 자료에서 Fable 5.2의 RLI 점수를 41.3%로 공개했다. 회사는 높은 추론 노력 수준인 ‘High effort’ 설정과 안전장치를 적용한 결과라고 설명했다. 순위표 점수와의 차이는 소수점 표기 자릿수에서 비롯된다.

RLI는 질문 하나에 맞는 답을 냈는지보다 의뢰받은 프로젝트를 끝까지 완성했는지를 평가한다. 과제 수행의 일부가 아니라 제출한 결과물의 완성도가 평가 대상이다.

스케일 AI는 RLI 연구 자료에서 평가용 데이터셋을 프리랜서 업무 240개로 구성했다고 밝혔다. 업무는 업워크(Upwork)의 64개 분류 가운데 23개 분야에 걸쳐 있다.

각 프로젝트에는 의뢰 내용과 작업에 필요한 입력 파일, 전문가가 만든 완료물이 담겼다. AI가 같은 자료를 바탕으로 만든 결과물을 전문가의 결과물과 대조하는 방식이다.

채점 기준은 ‘합리적인 고객이 의뢰한 결과물로 받아들일 수 있는가’다. 훈련된 평가자 3명이 각각 판단하고 다수결로 통과 여부를 정한다.

일부 기능이 작동하거나 초안이 참고할 만하다는 이유만으로는 통과하지 못한다. 최종 결과물이 기준에 미달하면 작업의 일부를 수행했더라도 통과율에 반영되지 않는다.

따라서 41.25%를 전체 프리랜서 일자리의 41.25%를 대체할 수 있다는 뜻으로 해석해서는 안 된다. 정해진 프로젝트 표본에서 평가 기준을 통과한 비율이다.

RLI는 전체 240개 프로젝트 가운데 비공개 프로젝트 230개를 공식 정량 순위 평가에 사용하고, 나머지 10개는 공개해 질적 분석에 활용한다. 순위표에는 Fable 5.2의 실제 통과 건수가 따로 표시되지 않았다.

평가 범위에도 한계가 있다. 고객과 직접 소통해야 하는 업무와 물리적 노동, 장기간 결과를 관찰해야 하는 업무는 표본에서 제외됐다.

실제 현장에서 필요한 사람의 지원 수준이나 배포 비용도 이 점수만으로는 파악하기 어렵다. 순위는 정해진 조건에서의 결과물 품질을 보여주지만, 어느 분야에서 얼마의 비용으로 사람의 업무를 맡길 수 있는지까지 답하지는 않는다.

출시를 다룬 해커뉴스(Hacker News) 토론에서는 기대와 신중론이 함께 나왔다. 한 이용자는 다른 모델의 약 20% 수준과 비교해 Fable 5.2가 새로운 AI 에이전트 업무를 열 수 있다고 봤다.

다른 이용자들은 개인 작업에서 체감하는 성능과 모델별 비교 조건, 비용을 함께 살펴야 한다고 지적했다. 이는 이용자들의 의견이며 별도의 성능 검증 결과는 아니다.

AI 평가 점수는 과제 구성과 판정 기준을 함께 살펴야 한다.

공개 순위표는 모델별 통과율을 제시하지만, Fable 5.2가 통과하지 못한 프로젝트의 개별 실패 원인은 담지 않았다.