구글에서 선호하는 출처로 추가
AI 공학 평가 최고 50.6%…완료율 아닌 산출물 점수
이준한 기자
구글 클라우드 연구진은 모델 14개와 실행 환경 7개를 85개 과제로 비교했다. 클로드 오퍼스 5.5와 클로드 코드 조합이 세 차례 실행 평균에서 가장 높은 점수를 받았다.
토포AI로 이 기사 더 깊이 읽기
AI 에이전트가 물리 엔지니어링 과제를 수행한 평가에서 최고 조합의 산출물 평균 점수는 50.6%였다. 과제별 결과물에 매긴 점수의 평균으로, 과제 완료율과는 다르다.
구글 클라우드 AI 리서치(Google Cloud AI Research) 연구진은 이달 공개한 논문 ‘PLE: Physical-Engineering’s Last Exam’에서 인공지능(AI) 모델 14개와 에이전트 하네스 7개를 평가했다. 앤트로픽(Anthropic)의 클로드 오퍼스 5.5(Claude Opus 5.5)를 클로드 코드(Claude Code)에 연결한 조합이 가장 높은 점수를 기록했다.
이 조합은 85개 과제를 세 차례씩 수행했다. 과제당 평균 사용량은 2700만 토큰이었고, 실행 시간은 63분이었다.
PLE는 정답을 고르는 시험이 아니다. 에이전트가 프로젝트 자료를 읽고 물리 법칙과 설계 기준에 맞는 결과물을 만드는 과정을 평가한다.
과제는 구조·토목·전기·기계 분야에 걸쳐 있다. 제출물에는 계산서와 도면, 설계 검토 결과 등이 포함된다.
과제 환경에는 평균 61개 파일이 들어 있다. 여러 자료에 흩어진 조건을 맞춰 결과물로 정리하는 과정도 평가 범위에 포함됐다.
연구진은 산출물을 자동 검사와 전문가 기준표로 채점했다. 점수는 0부터 1까지 매긴 뒤 백분율로 표시했다.
최고 조합의 과제별 점수 중앙값은 43.5%였다. 85개 과제 중 48개에서 점수가 50% 미만이었지만, 해당 과제를 모두 완전히 실패했다는 뜻은 아니다.
분야별 점수는 토목공학 69.9%, 구조공학 46.6%, 기계공학 40.5%로 차이가 났다. 단일 조건을 맞추는 일과 여러 제약을 동시에 충족하면서 비용까지 고려하는 일은 평가에서 서로 다른 문제로 다뤄졌다.
논문은 공개 개발 과제 29개와 비공개 테스트 과제 56개를 합친 85개 과제를 집계했다. 전체 과제 점수와 비공개 시험 점수를 구분해야 하는 이유다.
PLE 공식 사이트에는 클로드 오퍼스 5.5·클로드 코드 조합의 점수가 48.3%로 표시돼 있다. 이 수치는 비공개 테스트 56개 과제만을 대상으로 해 논문의 전체 과제 점수와 평가 범위가 다르다.
AI 에이전트 점수를 비교할 때는 모델뿐 아니라 하네스와 과제 구성, 채점 방식을 함께 살펴야 한다. 같은 모델도 실행 환경과 시험 범위에 따라 결과를 다르게 해석할 수 있다.
이번 평가는 물리 엔지니어링에 한정됐다. 이 결과를 가상자산 분석이나 스마트컨트랙트 개발 에이전트의 성능으로 확대해 해석할 근거는 없다.
본지는 앞서 AI 에이전트 경쟁의 중심이 모델 성능에서 기업 시스템으로 옮겨가는 흐름을 다뤘다. 이번 연구는 기업 업무 전반이 아니라 공학 산출물을 대상으로 모델과 하네스 조합을 비교했다.
Comment 0
불러오는 중…