AWS 운영 시험 모델 실패 80%는 추론 오류로 분류됐다

클라우드옵스벤치(CloudOpsBench) 개발팀은 자사가 시험한 모델들의 AWS 운영 과제 실패 사례 중 약 80%를 추론 오류로 분류했다.

개발팀은 2일 공개한 공식 분석에서 실패 원인을 서비스 지식 부족, 추론 오류, 잘못된 조치로 나눴다. 잘못된 조치는 실패 사례의 약 20%였고, 서비스 작동 방식을 몰라 실패한 과제는 없었다고 밝혔다.

이 비율은 해당 벤치마크에서 시험한 모델들의 실패 과제 가운데 각 원인이 차지한 비중이다. 전체 AI 에이전트의 실패율이나 클라우드 운영 자동화 전반의 성능을 뜻하지는 않는다.

CloudOpsBench v1.0은 AWS 운영 과제 45개로 구성됐다. △프로젝트 해체 13개 △접근 보안 12개 △서비스 이전·배포 7개 △설정·모니터링 6개 △장애 복구 7개다.

과제는 서비스 작동 방식을 아는 데 그치지 않고 작업에 필요한 자원을 빠짐없이 찾고, 적절한 순서로 조치한 뒤 작업이 끝났는지 확인하는 능력을 평가한다. 클라우드 운영 과정에서 자원 하나를 놓치거나 잘못 건드리면 과제가 완료되지 않거나 데이터에 영향을 줄 수 있다.

리더보드의 평가 항목은 모델과 추론 노력 수준, 실행 도구를 묶은 조합이다. 각 조합은 과제 45개를 네 차례씩 수행해 모두 180회 시도한다.

한 번의 실행 제한 시간은 기본 40분이다. 성공률은 통과 횟수를 통과·실패·시간 초과 횟수의 합으로 나눠 계산하며, 평가 오류는 제외한다.

매 실행은 새 환경에서 시작하고 채점기는 작업 뒤 최종 상태를 확인한다. 평가 방법은 실제 AWS와 에뮬레이터가 같은 호출과 결과를 제공한다고 설명한다.

공식 리더보드에서 11월 5일 확인한 상위 성공률은 Claude Fable 5.1(max)·Claude Code 조합 60.6%, GPT-6 Astra(max)·Codex 58.9%, Gemini 4 Argon(high)·Gemini CLI 57.5%다.

이 수치는 모델 단독 점수가 아니라 모델, 추론 설정, 실행 도구를 함께 측정한 결과다. 조합을 이루는 요소가 다른 항목은 리더보드에서도 별도로 집계된다.

공식 분석은 Claude Fable 5.1이 45개 중 29개, GPT-6 Astra가 26개 과제를 완료했다고도 적었다. 이 과제 완료 개수와 리더보드의 180회 시도 성공률은 집계 단위가 다르며, 산식과 실행 설정의 관계도 확인되지 않아 같은 기준으로 비교할 수 없다.

실패 사례에서는 작업 범위를 충분히 조사하지 않는 문제가 드러났다. 모든 큐를 정리하라는 과제에서 시험 모델들은 SQS 외에 AWS MediaConvert에 속한 큐를 확인하지 않았다.

개발팀은 시험 모델들이 MediaConvert에도 큐가 있다는 사실을 알고 있었지만, 어느 시도에서도 큐 목록을 확인하지 않았다고 설명했다. 조사 범위를 좁게 잡아 과제에서 요구한 자원을 놓친 사례다.

공식 분석에 소개된 Claude Fable 5.1의 한 실행에서는 명령이 모두 성공했고 에이전트 자체 점검 결과도 이상이 없었지만, 과제는 완료되지 않았다. 명령 실행과 자체 점검이 성공해도 최종 과제 상태가 기준을 충족하지 못할 수 있음을 보여준다.

잘못된 조치의 사례도 있었다. 일부 에이전트는 버킷 이전 중 진행 중인 멀티파트 업로드를 잔여 데이터로 오인해 중단했고, 개발팀은 데이터가 파괴돼 복구할 수 없었다고 밝혔다.

공개 저장소에는 과제 지시문과 설정 스크립트, 자동 채점 코드, 기준 해법이 올라와 있다. 저장소는 최근 추가된 42개 과제가 아직 오라클·음성 대조 실행을 거치지 않았다고 밝혔다.

전체 Docker/Harbor 생명주기 실행과 적대적 격리 검증도 릴리스 통과 조건으로 남아 있다. 저장소의 정적 검사는 과제 구조를 확인하지만, 에이전트를 실행하거나 클라우드 자원을 만드는 검증은 포함하지 않는다.