다중 AI 에이전트 토큰 최대 4.7배…아마존 연구진 단일 구성 제안

아마존(Amazon·$AMZN)과 워싱턴대학교(University of Washington) 연구진은 기업 업무용 AI 에이전트의 출발점으로 단일 구성을 제안했다. 실험에서 가장 높은 성공률을 낸 다중 구성은 단일 구성보다 토큰을 4.7배, 처리 시간을 3.1배 사용했다.

연구진은 11월 7일 공개한 논문에서 기업의 표준운영절차(SOP) 13개를 대상으로 AI 에이전트 구조 4종, 세부 구성 8개를 비교했다. SOP는 조직이 업무를 처리할 때 따르는 절차다.

모델은 Claude Opus 4.8로 고정하고 과업과 도구를 동일하게 유지한 채 에이전트 구조만 바꿨다. 과업 성공률(TSR)은 전체 과업 가운데 정답을 낸 과업의 비율로 측정했다.

단일 에이전트 기준 구성의 성공률은 67.4%였다. 과업당 평균 토큰 사용량은 2만4900개, 처리 시간은 24초였다.

품질 높은 스킬을 추가한 단일 구성은 성공률이 73.1%로 높아졌다. 반면 품질이 낮은 스킬을 붙인 구성은 59.8%로 기준보다 낮았다. 연구진은 스킬의 유무보다 지침의 품질과 업무 적합성이 중요하다고 분석했다.

다중 에이전트는 구성 방식에 따라 결과가 달랐다. 작업을 나눠 전문 에이전트에게 맡긴 초기 구성의 성공률은 58.2%로 단일 기준 구성에 미치지 못했다.

각 작업자에게 전체 SOP와 도구를 제공하고 작업 재배정과 결과 검증을 추가한 구성은 결과표에서 성공률 75.6%를 기록했다. 연구진은 이 구성이 기준보다 통계적으로 유의하게 높은 성능을 보인 유일한 사례라고 보고했다.

개선된 다중 구성은 과업당 토큰 11만7300개를 사용했고 처리 시간은 73.5초였다. 연구진이 비교한 조정형 구성은 기준보다 토큰을 1.4~4.7배, 처리 시간을 2.6~5.8배 더 썼다. 가장 긴 처리 시간은 스웜 구성의 138.6초였으며, 논문은 실제 결제 비용을 금액으로 제시하지 않았다.

연구진은 복잡한 업무에서 구조를 추가하면 성능이 나아질 가능성을 살폈지만, 업무 복잡도와 성능 개선 폭의 상관관계는 통계적으로 유의하지 않았다고 밝혔다. 결과는 단일 구성이 모든 업무에서 더 정확하다는 뜻이 아니다. 연구진은 단일 에이전트를 먼저 적용하고, 업무별 성능 향상이 추가 자원을 정당화하는지 측정하자고 제안했다.

논문 안에는 성공률 수치의 불일치도 있다. 결과표와 본문은 13개 SOP에서 단일 구성 67.4%, 개선된 다중 구성 75.6%를 제시하지만, 결론은 평가 범위를 12개 SOP로 적고 성공률을 각각 65.6%, 74.4%로 썼다.

연구진은 개선된 다중 구성에서 여러 항목을 함께 출력하는 과업에 발생한 오류를 검증하지 못했다고 밝혔다. 이에 따라 해당 결과는 잠정적으로 다뤄야 한다고 논문에 적었다.

성능과 자원 사용량을 함께 살펴본 AI 에이전트 연구는 앞서도 있었다. 메타 연구진의 하네스 연구도 수학·코딩 벤치마크 점수 상승과 토큰 사용 증가를 함께 보고했다.

아마존웹서비스(AWS)는 11월 9일 공개한 설계 가이드에서 단순 업무에는 단일 에이전트를, 여러 영역에 걸친 복잡한 업무에는 감독자와 전문 에이전트를 쓰는 방식을 제시했다. 이 가이드는 이번 논문에 대한 직접 논평이 아니라 AWS가 자사 서비스 이용자를 위해 내놓은 설계 지침이다.

실험에는 실제 서비스 대신 결과가 정해진 모의 도구가 쓰였다. 서비스 운영 중 발생할 수 있는 지연과 오류, 반복 실행에 따른 변동은 측정하지 않았으며 모델도 한 종류로 제한했다. 가상자산이나 블록체인 업무 역시 평가 대상에 포함되지 않았다.