GPU 커널 추가 예산 실험서 1.21배…같은 예산선 0.75배

UC버클리 연구진이 작업 중 AI 코딩팀의 역할과 협업 방식을 바꿔 GPU 커널을 최적화했다. 추가 토큰 예산 실험에서 47개 작업의 기하평균 성능은 FlashInfer 기준 1.21배였지만, 같은 예산 비교에서는 0.75배에 그쳤다.

연구진은 2026년 10월 27일 공개한 논문 《Evolving Agent Teams》에서 대형 언어 모델의 응답 생성에 쓰이는 MLA paged decode 커널을 시험했다. 실험에는 엔비디아 H100이 사용됐다.

GPU 커널은 그래픽처리장치에서 연산을 수행하는 저수준 코드다. FlashInfer는 대형 언어 모델 추론에 쓰이는 GPU 커널 라이브러리로, 이번 실험에서는 새 커널의 비교 기준으로 사용됐다.

연구진이 제안한 ‘진화하는 에이전트 팀’에서는 감독 에이전트가 진행 상황과 실패 원인을 살핀다. 작업이 정체되면 역할, 협업 순서, 정보 공유 방식을 다시 설계하고 코딩 에이전트들이 새 구성에 따라 커널을 작성한다.

논문은 단일 에이전트가 어려운 GPU 연산을 구현하다 정확성 문제에 막혀 더 구현하기 쉬운 설계로 옮겨가는 사례를 들었다. 감독 에이전트는 이런 정체를 진단해 오류 수정이나 성능 분석을 맡을 역할을 새로 배치한다.

이전 팀의 실험 결과와 실패 기록, 코드 등은 공유 파일 시스템에 남아 다음 팀이 활용한다. MLA decode 실험에서는 감독 에이전트가 100개가 넘는 팀 구성을 탐색하며 작업 단계에 맞춰 팀을 재편했다.

◇ 예산과 측정 조건에 따라 달라진 성능

추가 토큰 예산 실험에서 새 커널은 47개 작업 중 36개에서 FlashInfer보다 빨랐다. 나머지 11개 작업의 성능은 기준 커널의 0.86~0.99배였다. 1.21배는 작업별 속도 비율을 기하평균으로 집계한 값이어서 모든 작업에서 성능이 높았다는 뜻은 아니다.

같은 토큰 예산을 적용한 비교에서 재구성한 팀은 FlashInfer 기준 0.75배를 기록했다. Claude Code 단일 에이전트의 성능은 0.44~0.51배였다. 두 결과 모두 해당 비교 조건에서는 기존 커널 기준을 넘지 못했다.

별도의 단일 실행 비교에서는 재구성한 팀이 0.74배, 역할을 고정한 4인 팀이 0.31배, Codex가 0.28배를 기록했다. 이는 같은 예산 비교와 실행 조건이 다른 결과여서 하나의 실험 수치처럼 묶어 볼 수 없다.

측정 단계에 따라서도 결과가 달라진다. 논문은 준비 단계인 plan()을 제외하고 커널 실행 단계만 비교하면 새 커널의 성능이 FlashInfer 기준 0.96배라고 설명했다. FlashInfer는 실제 운용에서 plan() 결과를 캐시하고 입력 조건이 바뀔 때만 다시 계산하며, 1.21배는 이 운용 기준을 적용한 비교다.

◇ 다른 칩 실험은 별도 사례

추가 실험에서는 AMD($AMD) MI350X의 KDA prefill 커널이 vLLM 기준 3.01배, 엔비디아($NVDA) B200의 커널이 FlashKDA 기준 3.44배 성능을 냈다. 두 실험은 칩과 작업, 비교 대상이 서로 다르다.

주요 비교 설정은 두 차례 실행한 뒤 더 나은 결과를 보고했다. 고정팀 비교와 추가 하드웨어 사례는 각각 한 차례 실행됐으며, 연구진도 반복 횟수가 적어 통계적 비교에 한계가 있다고 밝혔다.

본지는 앞서 세일즈포스 연구진이 AI 에이전트의 실행 구조를 바꿔 웹 작업 성공률을 높인 사례를 보도했다. 이번 연구는 작업 단계에 따라 에이전트의 팀 구성과 협업 방식을 바꿔 GPU 코드 최적화에 적용했다.

GPU 커널을 작성하는 개발 경로와 최적화 작업을 수행하는 팀의 구성은 서로 다른 층위다. 연구진은 이번 실험의 구현 코드도 공개했다.