알리바바 QwenGyre, 2.4T 모델 RL 학습 44% 단축

이준한 기자 2026.10.12 20:45

토포AI로 이 기사 더 깊이 읽기

알리바바 연구진이 강화학습 프레임워크 QwenGyre를 적용해 Qwen3.8 2.4T 모델의 48단계 학습 시간을 기존 비동기 방식보다 약 44% 줄였다고 밝혔다. 같은 GPU 예산을 사용한 실험에서 소요 시간은 134.55시간에서 75.42시간으로 단축됐다.

QwenGyre는 장시간 작업을 수행하는 AI 에이전트의 강화학습을 위한 프레임워크다. 에이전트가 작업을 수행하는 ‘롤아웃’과 모델 학습에 쓰이는 GPU를 작업 진행 상황에 따라 재배치한다.

작업을 먼저 끝낸 에이전트에 배정됐던 GPU는 모델 학습에 투입하고, 아직 작업 중인 에이전트에는 나머지 GPU를 계속 할당한다. 연구진은 이 과정에서 작업을 중단하지 않고도 GPU 용도를 바꿀 수 있고, 새 GPU도 진행 중인 학습에 합류할 수 있다고 설명했다.

연구진은 코드 작성처럼 여러 단계가 이어지는 작업을 주요 대상으로 제시했다. 에이전트 실행이 수시간 이어지고 모델 호출과 도구 사용이 반복되면 작업마다 걸리는 시간에 차이가 생길 수 있다.

기존 동기식 학습은 한 묶음의 에이전트 작업이 모두 끝날 때까지 기다린 뒤 모델을 업데이트한다. 작업이 먼저 끝난 에이전트의 GPU는 나머지 작업이 끝날 때까지 유휴 상태가 될 수 있다는 게 연구진의 설명이다.

비동기식 학습은 작업 수행과 모델 학습을 분리하지만, 두 작업에 GPU를 고정 배분하는 방식이라 남는 자원을 유연하게 옮기기 어렵다고 연구진은 지적했다. QwenGyre는 작업이 끝나는 순서에 맞춰 GPU를 학습에 돌려 이 문제를 줄이도록 설계됐다.

연구진은 학습 데이터의 중복 처리도 줄이는 방식을 적용했다. 에이전트가 재시도하거나 기록을 압축하고 하위 에이전트를 호출하면 실행 경로가 여러 갈래로 나뉘지만, 서로 다른 경로가 같은 모델 출력을 공유할 수 있다.

QwenGyre는 모델 호출마다 실제 입력과 출력을 기록하고, 공통 이력을 공유하는 경로를 궤적 트리로 정리한다. 학습 과정에서는 제한된 경로를 선택해 같은 모델 출력을 반복 계산하지 않도록 했다.

작업이 시간 초과로 끝나더라도 이미 완료됐고 검증할 수 있는 부분 결과는 학습에 활용하도록 했다. 연구진은 이런 방식으로 에이전트의 재시도와 중단에서 생기는 실행 기록을 학습에 반영할 수 있다고 설명했다.

논문에 따르면 Qwen3.8 2.4T 모델은 작업당 약 70만 토큰을 처리했다. 같은 GPU 예산으로 진행한 48단계 강화학습에서 QwenGyre는 75.42시간, 기존 비동기 방식은 134.55시간이 걸렸다.

코드 저장소 생성 능력을 평가하는 NL2RepoBench 통과율은 학습 전 52.48%에서 학습 후 58.54%로 높아졌다. 다만 논문은 QwenGyre와 기존 학습 방식의 학습 점수가 비슷했다고 밝혔다. QwenGyre 논문

알리바바 연구진은 GPU 재배치와 실행 경로 중복 제거를 적용한 실험에서 학습 시간과 벤치마크 통과율을 제시했다. 결과는 해당 모델과 실험 조건에서 나온 것이다. 앞서 본지는 알리바바의 Qwen3.8 2.4T 모델이 중국 초산인터넷에 배포됐다고 보도했다.

댓글 0