학습 연산량 42.0% 줄인 세일즈포스($CRM) 수학·코드 실험

세일즈포스(Salesforce, $CRM) AI 연구진이 수학·코드 전문가 모델을 따로 훈련해 하나로 통합한 실험에서, 두 분야를 함께 강화학습한 방식과 비슷한 성능을 총 학습 연산량 42.0% 적게 들여 얻었다.

연구진은 6일(한국시간) arXiv에 공개한 프리프린트 ‘Unpacking the Compute Efficiency of Strong-to-Weak OPD against GRPO’에서 결과를 제시했다. 논문은 평가 데이터의 정확도를 누적 학습 FLOPs와 대조했다.

연구진은 수학과 코드 전문가 모델을 각각 훈련한 뒤, 다중 교사 온폴리시 증류(OPD)를 거쳐 학생 모델 하나에 능력을 통합했다. 통합 모델은 각 전문가 모델의 정확도를 회복하도록 학습됐다.

전문가 모델 훈련에는 GRPO(Group Relative Policy Optimization)를 사용했다. 여러 답변의 상대적 성과를 바탕으로 모델을 강화학습하는 방식이다.

OPD(On-Policy Distillation)는 학생 모델이 직접 생성한 답변에 교사 모델이 토큰별 학습 신호를 주는 증류 방식이다. 이 실험에서는 수학·코드 전문가가 학생 모델의 교사 역할을 했다.

두 분야 전문가를 훈련하는 데 10.7 EFLOPs가 들었고, 학생 모델로 통합하는 데 0.55 EFLOPs가 추가됐다. 증류 단계 연산량은 전문가 훈련량의 약 5.2%였다. 1 EFLOP는 10¹⁸회의 부동소수점 연산을 뜻한다.

42.0%는 증류 단계만의 절감률이 아니다. 전문가 훈련과 통합에 든 연산량을 모두 합산해 수학·코드를 함께 학습한 공동 GRPO 방식과 비교한 결과다.

◇ 전문가 통합 방식에서 절감 폭 확인

연구진은 실험 범위를 네 분야로 넓혔다. 수학과 코드에 지식 평가와 지시 이행을 더한 설정이다.

네 분야 전문가 모델을 훈련하는 데 14.4 EFLOPs가 들었고, 학생 모델로 통합하는 데 1.15 EFLOPs가 추가됐다. 통합 단계의 연산량은 전문가 훈련량의 8.0%였다.

이 설정에서 통합 모델은 공동 GRPO의 instance-mix 기준과 비슷한 성능을 내면서 총 FLOPs를 31.6% 줄였다. 연구진은 전문가 훈련과 통합에 든 연산량을 모두 계산했다.

◇ 교사 조건에 따라 결과 달라져

단일 분야 실험에서는 학생 모델 자신의 GRPO 체크포인트를 교사로 썼을 때, 수학 성능을 회복하는 증류 단계의 연산량이 GRPO 학습보다 최대 50배 적었다. 이는 증류 단계의 연산량만 비교한 결과다.

단일 분야에서는 교사인 GRPO 체크포인트 자체가 이미 원하는 모델이므로, 그 훈련 비용까지 더하면 증류만으로 전체 연산량이 줄었다고 볼 수 없다. 여러 분야를 통합할 때는 분야별 전문가가 서로 다른 능력을 보유해 한 전문가 모델만으로 모든 분야를 담당하기 어렵다.

외부에서 별도로 학습한 교사 모델을 쓴 OPD는 연구진이 비교한 설정에서 같은 연산량당 정확도가 대체로 GRPO보다 낮았다. 일부 실험에서는 학생 모델의 응답 길이가 필요 이상으로 늘어나는 현상도 나타났다.

이번 연구 역시 학습 단계에서 측정한 연산량을 비교했다.

논문은 arXiv 프리프린트로 공개됐다. 연구가 제시한 것은 학습 FLOPs 비교이며, 실제 클라우드 비용이나 전력 사용량이 같은 비율로 줄었다는 측정 결과는 아니다.