10배 절감은 실험비용, 메타 AI 학습 논문 논쟁

메타($META) FAIR 연구진이 대형언어모델(LLM) 학습 규모를 예측하는 기존 친칠라(Chinchilla) 스케일링 법칙의 한계를 지적하고 보정 모델을 제시했다. 다만 논문이 말한 ‘10배 적은 컴퓨트’는 전체 학습 비용 절감이 아니라 스케일링 법칙을 추정하는 실험 비용을 뜻한다.

마튀랭 비도(Mathurin Videau), 바드르 유비이드리시(Badr Youbi-Idrissi), 데이비드 로페스파스(David Lopez-Paz), 카르틱 아후자(Kartik Ahuja) 연구진은 논문 ‘Skaling: Chinchilla’s Exponents Meet Kaplan’s Coupling’에서 모델 크기와 학습 데이터가 손실값에 독립적으로 작용한다는 기존 가정이 일부 구간에서 오차를 만든다고 밝혔다. 아카이브(arXiv) 페이지에는 논문 제출일이 2026년 8월 7일로, PDF 메타데이터에는 2026년 8월 10일로 표기돼 있다.

친칠라 법칙은 고정된 계산 예산에서 모델 크기와 학습 토큰 수를 함께 늘려야 효율적이라는 기준으로 쓰여 왔다. 구글 딥마인드는 2022년 친칠라 논문에서 700억 파라미터 모델이 2800억 파라미터 고퍼(Gopher)보다 같은 컴퓨트에서 더 나은 결과를 냈다고 설명했다.

이후 업계에서는 ‘파라미터당 약 20토큰’이라는 경험칙이 널리 언급됐다. 대형 모델을 무조건 키우는 것보다 모델 크기와 데이터 양의 균형을 맞추는 쪽이 계산 예산을 효율적으로 쓴다는 논리다.

이번 논문은 이 구조가 데이터가 부족한 구간이나 과도하게 학습한 구간에서 손실을 과소·과대 추정할 수 있다고 봤다. 연구진은 친칠라의 독립 합산 구조에 결합 지수 k를 넣은 ‘Skaling’ 법칙을 제안했다.

Skaling은 모델 크기 N과 학습 토큰 D가 따로 움직인다고만 보지 않는다. 두 변수가 손실 표면에서 함께 작용하는 효과를 반영해 예측 오차를 줄이겠다는 취지다.

수치상 개선 폭도 제시됐다. 연구진은 Skaling이 시험한 구성의 76%에서 친칠라보다 정확했고, 중앙값 기준 오차 개선 폭은 2.2배였다고 밝혔다.

평균절대백분율오차(MAPE)는 실험 조건에 따라 1.5~3배 줄었다. 다만 이 결과는 특정 실험 그리드와 평가 방식에서 나온 수치인 만큼 다른 모델과 데이터, 학습 레시피에 그대로 적용된다고 단정하기는 어렵다.

가장 민감한 대목은 ‘10배’다. 논문은 저비용 구간만 훑는 ‘L자형’ 프로파일링 그리드를 쓰면 전체 격자를 균일하게 훑는 방식보다 약 10배 적은 컴퓨트로 비슷한 예측 정확도를 얻을 수 있다고 설명했다.

이는 거대 모델 본 학습 전체 비용을 10분의 1로 낮춘다는 뜻이 아니다. 본 학습에 앞서 스케일링 법칙을 맞추기 위한 소규모 실험·프로파일링 비용을 줄인다는 의미다.

메타는 앞서 라마 3(Llama 3) 공개 글에서도 친칠라 기준을 절대 규칙으로 보지 않는 태도를 드러냈다. 메타는 2024년 8B 모델이 친칠라 최적점으로 언급되는 약 2000억 토큰을 크게 넘는 최대 15조 토큰까지 학습된 뒤에도 성능이 계속 개선됐다고 밝혔다.

메타 FAIR는 2026년 5월 공개한 ‘Compute Optimal Tokenization’ 연구에서도 토큰이 아니라 바이트 기준 데이터 크기가 파라미터 규모와 비례한다고 주장했다. 이번 Skaling은 토큰 수와 모델 크기의 단순 비율보다 손실 곡면의 결합 구조를 더 직접적으로 다룬 연구로 볼 수 있다.

이 흐름은 AI 개발 비용 논의와 맞닿아 있다. 대형 모델 학습은 데이터센터, 반도체, 전력 비용과 연결돼 있고, 본지는 앞서 미국 빅테크의 AI 설비투자 경쟁이 현금흐름을 압박하고 있다고 보도했다.

Skaling은 이런 비용 압박을 직접 해소하는 기술이라기보다 대규모 학습 전에 예산 배분을 더 정밀하게 잡기 위한 연구 프레임에 가깝다. 학습 전 실험 비용을 줄이면 모델 크기와 데이터 양을 정하는 과정에서 낭비를 줄일 여지는 있다.

이번 논문은 동료심사를 마친 학술지 논문이 아니라 아카이브 프리프린트다. 암호화폐나 블록체인 시장과의 직접 연결점도 제시되지 않아, 현재로서는 산업 판도 변화보다 AI 학습 효율과 스케일링 법칙 보정 논쟁으로 읽는 편이 사실에 가깝다.