韓-캐나다 공동 개발 'MoR 트랜스포머', GPT 성능 뛰어넘는 기술력 입증

대형 언어 모델(LLM)의 처리 속도와 효율성을 획기적으로 개선할 수 있는 새로운 트랜스포머 아키텍처가 등장했다. 한국과 캐나다의 연구진이 공동 개발한 이 프레임워크는 동일한 파라미터와 연산 자원으로도 기존 모델을 능가하는 정확도와 추론 속도를 제공한다고 밝히며 주목 받고 있다.

KAIST와 캐나다 몬트리올의 연구소인 밀라(Mila)가 공동으로 개발한 이 아키텍처는 '모어(Mixture-of-Recursions, MoR)'로 불리며, 기존 트랜스포머의 한계를 극복할 수 있는 연산 최적화 기술을 기반으로 한다. 특히 메모리 사용량과 컴퓨팅 자원을 동시에 줄이면서도 높은 정확도를 유지하는 점이 특징이다.

기존 대형 언어 모델은 규모가 클수록 뛰어난 성능을 보여줬지만, 그에 따른 연산 처리량과 메모리 부담은 중소 기업이나 일반 연구 기관이 감당하기 어려웠다. 이를 해결하기 위해 연구진은 파라미터 공유와 적응형 계산을 결합한 MoR 아키텍처를 고안했다. 이 기법은 핵심 블록을 반복 활용하는 '재귀 트랜스포머(Recursive Transformer)' 기반에, 각 토큰(token)의 복잡도에 따라 필요한 만큼만 연산을 할당하는 라우팅 기술을 도입했다.

기술적으로, MoR은 두 가지 핵심 구성 요소를 통해 효율을 극대화한다. 첫째는 경량 라우터가 각 토큰에 필요한 '사고 깊이'를 식별해 최적의 반복 횟수를 결정하는 방식이다. 이는 기존 모어(Mixture-of-Experts) 모델의 전문가 라우팅 개념과 유사하지만, 재귀의 깊이를 조절하는 데 활용된다는 점에서 차별화된다.

둘째는 메모리 효율을 높이기 위한 '재귀별 KV 캐시'다. 일반적인 LLM에서는 모든 토큰의 키-값 쌍을 저장하는 방식이 병목이 되었는데, MoR은 현재 단계에서 활성 토큰만을 대상으로 캐시를 동적으로 관리하는 전략을 채택해 처리 속도와 자원 소모를 동시에 줄였다.

실제 실험 결과도 인상적이다. 동일한 연산 예산과 데이터로 훈련한 모델에서, MoR은 기본 트랜스포머 대비 평균 퓨샷 정확도가 43.1%로 더 높았고, 훈련 기간은 19% 더 짧았으며, 최대 메모리 사용량은 25% 감소했다. 특히 3억 6,000만 개 이상의 파라미터를 장착한 모델에서는 기존 방식보다 높은 성능을 안정적으로 구현했으며, 어느 설정에서는 추론 속도를 2배 이상 향상시켰다.

KAIST 박사과정 연구원이자 논문 공동 저자인 배상민 연구원은 "모델의 파라미터 수와 캐시 메모리를 줄이면 동시에 더 많은 샘플을 처리할 수 있어, 문맥 창 길이가 긴 작업도 효율적으로 다룰 수 있다"고 설명했다.

실용적 도입 가능성 역시 긍정적이다. 현재는 기반 모델을 처음부터 재학습하는 방식이지만, 기존 공개 모델을 '업트레이닝'하는 접근 방식이 더 비용 효율적일 수 있다고 배상민 연구원은 전했다. 애플리케이션에 따라 연산 단계 수를 조정할 수 있는 아키텍처적 유연성도 강조되며, 다양한 산업 현장에서 성능-비용 균형을 맞춘 최적 옵션을 설계할 수 있는 길이 열렸다.

MoR 기술은 텍스트 중심의 언어 모델뿐 아니라, 향후에는 영상이나 음성 같은 멀티모달 데이터까지 적용이 가능하다. 연구진은 "이 구조는 특정 데이터 유형에 국한되지 않기 때문에, 다양한 형태의 데이터 처리 효율을 동시에 끌어올릴 수 있다"고 밝혔다.

복잡한 데이터를 빠르게 분석하고 처리해야 하는 기업 입장에선, MoR 아키텍처가 제공하는 연산 효율성과 확장 가능성이 상당히 매력적인 기술 카드가 될 수밖에 없다. 고성능을 유지하면서도 자원 부담을 줄이고 싶은 기업이라면, 지금이 바로 이 새로운 프레임워크의 진지한 도입을 검토할 시점이다.