카타네모의 '아크 라우터', 기업용 LLM 운용 패러다임 바꾼다

기업용 AI 시스템이 점점 복잡해지는 가운데, 다양한 대규모 언어 모델(LLM)을 효과적으로 사용하는 능력이 기업의 경쟁력을 좌우하고 있다. 이 같은 흐름 속에서 카타네모 랩스(Katanemo Labs)가 개발한 신형 라우팅 모델 ‘아크 라우터(Arch-Router)’는 LLM 기반 시스템의 효율성 극대화를 위한 새로운 해법으로 주목받고 있다.

아크 라우터는 사용자의 질의를 가장 적합한 언어 모델로 자동 분배하는 프레임워크와 라우팅 모델을 결합한 형태다. 특히 기존의 경직된 라우팅 방식에서 벗어나 사용자의 선호도에 맞춘 유연한 대응을 가능케 하면서도, 기존 모델을 재학습할 필요 없이 정확도를 93% 이상 끌어올렸다는 점에서 기술적 진보가 뚜렷하다.

기존 LLM 라우팅 방식은 일반적으로 ‘작업 기반’ 또는 ‘성능 기반’ 루틴으로 분류된다. 전자는 미리 정해진 작업에 따라 모델을 배치하지만 사용자 의도가 명확하지 않은 경우에 취약하며, 후자는 벤치마크 성능에만 집중해 실제 사용자 선호를 반영하기 어렵다. 반면 아크 라우터는 사용자가 자연어로 지정한 선호도 기반의 라우팅 정책을 자유롭게 적용할 수 있다. 이를 통해 문서 요약, 코드 생성, 이미지 편집 등 각기 다른 작업에 가장 적합한 LLM을 자동으로 연결한다.

이 시스템은 ‘도메인(분야)-액션(행위) 분류 체계’를 활용해 사용자의 요구를 두 단계로 세분화한 후 이에 맞는 라우팅 정책을 생성한다. 사용자는 예를 들어 ‘법률 요약’ 또는 ‘재무 분석’과 같이 직관적인 정책을 설정할 수 있고, 시스템은 이를 기반으로 적절한 모델을 선택한다. 또 아크 라우터는 생성형 모델이기 때문에 대화 이력 전체를 반영해 문맥을 분석하고, 출력은 단순한 정책 식별자 수준이어서 지연 시간도 최소화된다.

카타네모 랩스는 이 라우팅 로직을 콤팩트한 15억 매개변수 수준의 Qwen 2.5 기반 모델에 정제된 4만 3,000여 개 예제로 파인튜닝했다. 이후 오픈AI, 앤트로픽, 구글 등 주요 경쟁사의 최신 모델과 비교 평가한 결과, 아크 라우터는 평균 7.71%포인트 높은 정확도로 선두를 차지했다. 특히 대화 횟수가 많아질수록 성능 격차가 더욱 벌어져 문맥 유지 능력에서도 우위를 입증했다.

실제 도입 사례도 늘고 있다. 오픈소스 기반 코딩 도구에서는 ‘디자인’, ‘코드 이해’, ‘코드 생성’ 등 각 단계에 적합한 LLM을 아크 라우터가 자동 할당하며, 기업들은 문서 생성이나 이미지 편집 요청을 각각 클로드 3.7 소넷(Claude 3.7 Sonnet)이나 제미니 2.5 프로(Gemini 2.5 Pro)와 같은 특화 모델로 효과적으로 분산 처리하고 있다.

또한 아크 라우터는 카타네모의 AI-프록시 서버인 ‘아크’와 통합되어 더욱 정교한 트래픽 관리도 가능하다. 예컨대 새로 도입한 모델을 특정 라우팅 정책에 따라 소량 트래픽으로 시험해 본 뒤 성능이 입증되면 전체 마이그레이션을 실행하는 방식이다. 향후 기업 내 외부 평가 툴과의 연동도 추진 중이다.

카타네모 랩스의 설립자 겸 CEO인 살만 파라차는 “기업들이 고립된 LLM 운영에서 벗어나 하나의 통합된 정책 관리 체계로 진화해야 할 시점”이라며 “아크 라우터는 복잡한 사용 사례를 하나의 일관된 사용자 경험으로 통합할 수 있는 실용적 솔루션”이라고 강조했다. 비정형적인 사용자 요구와 빠르게 변화하는 모델 생태계에 유연하게 대응할 수 있다는 점에서, 아크 라우터는 기업용 AI 시스템의 새로운 표준으로 부상할 가능성이 크다.