LLM보다 싸고 빠르게…기업들, '모델 미니멀리즘'에 열광

엔터프라이즈 시장에서 생성형 AI가 본격적으로 도입되면서, 비용 효율성이 높은 전략으로 주목받고 있는 개념이 있다. 바로 '모델 미니멀리즘'이다. 이는 대형 언어 모델(LLM)의 사용에서 비롯된 높은 운영 비용과 복잡성을 줄이기 위한 실제적 대안으로, 기업들이 주목하고 있다.

최근까지 기업들은 다양한 시범 프로젝트를 통해 LLM을 실험했고, 일부는 이를 실제 업무에 도입하기도 했다. 그러나 대형 모델의 유지 및 운영에는 막대한 비용이 들고, 하드웨어 자원도 많이 소모된다. 이에 따라 특정 작업에 최적화된 *소형 언어 모델*이나 *압축 모델(distilled model)*을 사용하는 사례가 늘고 있다. 구글의 젬마(Gemma), 마이크로소프트의 파이(Phi), 미스트랄의 스몰 3.1 등이 대표적으로, 정확성과 속도를 모두 갖춘 소형 모델을 선택해 비용 절감을 기대하는 것이다.

링크드인의 수석 엔지니어인 카르틱 람고팔은 "소형 모델은 연산량과 메모리 요구치가 낮고, 추론 속도도 빨라져 장비 운영비용과 전력 소비를 줄일 수 있다"고 설명했다. 이에 따라 기업들은 단일 범용 모델 대신 목적에 맞는 소형 모델을 각각 도입해 효율을 극대화하는 방식을 선호하고 있다.

운영비용 측면에서도 소형 모델은 분명한 장점이 있다. 예컨대 오픈AI의 o4-mini 모델은 입력당 100만 토큰당 $1.1, 출력당 $4.4로 가격이 책정돼 있으며, 같은 버전의 대형 모델은 각각 $10, $40에 이른다. 이는 상당한 비용 차이를 의미한다.

아이블(Aible)의 CEO 아리짓 센굽타는 "LLM에 문맥을 제공하는 방법은 여러 가지가 있지만, 프롬프트에 정보를 넣는 방식은 고비용으로 이어질 수 있다"며, "포스트 트레이닝(post-training)을 통한 문맥 제공은 단 한 번의 비용으로 각종 활용 사례에서 지속적인 성능을 낼 수 있는 효율적 방법"이라고 강조했다. 그는 "몇백만 달러에 달하던 운영비용을 3만 달러 수준으로 줄인 사례도 존재한다"고 밝혔다.

실제로 아이블의 실험 데이터에 따르면, 70억 파라미터를 갖는 대형 모델을 포스트 트레이닝한 경우 자동 평가에서 84%, 수동 평가에서 92%의 정확도를 보였고, 8억 파라미터짜리 소형 모델도 82%의 수동 평가 정확도를 기록했다. 이처럼 비용 대비 성능이 우수한 소형 모델은 다양한 특화 업무에 충분히 대응 가능한 성능을 보이고 있다.

다만 모든 경우에 소형 모델이 정답은 아니다. AWS의 라훌 파탁 부사장은 소형 모델이 복잡한 문맥 이해를 잘 못 하는 경우가 있어 인간의 개입이 늘어나면 총비용이 다시 증가할 수 있다고 경고했다. 또한, 일부 압축 모델은 장기 사용 시 성능 저하나 유지보수 비용 증가 같은 문제점도 발생할 수 있다고 덧붙였다.

결국 핵심은 적절한 모델을 적재적소에 배치하는 전략적 접근이다. 링크드인은 초기에는 대형 모델로 프로토타입을 만든 다음, 비즈니스 적합성과 비용 문제 등을 고려해 더 작고 특화된 모델로 전환하는 방식의 개발 패턴을 채택하고 있다. 이는 성능과 비용, 유지보수의 균형을 맞추기 위한 유연한 운영 전략이다.

브랜드 마케팅 기업 모드오프(Mod Op)의 CTO 테사 버그는 “우리가 지금 쓰고 있는 모델은 결국 가장 낡은 버전이 될 수밖에 없다”며 “변화에 유연하게 대응할 수 있도록 작은 모델을 전략적으로 활용하는 능력이 기업의 경쟁력을 결정짓는다”고 말했다.

AI 도입이 단순한 기술 채택을 넘어 ROI에 대한 실질적 관점에서 재검토되고 있는 지금, 소형 모델 중심의 ‘모델 미니멀리즘’ 전략은 앞으로 기업들이 집중해야 할 중요한 과제가 되고 있다.