AI 기술의 확산 속에서 기업 고객들의 선택 기준이 더욱 정교해지고 있다. IBM은 이러한 변화에 발맞춰 단일 모델 중심에서 벗어나, 각각의 목적에 맞는 여러 대형언어모델(LLM)을 혼합 적용하는 ‘멀티 모델 전략’을 본격화하고 있다고 밝혔다.
IBM은 최근 열린 ‘VB 트랜스폼 2025’ 행사에서 자사의 AI 플랫폼 전략을 공개하며, 고객들이 더 이상 특정 벤더의 독점 모델에 의존하지 않고 있다고 진단했다. 아르만드 루이즈 IBM AI 플랫폼 부사장은 "기업 고객들은 코딩에는 앤트로픽(Anthropic), 추론에는 o3, 데이터 커스터마이징에는 IBM의 그래나이트(Granite) 모델이나 미스트랄(Mistral), 라마(LLaMA) 등을 활용하는 등 다양한 모델을 병용하고 있다"고 설명했다. 그는 이어 “중요한 것은 특정 모델을 고집하는 것이 아닌, 목적에 가장 적합한 모델과의 매칭”이라고 덧붙였다.
이처럼 복수 모델을 사용하는 경향이 강화되면서 IBM은 통합 API를 기반으로 한 '모델 게이트웨이' 기술도 선보였다. 이를 통해 기업 고객은 오픈소스 모델을 자사 환경에 적용하거나, 구글 클라우드의 제미니, 아마존 웹서비스(AWS)의 베드록 등의 외부 API를 필요에 따라 선택적으로 사용할 수 있게 된다. 단일 API 상에서 다양한 LLM을 자유롭게 전환하는 구조는 시스템 확장성과 거버넌스를 동시에 확보하는 데 핵심적이다.
또한 IBM은 에이전트 간 통신 및 오케스트레이션 문제에 대응하기 위해 ACP(Agent Communication Protocol)라는 오픈 규격도 개발해 리눅스 재단에 기부했다. 이는 최근 구글이 발표한 A2A(Agent2Agent) 프로토콜과 유사하지만, 양측 모두 표준화를 지향하고 있어 향후 상호 운용성이 기대된다. 루이즈는 "어떤 기업은 이미 100개 이상의 AI 에이전트를 운영 중인데, 표준이 없다면 그간의 통합 작업은 사실상 불가능했다"고 밝혔다.
IBM은 기업의 AI 활용 방식이 단순히 챗봇을 도입하거나 비용 절감을 추구하는 차원을 넘어, 전사적 업무 방식 자체를 바꾸어야 한다고 강조한다. 예를 들어 IBM 내부 HR 프로세스는 이제 단순한 정보 제공 챗봇 대신, 보상이나 인사절차 전반을 담당하는 전용 AI 에이전트들이 상호 연동하면서 전체 업무 흐름을 자동화하고 있다.
기업들이 진정한 AI 전환을 이루기 위해선 콜센터형 챗봇을 넘어서, AI가 실제 업무 전반을 스스로 처리할 수 있도록 구성하는 것이 중요하다. 이를 위해서는 단일 모델 환경이 아닌 멀티 모델 아키텍처의 도입과 더불어, 에이전트 간 통신 표준화, 프로세스 인스트루먼트화가 필수적이다.
루이즈는 “비즈니스 리더들이 AI에 대한 깊은 이해를 갖고, 기술을 단순 도구가 아닌 핵심 전략 요소로 인식해야 할 때”라며, 새로운 시대에는 ‘AI 퍼스트’ 리더십이 그 어느 때보다 중요하다고 강조했다. IBM이 실질적 기업 사례를 통해 제시한 방향은, 향후 AI 시대를 주도할 체계적인 전략의 청사진이 되고 있다.