IBM, '에이전틱 AI' 전면 도입… 기업용 AI 실전 배치 본격화

2025년, 기업용 인공지능(AI)이 실험 단계를 벗어나 본격적인 *도입과 실행* 단계로 접어들고 있다. IBM은 ‘IBM 씽크 2025’ 컨퍼런스를 통해 AI 어시스턴트를 넘어선 새로운 ‘에이전틱 AI(Agentic AI)’ 전략을 공개하고, 이를 통해 현실에서 성과를 내는 기업형 AI 구축의 구체적인 방안을 제시했다.

이번 행사에서 IBM은 자사의 생성형 AI 플랫폼 왓슨X(watsonx)를 중심으로, 사전 구축된 AI 에이전트의 중앙 허브 ‘AI 에이전트 카탈로그’, 비개발자를 위한 무코드 빌더, 다중 에이전트를 통합해 협업이 가능한 오케스트레이터, 그리고 텔레미터리 기반 운영 관제 도구 ‘Agent Ops’까지 총체적인 기술 생태계를 발표했다. 특히 기업의 실제 환경에 적합한 도메인 특화 템플릿도 추가되며, 영업부터 인사, 조달 영역까지 현업에 바로 적용 가능한 구성으로 주목받고 있다.

IBM의 아르빈드 크리슈나(Arvind Krishna) CEO는 “향후 수년간 전 세계적으로 10억 개 이상의 신규 애플리케이션이 생성형 AI를 통해 탄생할 것”이라며, “AI는 생산성 향상, 비용 절감, 수익 확대라는 세 가지 축을 동시에 겨냥할 수 있는 몇 안 되는 기술”이라고 강조했다.

하지만 AI 기술에 대한 과도한 기대와 달리, IBM의 자료에 따르면 기업들이 원하는 수준의 수익(ROI)을 얻는 경우는 전체의 25%에 불과한 것으로 나타났다. 크리슈나 CEO는 “이제 실험은 끝났고, 진짜 비즈니스 가치를 창출하는 방향으로 초점이 이동하고 있다”고 말했다.

이러한 전환의 핵심에는 왓슨X의 진화가 있다. 처음에는 단순한 AI 자동화 도구로 출발했지만, 2024년부터 에이전틱 기능이 통합되며, 수많은 AI 에이전트를 조율하는 고도화된 플랫폼으로 자리잡았다. IBM은 자사 기술뿐 아니라 Crew AI, LangChain 등의 외부 툴까지도 연동 가능한 개방형 구조를 지향하고 있다. 특히 새로운 프로토콜인 MCP(Model Context Protocol)를 지원해, MCP 기반 도구들이 watsonx Orchestrate에 자동으로 통합되도록 하고 있다.

보안과 거버넌스도 IBM이 강조하는 또 다른 축이다. IBM은 기업들이 신뢰하고 사용할 수 있는 AI 시스템을 위해 왓슨X 전반에 LLM 거버넌스 체계를 확대 적용하고 있다. IBM 데이터 및 AI 부문 총괄인 리티카 군나(Ritika Gunnar)는 “에이전틱 AI는 단순한 봇이 아닌 행동 기반 시스템”이라며, “이 때문에 새로운 형태의 평가 기준이 필요하며, 우리는 100개 이상의 메트릭으로 이를 정량화하고 있다”고 설명했다.

실제 사례에서도 IBM의 접근은 가시적인 결과를 내고 있다. IBM 내부 HR 시스템은 전체 문의 중 94%를 AI 에이전트가 처리하고 있으며, 조달 프로세스에선 최대 70%까지 소요 시간을 줄였다. 또 다른 사례로는 컨설팅사 어니스트앤영(Ernst & Young)이 IBM의 에이전틱 AI를 기반으로 새로운 세무 플랫폼을 구축 중이다.

에이전틱 AI는 단순한 기술 이상의 의미를 지닌다. IBM은 이를 ‘진정한 지능 시스템’으로 규정하며, 수천 개의 에이전트가 기업 내 다양한 작업을 수행하고 이를 통해 자동화된 의사결정 체계가 자리 잡는 시대를 예고하고 있다. 기업이 이러한 변화를 따라잡기 위해선 기존 시스템과의 연계성, 보안, 자율성과 예측 가능성의 균형, 그리고 정량적 ROI 평가 능력을 갖춰야 한다.

IBM의 전략은 단순히 새로운 플랫폼 출시가 아니다. 에이전틱 AI 생태계를 통해 기업이 새로운 데이터 사일로를 만들지 않도록 하고, 다양한 외부 도구와 유연하게 통합되도록 개방성을 유지하는 데 중점을 두고 있다. 완전한 구현을 위해선 기업 내부의 인프라와 운영 체계도 함께 진화해야 할 것이다.