IBM, 기업용 AI ‘신뢰 인프라’로 승부…메인프레임·거버넌스 전면에

IBM이 기업용 인공지능(AI) 시장에서 단순한 솔루션 공급자를 넘어 ‘기반 인프라’ 사업자로 자리 잡으려는 움직임을 강화하고 있다. 메인프레임, 하이브리드 클라우드, 거버넌스 역량을 앞세워 AI 도입 초기 단계를 지나 실제 운영 단계에 들어선 대기업 수요를 정조준하는 모습이다.

더큐브리서치의 데이브 벨란테는 최근 분석에서 IBM이 기업용 AI에서 차별화된 길을 찾았다고 평가했다. 그는 복잡해 보일 수 있는 기술 스택에도 불구하고, 고객이 신뢰할 수 있는 워크플로우 중심 제품 구성과 하이브리드 설계, 에이전트 시대에 맞춘 플랫폼 재구성, 현실적인 양자컴퓨팅 로드맵이 지속 가능한 경쟁력의 근거가 된다고 짚었다.

이 같은 평가는 미국에서 열린 ‘IBM 씽크 2026’ 행사 현장에서도 확인됐다. IBM 경영진과 업계 관계자들은 AI 에이전트를 실제 업무에 어떻게 붙일 것인지, 하이브리드 환경에서 어떤 통제 체계를 갖춰야 하는지, 또 글로벌 대기업들이 어떤 방식으로 AI를 확장하고 있는지를 집중적으로 설명했다.

신뢰 인프라 수요 커지며 IBM Z 부각

가장 먼저 주목받은 축은 ‘신뢰할 수 있는 인프라’다. IBM 인프라 부문 수석부사장 릭 루이스는 최근 18개월 사이 AI 관련 대화가 급격히 바뀌었다고 진단했다. 이제 기업 이사회는 단순히 AI를 도입할지 여부가 아니라, 어떤 인프라 위에서 이를 운영할지까지 묻고 있다는 설명이다.

특히 IBM의 메인프레임 플랫폼 ‘IBM Z’는 금융권과 보험업권처럼 민감한 데이터를 다루는 기업 사이에서 존재감이 커지고 있다. 루이스는 전 세계 금융 거래의 70%가 IBM 시스템을 거친다고 강조하며, 데이터 주권과 운영 통제가 중요한 산업에서는 온프레미스 기반의 고신뢰 시스템이 여전히 강점이라고 말했다.

이는 최근 기업용 AI 시장의 흐름과도 맞닿아 있다. 생성형 AI와 AI 에이전트가 시범 사업을 넘어 핵심 업무로 확장되면서, 기업들은 성능 못지않게 ‘누가 통제하는가’, ‘데이터가 어디에 있는가’, ‘장애가 발생해도 유지되는가’를 더 따지기 시작했다. IBM은 바로 이 지점을 자사 전통 사업의 강점으로 연결하고 있다.

AI 에이전트도 ‘직원처럼’ 관리해야 성과 난다

IBM은 AI 에이전트를 단순한 소프트웨어가 아니라 ‘디지털 노동자’로 보고 있다. IBM 컨설팅 책임자 모하마드 알리는 아빈드 크리슈나 최고경영자(CEO)가 수년 전부터 인간 직원과 디지털 노동자를 함께 관리하는 구조를 주문했다고 전했다.

현재 IBM 컨설팅은 공통 관리 계층을 통해 450개 이상의 활성 프로젝트에서 4,000개가 넘는 디지털 노동자를 운영 중이다. 여기에는 IBM 왓슨x, 앤스로픽, 오픈AI 기반 에이전트가 포함된다. 핵심은 단순 배치가 아니라 ‘가시성’과 ‘책임성’이다. 어떤 에이전트가 실제로 쓰이고 있는지, 성과를 내는지, 비용 대비 효과가 있는지를 경영진이 직접 확인할 수 있어야 한다는 뜻이다.

성과가 없는 에이전트는 퇴출 대상이 된다. 알리는 사용되지 않는 에이전트는 결국 토큰 배정을 받지 못하고 폐기될 것이라고 설명했다. 이는 기업이 AI를 무작정 늘리기보다 생산성에 기여하는지 엄격히 검증하는 방향으로 가고 있음을 보여준다.

실제 수치도 제시됐다. IBM 컨설팅은 2024년부터 2025년 사이 이익이 전년 대비 20% 증가했다고 밝혔다. 또 250억달러 규모 지출 가운데 약 45억달러, 원화로 약 6조8,600억원의 생산성 절감 효과를 거뒀다고 설명했다. 환율 1달러당 1,524.30원을 적용한 수치다. 회사 측은 490개 업무 흐름을 세분화한 뒤 이 가운데 70개를 다시 설계하는 방식으로 이런 효과를 냈다고 밝혔다.

거버넌스는 규제가 아니라 사업 모델 문제로 이동

IBM은 기업용 AI의 성패가 기술 도입 자체보다 거버넌스와 사업 전환의 정렬에 달려 있다고 보고 있다. 클라우드 사업자, 소프트웨어 업체, AI 모델 기업이 뒤섞인 복잡한 생태계에서는 규제 준수와 보안, 비용, 주권 문제를 동시에 다뤄야 하기 때문이다.

IBM 컨설팅의 제이슨 켈리는 고객 산업과 국가, 네트워크 환경에 맞게 다양한 파트너를 ‘지휘’하는 역할이 중요해졌다고 말했다. 단순한 기술 공급이 아니라, 고객별로 어떤 조합이 가장 적절한지 설계하는 오케스트레이션 역량이 경쟁력이 된다는 의미다.

이와 맞물려 IBM은 ‘IBM 소버린 코어’ 플랫폼도 공개했다. 이 플랫폼은 실행 환경 단계에서 거버넌스와 컴플라이언스 통제를 인프라 안에 직접 녹여 넣는 데 초점을 맞춘다. IBM 컨설팅의 하비에르 올라이솔라는 과거엔 데이터 주권과 노출 문제가 제안서 뒤쪽에서 다뤄졌지만, 이제는 고객이 첫 질문부터 ‘내 노출 수준이 얼마냐’를 묻는다고 전했다.

결국 시장의 승자는 AI를 개별 업무 자동화 도구로만 보지 않고, 사업 모델 전반을 다시 설계하는 기업이라는 게 IBM 측 시각이다. AI가 고객사들에 ‘우리의 실제 가치가 무엇인가’를 다시 묻게 만들고 있으며, 운영 모델 전체를 AI 중심으로 재정렬하는 기업이 더 유리한 위치를 차지할 수 있다는 설명이다.

분산형 통제로 AI 확산과 통제력 동시 확보

IBM은 AI 거버넌스의 범위도 더 넓어졌다고 본다. 이제 기업들은 데이터 주권을 넘어 누가 플랫폼을 운영하는지, 제어 계층은 어디에 있는지, 암호키를 누가 쥐는지 같은 ‘운영 주권’ 문제를 따지고 있다.

IBM의 스리프리야 스리니바산은 기업이 원하는 것은 기술 벤더를 직접 복제하는 것이 아니라, 어떤 상황에서도 사업이 돌아가게 만드는 ‘운영 탄력성’이라고 설명했다. 통제와 독립성이 중요한 이유도 여기에 있다는 것이다.

AI 에이전트 확산 속도가 빨라지는 만큼 표준화와 일관성, 부서 간 조율도 중요 과제로 떠오르고 있다. 최고정보책임자(CIO)나 최고기술책임자(CTO) 입장에서는 각 조직이 제각각 에이전트를 만들기 시작할 때 이를 어떤 기준으로 관리할지 결정해야 한다. IBM 소버린 코어는 이런 문제를 염두에 두고 여러 부서에 퍼진 에이전트를 통합 관리할 수 있도록 설계됐다.

IBM 씽크 2026에서 드러난 핵심은 분명하다. 기업용 AI 경쟁은 더 이상 모델 성능만으로 갈리지 않는다. 신뢰할 수 있는 인프라, 에이전트 관리 체계, 주권과 통제를 반영한 거버넌스, 그리고 이를 실제 사업 구조 개편으로 연결하는 실행력이 함께 요구된다. IBM은 오랜 엔터프라이즈 고객 기반과 시스템 신뢰성을 무기로 이 시장의 ‘기초 체력’을 담당하겠다는 전략을 분명히 하고 있다.