IBM, 기업 AI ‘운영 단계’ 겨냥…승부수는 하이브리드·거버넌스

IBM이 기업용 인공지능(AI) 시장에서 ‘속도’, ‘비용 절감’, ‘보안’을 전면에 내세우며 존재감을 키우고 있다. 핵심은 규제가 많고 시스템이 복잡한 기업 환경에서도 AI를 실제 업무 흐름에 맞춰 운영할 수 있게 하는 ‘하이브리드 AI’ 전략이다.

IBM은 이를 ‘워크로드 우선’, ‘어디서나 실행’, ‘중앙 통제형 거버넌스’, ‘인프라 추상화’ 모델로 설명한다. 쉽게 말해 특정 클라우드나 단일 시스템에 종속되지 않으면서도, 기업이 AI를 통제 가능한 형태로 도입하도록 돕겠다는 뜻이다. IBM은 전 세계 175개국, 28만명 규모의 자사 조직에 먼저 AI 제품을 적용하는 ‘클라이언트 제로’ 전략도 병행하고 있다. 외부 고객에 앞서 자사 내부에서 검증한 뒤 시장에 내놓는 방식이다.

시장 반응도 나쁘지 않다. IBM은 4월 중순 실적 발표에서 소프트웨어와 인프라 부문 매출 증가를 공개했다. 특히 신규 메인프레임 제품군 매출은 48% 급증했다. 이는 AI 수요와 기존 기업용 인프라 수요가 맞물린 결과로 해석된다.

AI 실험에서 운영 단계로

오는 5월 12일 열리는 ‘IBM 씽크’ 행사에서는 기업들이 AI 실험 단계를 넘어 실제 운영 환경으로 옮기는 흐름이 주요 의제로 다뤄질 전망이다. 특히 여러 AI 에이전트를 동시에 관리하는 ‘에이전틱 AI’와 이를 통합 제어하는 거버넌스 체계가 핵심 화두가 될 것으로 보인다.

IBM은 이 과정에서 자신을 기업 AI의 ‘제어 계층’으로 포지셔닝하고 있다. 하이브리드 클라우드 통합, 신뢰 가능한 데이터 파이프라인, 다중 에이전트 운영 인프라를 함께 제공하겠다는 구상이다. 이는 대규모언어모델(LLM) 자체 경쟁보다, 기업이 AI를 실제 업무에 안정적으로 접목하는 데 무게를 둔 전략으로 읽힌다.

올해 초 공개한 ‘IBM 소버린 코어’도 같은 흐름에 있다. 이 플랫폼은 기업과 정부 기관이 AI와 클라우드 워크로드를 더 직접적으로 통제하도록 설계됐다. 데이터 주권과 규제 준수 요구가 강화되는 상황에서, IBM은 개방형 프레임워크와 파트너 생태계를 통해 유연성을 높이려 하고 있다.

양자컴퓨팅과 ‘포스트 양자 보안’ 준비

IBM의 또 다른 축은 양자컴퓨팅이다. IBM 씽크 행사에서는 해마다 양자 기술 관련 발표가 이어져 왔고, 올해도 관련 청사진이 나올 가능성이 크다.

대표적으로 IBM은 시스코와 협력해 이른바 ‘양자 인터넷’ 구축을 추진 중이다. 서로 떨어진 양자컴퓨터를 연결하고, 장기적으로는 수십 대 규모의 분산 아키텍처로 네트워크를 확장하는 것이 목표다.

보안 대응도 병행하고 있다. IBM은 2035년까지 기존 공개키 기반 암호 알고리즘이 점차 퇴출될 가능성에 대비해 ‘포스트 양자 보안’ 체계를 준비하고 있다. 지금까지 널리 쓰인 암호화 방식이 미래의 양자컴퓨터 앞에서는 취약해질 수 있기 때문이다.

IBM 보안 부문 관계자는 최근 인터뷰에서 지금 필요한 것은 ‘크립토 애질리티’, 즉 암호 체계를 빠르게 전환할 수 있는 유연성이라고 강조했다. 기존처럼 시스템에 암호 방식이 고정된 구조로는 새 위협에 대응하기 어렵다는 설명이다.

엔비디아·Arm과 협력…데이터 접근성 강화

IBM은 자체 기술뿐 아니라 협력과 인수합병을 통해서도 기업 AI 전략을 강화하고 있다. 3월에는 엔비디아($NVDA)와 협력을 확대해 기업의 대규모 AI 도입을 지원하겠다고 밝혔다. IBM 도구를 엔비디아 네모트론과 연결해 문서 추출을 가속하고, IBM의 통합 데이터 접근 계층을 엔비디아 GPU 파이프라인과 결합하는 내용이 포함됐다.

4월 초에는 Arm과 손잡고 AI와 데이터 집약형 워크로드를 위한 새로운 듀얼 아키텍처 하드웨어 개발 계획도 공개했다. 이는 특정 반도체 구조에 의존하지 않고 다양한 시스템 환경을 원하는 기업 수요를 겨냥한 행보다.

또 IBM은 지난해 12월 스트리밍 데이터 기업 컨플루언트 인수를 통해 실시간 데이터 처리 역량도 키웠다. 복잡한 하이브리드 클라우드 환경에서 신뢰할 수 있는 데이터를 즉시 활용하려는 기업 수요에 대응하려는 포석으로 해석된다.

핵심은 ‘신뢰 가능한 AI 운영’

IBM의 방향은 분명하다. 최첨단 모델 경쟁에만 매달리기보다, 실제 기업 환경에서 신뢰할 수 있는 AI를 운영하는 데 초점을 맞추고 있다. 이는 화려한 기술 시연보다 도입 후 관리, 규제 대응, 보안, 데이터 통합이 더 중요한 대기업 시장의 현실과 맞닿아 있다.

관건은 IBM이 기업 AI의 ‘기록 시스템’이자 핵심 운영 플랫폼으로 자리 잡을 수 있느냐다. 단순히 AI 스택의 여러 공급자 중 하나에 머물지, 아니면 기업 AI 인프라의 중심축이 될지는 이번 IBM 씽크를 전후해 더 선명해질 전망이다.

하이브리드 AI, 양자컴퓨팅, 데이터 접근 전략을 동시에 밀고 있는 IBM의 행보는 기업용 AI 시장이 이제 ‘실험’보다 ‘운영’ 경쟁으로 넘어가고 있음을 보여준다.