IBM “AI 경쟁, 모델 성능보다 ‘업무 내재화’가 승부처”…AI 퍼스트 전환 촉구

IBM이 인공지능(AI) 경쟁의 승부처로 ‘모델 성능’보다 ‘업무 내재화’를 제시했다. AI를 일부 파일럿이나 실험 단계에 머물게 둘 것이 아니라, 기업 운영 전반에 깊게 심어야 성과 격차가 벌어진다는 진단이다.

IBM($IBM) 최고경영자 아빈드 크리슈나(Arvind Krishna)는 6일 미국 보스턴에서 열린 ‘IBM 씽크 2026’ 첫날 기조연설에서 AI 시대의 핵심은 얼마나 많은 AI를 보유했는지가 아니라, 이를 실제 비즈니스 프로세스에 얼마나 깊게 통합했는지에 달려 있다고 밝혔다.

그는 지금을 AI의 ‘데이 제로(day zero)’로 규정했다. AI는 이미 현실이 됐지만, 여전히 많은 기업이 주변부 기능에만 제한적으로 활용하고 있다는 뜻이다. IBM은 이런 과도기를 놓치면 향후 기회 창이 빠르게 닫힐 수 있다고 봤다.

AI 퍼스트 기업으로의 전환

크리슈나는 AI가 더 이상 단순한 기술 프로젝트가 아니라 사실상 ‘비즈니스 모델’ 자체가 되고 있다고 강조했다. 이에 따라 예산 규모나 조직 인원보다 중요한 것은 기업이 AI 중심 운영 구조를 얼마나 끝단까지 구축했는지라고 설명했다.

IBM은 자사 내부에서 AI 도입으로 45억달러, 원화 약 6조5533억원 규모의 생산성 개선 효과를 거뒀다고 제시했다. 이 생산성 향상을 비용 절감에 그치지 않고 신규 제품과 서비스, 새로운 매출원으로 재투자하는 기업이 늘고 있다는 점도 함께 부각했다.

사례로는 사우디 아람코가 제시됐다. IBM은 아람코를 ‘AI 퍼스트’ 기업으로 소개하며, 단순 개념검증(PoC)을 넘어 실제 현장 운영에 AI를 투입하고 있다고 설명했다. 현장 도메인 전문성, 중소기업 교육, 업무 사이클 단축을 통해 측정 가능한 가치를 만들고 있다는 점이 핵심으로 꼽혔다.

다만 이런 변화는 단기간에 끝나지 않을 가능성이 크다. IBM의 메시지는 분명하지만, 실제로 데이터 구조와 의사결정 체계, 조직 설계를 바꾸는 작업은 수년에 걸친 대형 전환이 될 수 있다. 시장에서는 이런 운영 모델 전환이 완전히 자리 잡기까지 10년 안팎이 걸릴 수 있다는 관측도 나온다.

하이브리드 아키텍처가 AI의 기반

IBM은 기업 데이터가 한곳에만 있지 않다는 현실을 전제로, AI가 데이터가 있는 곳으로 가야 한다는 ‘하이브리드’ 전략을 다시 강조했다. 단일 시스템 의존이 커질수록 장애와 보안 리스크도 커지는 만큼, 안정성과 복원력을 갖춘 구조가 중요하다는 논리다.

이 전략의 축으로는 레드햇 오픈시프트(OpenShift), 해시코프 인수, 실시간 데이터 스트리밍 역량, 왓슨x 데이터(watsonx.data)가 제시됐다. IBM은 특히 실시간 데이터와 거버넌스를 결합해 AI 에이전트가 신뢰할 수 있는 정보 위에서 작동해야 한다고 봤다.

고객 사례로는 엘레밴스 헬스가 언급됐다. 이 회사는 수백 개 데이터 포인트를 활용하는 고객용 가상 비서를 통해 보험 혜택과 비용을 안내하고, 데이터 공유 계층을 통해 의료 제공자 간 상호운용성을 높였다고 IBM은 설명했다. 또 지급 무결성, 즉 사기·낭비·오남용 감시에도 AI 에이전트를 활용하고 있다고 소개했다.

IBM이 전달한 핵심은 명확하다. AI 성과는 챗봇 하나를 붙인다고 생기지 않는다. 데이터 기반과 플랫폼을 현대화한 뒤, 기획부터 배포까지 거버넌스를 내장한 상태로 워크플로우에 AI를 심어야 실질적인 효과가 나온다는 것이다.

양자컴퓨팅, 생각보다 빠른 상용화 접근

IBM은 양자컴퓨팅에 대해서도 기존 통념에 선을 그었다. ‘공상과학 수준’이라는 시각과 ‘과대평가됐다’는 시각 모두 틀렸으며, 이제는 과학보다는 ‘엔지니어링’의 단계로 넘어오고 있다는 주장이다.

크리슈나는 양자 우위가 예상보다 빠르게 다가오고 있으며, 양자컴퓨팅과 AI는 경쟁 관계가 아니라 상호 보완 관계라고 설명했다. 양자컴퓨팅이 AI가 계산하기 어려운 문제를 풀 수 있게 돕고, 반대로 AI는 알고리즘과 워크플로우 개선을 가속하는 역할을 한다는 것이다.

사례로는 클리블랜드 클리닉이 제시됐다. IBM은 이 기관이 생물의학 분야의 발견과 대규모 시뮬레이션에 양자 기술을 접목하고 있으며, 이는 생물학과 치료제 이해 방식을 바꿀 수 있는 중요한 변화라고 평가했다.

IBM이 내세운 AI 제품군

이번 행사에서 IBM은 운영 모델 전환을 지원하는 몇 가지 신제품과 플랫폼도 함께 부각했다.

‘IBM 밥(Bob)’은 단순 코드 보조를 넘어 기획부터 배포까지 개발 전 과정을 지원하는 플랫폼으로 소개됐다. IBM은 이 도구를 내부에서 대규모로 활용해 생산성과 전달 속도 개선 효과를 확인했다고 밝혔다.

‘소버린 코어(Sovereign Core)’는 규제와 지정학 변화 속에서도 실행 환경 수준에서 주권성과 통제를 유지할 수 있도록 설계된 솔루션으로 제시됐다.

공개 프리뷰로 소개된 ‘콘서트(Concert)’는 복잡해지는 시스템 환경에서 단순 모니터링을 넘어 AI 기반 조정과 대응을 수행하는 계층으로 설명됐다.

빠진 퍼즐은 ‘통합 레이어’

이번 기조연설은 ‘AI 퍼스트’, ‘하이브리드’, ‘거버넌스’라는 큰 줄기를 일관되게 제시했다는 평가를 받는다. 다만 기업 현장에서 AI 야심과 실제 운영 실행 사이의 간극을 메우려면, 분절된 데이터를 하나의 의미 체계로 통합하는 상위 레이어가 필요하다는 지적도 나온다.

즉 여러 클라우드와 애플리케이션, 엣지 환경에 흩어진 데이터와 정책, 권한, 프로세스를 연결해 ‘신뢰 가능한 업무 표현’으로 바꿔주는 계층이 있어야 한다는 뜻이다. 단순히 커넥터를 더 붙여 데이터를 모으는 방식만으로는 AI 에이전트가 안전하고 반복 가능하게 작동하기 어렵다.

IBM은 실시간 데이터, 거버넌스, 하이브리드 인프라, AI 플랫폼이라는 핵심 부품은 상당 부분 갖췄다는 평가를 받는다. 다만 이를 하나의 완성된 ‘엔드투엔드 통합 스토리’로 더 선명하게 제시해야 시장 지배력을 키울 수 있다는 분석이 뒤따른다.

결국 IBM의 이번 메시지는 AI를 별도 기능이 아니라 기업 운영의 중심축으로 재설계하라는 데 모인다. AI 경쟁은 이제 기술 시연이 아니라 실행 구조의 경쟁으로 이동하고 있으며, 승자는 데이터를 정리하고 통제하며 이를 실제 업무 흐름에 연결한 기업이 될 가능성이 크다.