‘CAIO’ 바람 불지만… AI 성과 낼 열쇠는 따로 있다

기업들이 AI 전략을 본격화하며 ‘최고 인공지능 책임자(CAIO·Chief AI Officer)’라는 새로운 C레벨 직책이 뜨고 있다. 다만 기대만큼 실질적인 성과로 이어지는 경우는 드물어, AI 전환의 병목지점이 여전히 존재한다는 점도 드러났다.

IBM 기업가치연구소(IBM Institute for Business Value)가 두바이미래재단, 옥스퍼드 이코노믹스와 함께 수행한 글로벌 조사에 따르면, 최고 인공지능 책임자를 둔 기업은 AI 예산 투자 대비 평균 10% 높은 수익과 24% 더 많은 혁신을 달성한 것으로 나타났다. 해당 연구는 총 22개국 21개 산업 분야에서 활동 중인 600여 명의 CAIO를 대상으로 진행됐다.

최고 인공지능 책임자는 아직은 흔하지 않지만 빠르게 확산되고 있다. 2023년까지만 해도 CAIO를 도입한 기업 비율이 11%에 불과했지만, 올해는 25%로 증가했고, 응답 기업의 3분의 2는 향후 2년 안에 대부분의 기업이 CAIO를 갖추게 될 것으로 예상했다. 기업들이 이 직책을 신설하는 가장 큰 목적은 AI 전략 실행 속도를 높이고 도입 범위를 확대하는 데 있다.

CAIO의 업무는 AI 전략 수립, 기술 구현, 예산 편성 및 변화관리 전략 개발 등으로 구성되며, 일반적으로 내부 인력 중에서 승진한 인물이 많은 비중을 차지한다. 조사 참여자의 57%는 내부에서 선발되었으며, 이들 중 상당수가 데이터 관련 경력(73%)과 함께 비즈니스 전략(57%), 혁신(56%), 엔터프라이즈 기술(54%) 등 다방면의 능력을 갖추고 있었다. 업무 범위가 넓고 조직적 소통이 중요한 만큼, CAIO가 단순 기술 리더가 아닌 포괄적 AI 변혁의 조력자로 기능해야 한다는 게 보고서의 핵심 메시지다.

CAIO의 전략적 중요도에 대한 인식은 명확했다. 72%는 AI의 영향력을 측정하지 않으면 자칫 시장에서 뒤처질 수 있다고 경고했고, 68%는 현재 영향도를 정량적으로 평가할 수 없어도 일단 AI 프로젝트를 추진한다고 밝혔다. 이 같은 ‘성과 예측 불가능성’은 AI 특성상 필연적인 요인이기 때문이다.

다만 AI 프로젝트의 정착을 위한 핵심 과제인 ROI 정량화, 적정 예산 확보, 윤리·거버넌스 체계 확립 등은 CAIO들의 우선순위에서는 밀려 있었다. 보고서는 이에 대한 구체적인 이유는 밝히지 않았지만, 조직 내 실무와 C레벨 간 전략 방향 간 괴리 가능성을 내포한다.

경영진의 지원 수준은 확실히 높아졌다. CAIO의 80%는 최고경영진의 지지를 받고 있으며, 57%는 CEO 혹은 이사회에 직접 보고한다고 응답했다. 최근 3년간 정보기술(IT) 예산 중 AI 분야는 62%나 증가했으며, CEO들은 연평균 31% 수준의 AI 관련 투자 확대를 2027년까지 이어간다는 계획을 밝혔다.

그러나 여전히 현실은 냉정하다. 대부분의 기업들이 AI 예산을 시범 프로젝트(Pilot)에 집중하고 있으며, 지난 2023년 이후 실질적인 기대 수익률을 달성한 AI 프로젝트는 25%에 불과했다. 이는 기술 성숙도 미비와 툴 과잉 현상 때문이다. 평균적으로 각 기업은 11개의 생성형 AI 모델을 사용 중이며, 2026년까지 최소 16개 이상으로 확대할 계획을 갖고 있다. 문제는 벤더별 제안이 난립하고 있어 데이터 적용과 통합 작업에서 병목이 발생한다는 점이다. 절반의 기업은 이 문제 때문에 내부 데이터를 AI 프로젝트에 온전히 활용하지 못하고 있다고 답했다.

조직 운영 방식에서도 변화가 요구된다. 기존에는 부서별 분산형 구조가 일반적이었으나, 보고서에 따르면 중앙 허브 기반 구조로 개편한 기업은 AI 파일럿의 실제 전환율이 두 배에 달했으며, ROI 역시 36% 더 높았다. ‘중앙 집중형’ 모델이 실행 효율성과 기술 소유권 명확화를 동시에 달성한다는 것이다. 두바이 도로교통청의 무함마드 알 무다렙(Mohammed Al Mudharreb) CAIO는 이를 통해 신속한 시스템 도입과 책임 소재 명확화가 가능했다고 밝혔다.

AI 전략이 성공하려면 단순히 책임자를 지정하는 것만으로는 충분하지 않다. 인사, 운영, 기술 부문이 긴밀하게 엮여야 한다는 것이 보고서의 핵심 결론이다. 최고운영책임자는 운영 리스크와 품질을 통제하며 워크플로우를 AI 중심으로 재설계해야 하고, 최고기술책임자는 AI 친화적 기술 스택과 데이터 아키텍처를 갖춰야 하며, 최고인사책임자는 AI 리터러시 강화와 조직 문화 혁신을 주도해야 한다.

핵심 차별화 요소는 ‘측정, 협업, 권한’이다. 높은 성과를 낸 기업은 AI 전문가, 머신러닝 엔지니어, 전략가가 함께 일하며, 기능 조직 곳곳에 AI 기술 인력이 분산 배치돼 그림자 프로젝트 발생을 원천 차단했다. 이들이 집중한 영역은 수익, 생산성, 고객 만족도 등 기업의 핵심 KPI였다.

결국 AI 성과를 내려면 ‘임명’보다 ‘실행 기반’ 전환이 시급하다. 데이터 흐름, 안전한 인프라, 인사 시스템이 결합된 기술 스택, 그리고 경영진과 실무진 간의 긴밀한 협업이 뒷받침돼야만 혁신이 지속 가능하다. AI는 조직 구조, 권한 설계, 문화 전체를 바꾸는 총체적 과업임을 이번 조사는 명확히 보여주고 있다.