[메타콘 2026] "AI 도입했는데 왜 안 바뀔까"...딜로이트·SAP가 짚은 AX 실패의 이유

AI를 도입했지만 기대만큼의 성과를 내지 못하는 기업이 적지 않은 가운데, 전문가들은 원인을 AI 기술이 아니라 문제 정의와 데이터, 조직 문화에서 찾으며 "AI는 IT 프로젝트가 아니라 비즈니스 트랜스포메이션"이라고 입을 모았다.

3일 서울 코엑스 그랜드볼룸에서 열린 '메타콘 2026'에서는 'AI 도입의 딜레마, 왜 아무것도 바뀌지 않는가'를 주제로 패널토론이 진행됐다. 유훈식 서울미디어대학원대학교 교수가 좌장을 맡았으며 제시카 김 딜로이트 코리아 파트너와 정수지 SAP 아시아·태평양(APAC) 비즈니스 AI 전략 어드바이저가 패널로 참여해 기업 AI 도입 과정에서 마주하는 현실적인 과제와 대응 전략을 공유했다.

AI 도입은 늘었는데 성과는 왜 없을까

유훈식 교수는 "지난 2~3년간 생성형 AI를 적극 도입했지만 왜 많은 기업에서 아무것도 바뀌지 않았는가"라는 질문으로 패널 세션을 시작했다.

제시카 김 파트너는 가장 큰 원인으로 AI를 하나의 IT 솔루션처럼 접근한 점을 꼽았다. 시간이 오래 걸리고 비용이 많이 드는 데이터 구축을 외면한 채 문제 정의도 건너뛰고 AI부터 도입하려 했다며 "AI는 반드시 필요한 곳에 적용해야 효과가 나는 만큼 문제 정의가 AI 도입의 출발점"이라고 강조했다.

이어 초기 생성형 AI의 할루시네이션 문제는 크게 개선됐지만 결국 LLM의 성능을 좌우하는 것은 데이터라며 "비정형 데이터가 정제되지 않고 파편화돼 있는 경우가 많다"고 말했다. 그러면서 "AI가 잘 활용할 수 있는 데이터 플랫폼을 만드는 것이 무엇보다 중요하다"고 설명했다.

또한 워크플로 정의 역시 핵심 과제로 제시했다. AI가 어떤 업무에서 어떤 역할을 수행해야 하는지 사람이 먼저 이해하고 설계해야 자동화가 가능하며, AI가 일자리를 대체할 것이라는 조직 내 두려움도 워크플로 설계를 어렵게 만드는 요인이라고 진단했다.

정수지 SAP APAC 비즈니스 AI 전략 어드바이저 역시 "AI가 목적이 돼버린 것이 문제"라고 지적했다. 그는 "AI니까 도입해야 한다는 접근이 아니라 기업의 페인 포인트가 무엇인지, 어떤 문제를 AI로 해결할 수 있는지부터 고민해야 한다"고 말했다.

또한 AI 프로젝트의 성패는 결국 데이터 품질에서 갈린다며 "데이터 정제와 품질 확보가 모델 개발의 대부분을 차지하지만 실제 기업의 데이터는 준비되지 않은 경우가 많다"고 설명했다. 이어 데이터 품질과 거버넌스를 함께 관리하는 체계가 필요하다고 강조했다.

아울러 비즈니스 유저의 참여 부족도 실패 원인으로 꼽았다. AI 프로젝트가 IT 부서 중심으로 추진되다 보니 현업의 요구사항이 제대로 반영되지 않았고, 변화관리와 교육이 부족해 실제 채택률도 낮아졌다는 설명이다.

AX 성공의 조건

두 번째 질문에서는 기업들이 이러한 AX의 어려움을 어떻게 극복해야 하는지가 논의됐다.

제시카 김 파트너는 최근 조사에서 AI 도입으로 재무성과와 ROI를 달성한 기업이 5%에 불과했다는 사례를 소개하며 "AI를 하나의 테크놀로지 도입으로 생각하는 관점부터 내려놓아야 한다"고 강조했다. 그는 "AI는 RPA 같은 기술이 아니라 비즈니스 트랜스포메이션"이라며 기업 전체가 AI와 함께 일하는 방식으로 사고를 전환해야 한다고 말했다.

또한 데이터는 하루아침에 쌓이지 않는 만큼 지금부터 데이터 거버넌스를 구축하고, 사람이 수행하는 업무를 면밀히 분석해 AI가 가장 잘할 수 있는 영역을 찾는 것이 성공의 핵심이라고 설명했다.그는 "좋은 AI 모델은 페라리 엔진과 같지만, 정제되지 않은 데이터를 넣으면 원하는 성능은커녕 할루시네이션만 만들어낸다"며 지속적으로 양질의 데이터를 공급하는 체계가 필요하다고 말했다.

아울러 AI 거버넌스는 규정을 만드는 데 그치는 것이 아니라 실제 운영 과정에서 발생하는 리스크를 지속적으로 감지하고 관리하는 운영 체계까지 포함해야 한다고 덧붙였다.

정수지 어드바이저는 성공적인 AI 프로젝트의 조건으로 강력한 리더십과 작은 성공 사례를 제시했다. 그는 AI 전환 과정에서는 인프라와 조직, 의사결정 등 다양한 허들이 발생하는 만큼 C레벨의 강력한 지원이 필수적이라고 말했다.

이어 실제 현업의 페인 포인트를 해결하는 작은 MVP부터 시작해 성과를 조직 전체로 확산하는 방식이 성공 확률을 높인다고 설명했다. "작은 성공이 결국 큰 AI 전환으로 이어진다"며 단계적으로 가치를 입증하는 접근이 중요하다고 강조했다.

AI 시대 기업이 준비해야 할 것..."데이터·사람·거버넌스"

앞으로 2~3년 동안 기업이 AI 경쟁력을 확보하기 위해 가장 먼저 준비해야 할 요소도 논의됐다.

제시카 김 파트너는 "AI 시대에는 데이터가 기업의 가장 중요한 자산"이라며 AI가 활용할 수 있는 형태로 데이터를 축적하고 관리하는 역량이 경쟁력을 결정한다고 말했다.

다만 데이터만으로는 충분하지 않다며 "AI가 실제 업무에 정착하려면 조직 구성원 모두가 AI를 이해하고 활용할 수 있는 역량을 갖춰야 하며, 이를 뒷받침할 변화관리(Change Management)가 함께 이뤄져야 한다"고 짚었다. 또한 AI 거버넌스 역시 규제 대응을 넘어 조직이 AI를 안전하고 지속적으로 활용하기 위한 운영 체계로 자리 잡아야 한다고 덧붙였다.

정수지 어드바이저는 "결국 AI는 사람이 사용하는 것"이라고 강조했다. 그는 아무리 뛰어난 기술을 도입해도 현업이 실제로 사용하지 않으면 의미가 없다며 AI를 업무에 자연스럽게 녹여낼 수 있는 사용자 경험과 조직 문화가 중요하다고 설명했다.

또한 앞으로 기업은 하나의 거대 모델에 의존하기보다 목적에 맞는 여러 모델을 조합해 활용하는 시대를 맞게 될 것이라고 전망했다. 이에 따라 모델 자체보다 어떤 업무에 어떤 모델을 선택하고 운영할 것인지에 대한 전략과 관리 역량이 기업 경쟁력을 좌우하게 될 것이라고 말했다.

AI 시대 인재의 조건은 '문제 해결력'

마지막으로 AI 시대 기업이 필요로 하는 인재상에 대해서도 의견을 나눴다.

제시카 김 파트너는 "기술은 계속 바뀌지만 문제를 정의하고 해결하는 능력은 변하지 않는다"며 "AI를 잘 쓰는 사람보다 AI를 활용해 비즈니스 문제를 해결하는 사람이 더욱 중요해질 것"이라고 강조했다.

또한 새로운 기술을 두려워하지 않고 직접 경험하는 태도의 중요성도 언급했다. "완벽하게 준비한 뒤 시작하기보다 작은 실험을 반복하며 AI 활용 경험을 축적하는 사람이 경쟁력을 갖게 될 것"이라고 말했다.

정수지 어드바이어 역시 호기심과 실행력을 핵심 역량으로 꼽았다. 그는 AI 기술은 매우 빠르게 발전하고 있어 하나의 모델이나 도구만 익혀서는 경쟁력을 유지하기 어렵다며 "새로운 기술을 계속 학습하고 직접 활용해 보는 자세가 중요하다"고 말했다.

이어 AI는 결국 사람의 업무를 대신하는 것이 아니라 사람의 역량을 확장하는 도구인 만큼 AI를 얼마나 많이 아느냐보다 자신의 업무에 어떻게 적용하고 새로운 가치를 만들어낼 수 있느냐가 앞으로 기업이 평가하는 핵심 역량이 될 것이라고 전망했다.

메타콘 2026은 7월 3~4일 서울 코엑스 그랜드볼룸에서 열리는 AI 컨퍼런스로, "AI Makers Rise"를 주제로 AI 시대를 이끄는 기업과 빌더들의 전략과 실행 경험을 공유한다. AI 기술과 엔터프라이즈 혁신, 마케팅, 투자까지 아우르는 확장된 프로그램을 통해 AI가 만들어갈 새로운 산업과 일의 변화를 조망하는 자리다.