기업의 급격한 디지털 전환 흐름 속에서 AI 에이전트는 차세대 혁신의 열쇠로 주목받고 있다. 그러나 최근 가트너의 전망에 따르면 현재 진행되고 있는 기업용 AI 에이전트 프로젝트 중 40% 이상이 오는 2027년까지 중단될 가능성이 높다는 우려 섞인 분석이 나왔다. AI 에이전트에 대한 과도한 기대와 잘못된 적용 방식이 오히려 시행착오만 키우고 있다는 지적이다.
이 같은 관측은 지난 몇 년간 논란이 된 다양한 실험에서 단초를 찾을 수 있다. 올해 초 카네기멜런대학교는 가상의 소프트웨어 회사를 구성하고, 전 직원을 LLM 기반의 AI 에이전트로 대체하는 실험을 진행했다. 인간의 개입 없이 업무를 수행하도록 지시된 이 에이전트들은 전체 과업 중 평균 10~24%만을 처리했으며, 각 작업에는 건당 평균 약 6달러(약 8,640원)의 비용이 소요됐다. 단순한 팝업 차단조차 해결하지 못하는 장면은 기술의 한계를 여실히 드러냈다.
이 실험 결과는 AI 에이전트에 대한 기대가 지나치게 앞서 있다는 것을 방증한다. 마크 베니오프, 젠슨 황, 사티아 나델라, 마크 저커버그와 같은 실리콘밸리 대표 CEO들이 AI 에이전트를 조직의 '가상 비서'로 내세우며 찬사를 보낸 것과는 대조적이다. 하지만 이런 낙관론은 현실과 괴리가 크다는 비판이 커지고 있다. 일각에서는 “AI가 인간의 일자리를 빠르게 대체할 것”이라는 담론이 그릇된 전제를 기반으로 구축됐다는 지적도 나온다.
AI 에이전트는 인간을 완전히 대체하기 위해 개발된 것이 아니라 기존의 업무를 보조하고 효율성을 높이는 도구다. 카네기멜런대 실험이 실패한 근본 원인은 기술의 부족이라기보다는, AI의 전략적 통합 부재와 구조 없는 투입 때문이다. 복잡한 조직에 AI를 도입할 때 필요한 것은 단순히 도구로서의 기술 전달이 아닌, 그 기술을 활용할 수 있는 체계적 인프라 구축이다.
가트너의 애널리스트 아누슈리 베르마는 “현재 많은 프로젝트가 유행에 따라 시작됐고, 적용 목적이 불분명한 경우가 많다”며 실패의 원인을 잘못된 도입 방식에서 찾았다. 전문가들은 에이전트를 구성하는 기술 그 자체보다, 이를 어떤 방식으로 조직 내에 배치하고 연동시킬 것인지가 관건이라고 강조한다. 에이전트 간 협력 방식, 인간과의 교차작업, 데이터 연결성 등 엔터프라이즈 환경에 맞춘 정교한 지휘 시스템이 필요하다는 판단이다.
보다 현실적인 접근법은, 에이전트를 전통 소프트웨어의 대안으로 보고 조직의 전반적인 작업 흐름과 결합시켜야 진가를 발휘할 수 있다는 데 초점을 두는 것이다. 특히 법무, 인사, IT 같은 공통 관리 부서에서는 AI의 잠재력을 실질적 생산성으로 바꾸기 위한 시도가 활발히 이뤄지고 있다. 이를 통해 향후에는 인간 중심의 사용자 경험을 개선하고, 프로세스 추적성과 규정 준수 자동화를 실현할 수도 있다는 기대가 나온다.
결국 AI 에이전트의 성공 여부는 기술력 그 자체가 아니라 조직 전략과 구조 설계라는 전통적 역량에 달려 있다. 잘 설계된 역할 구조와 명확한 운영 기준이 있을 때만이, AI 에이전트가 효율성과 창의성 모두를 증대시킬 수 있는 진정한 조력자가 될 수 있다. 이는 기술 도입이 곧 자동 혁신이 아님을 다시금 일깨워준다. 제대로 된 궁극의 질문은 에이전트가 무엇을 할 수 있는가가 아니라, 기업이 이를 통해 무엇을 의도하고 어떻게 준비하고 있는가인 셈이다.