기업용 AI 성패, 모델이 아니라 ‘맥락’… 에이전트 시대 7가지 조건

기업용 인공지능(AI) 도입이 ‘실험’ 단계를 넘어 실제 업무 투입으로 옮겨가고 있지만, 현장에서는 여전히 기대만큼 성과가 나지 않는 경우가 많다. 업계에서는 그 이유로 더 뛰어난 모델의 부재보다 ‘맥락’ 부족을 지목한다. 아무리 성능이 좋은 AI 에이전트라도 기업 내부 지식과 업무 문맥이 제대로 주어지지 않으면 의사결정 단계에서 멈춰선다는 의미다.

바네사 리우 앱엔(Appen Ltd.) 의장은 최근 더큐브(theCUBE)와 뉴욕증권거래소(NYSE) 공동 행사에서 “데이터는 기업이 AI를 활용하는 데 매우 중요하다”며 “아무리 뛰어난 직원도 입사 후 조직에 맞는 온보딩이 필요하듯, AI 에이전트에도 비즈니스 맥락을 제공해야 제대로 작동한다”고 말했다. 이 자리에는 스티브 해스커 톰슨로이터(Thomson Reuters Corp.) 최고경영자(CEO)를 비롯해 데이터 인프라, 금융, 기업 현대화, 오픈소스 AI 분야 경영진이 참석해 ‘에이전트를 어떻게 실제 업무에 안착시킬 것인가’를 논의했다.

1. 기업 경쟁력은 결국 ‘독점 데이터’에 달려 있다

발표자들은 최첨단 AI 모델만으로는 차별화가 어렵다고 입을 모았다. 핵심은 기업이 오랜 기간 축적한 내부 데이터와 현업 지식이다. 리우 의장은 기업 고유의 전문성이 체계적으로 정리되지 않은 경우가 많다고 짚었고, 해스커 CEO는 앞으로 경쟁력 있는 에이전트는 단순히 ‘쓸 만한가’가 아니라 ‘시장 내 방어력 있는 데이터 해자를 갖췄는가’로 평가받게 될 것이라고 봤다.

2. 이용자도, 에이전트도 기다려주지 않는다

속도는 이제 선택이 아니라 기본 조건으로 꼽힌다. 아리엘 슐먼 브라이트데이터(Bright Data Ltd.) 최고제품책임자(CPO)는 사용자가 챗봇 화면에서 ‘웹 검색 중’이라는 문구를 보는 순간 인내심 시계가 작동한다고 설명했다. 브라이트데이터는 현재 챗봇 응답의 출발점이 되는 웹 스크래핑 데이터를 공급하고 있으며, 페이지 전달 시간을 1초 이하, 중간값 기준 500밀리초(ms) 수준으로 맞추고 있다고 밝혔다. 데이터를 가져오는 속도가 늦으면 에이전트가 답변을 정리하기도 전에 사용자가 이탈할 수 있기 때문이다.

3. 돈을 다루는 AI 에이전트엔 ‘계좌’와 신원 체계가 필요하다

AI 에이전트가 결제나 송금 같은 금융 행위를 맡으려면 인간의 신분증과 비슷한 수준의 인증 체계가 필요하다는 주장도 나왔다. 숀 네빌 카테나랩스(Catena Labs Inc.) 공동창업자 겸 CEO는 은행이 해당 에이전트가 누구를 대신하는지, 무엇을 할 수 있는지, 왜 그런 행동을 했는지 검증할 수 있어야 한다고 말했다. 이른바 ‘에이전트를 위한 고객확인(Know Your Agent)’ 체계를 통해 금융 자동화의 책임성과 추적 가능성을 확보하겠다는 구상이다.

4. ‘벤더 종속’ 넘어 이제는 ‘토큰 종속’이 문제다

특정 AI 모델 하나에 모든 시스템을 맞춰 구축하면 향후 비용 통제력을 잃을 수 있다는 경고도 제기됐다. 우드슨 마틴 아웃시스템즈(OutSystems Inc.) CEO는 단일 프런티어 모델에 의존하는 기업은 추론 비용이 누적될수록 수익성 압박을 받게 된다고 지적했다. 그는 기반 시스템을 다시 짜지 않고도 실행 중인 모델을 교체할 수 있는 플랫폼 계층이 필요하며, 이것이야말로 에이전트 전략에서 손익 관리를 가능하게 하는 현실적 해법이라고 강조했다.

5. AI 도구를 ‘주는 것’과 실제로 ‘쓰게 하는 것’은 다르다

현장 활용도와 경영진 인식 사이의 간극도 크다. 타이 카미 워크미(WalkMe Ltd.) 최고정보책임자(CIO)는 경영진의 80%가 직원들에게 훌륭한 AI 도구를 제공하고 있다고 생각하지만, 실제로 이에 동의하는 직원은 소수에 불과하다고 말했다. 문제는 도구의 숫자가 아니라 적절한 순간에 얼마나 자연스럽게 기능이 제시되느냐다. 업무 흐름 안에서 필요한 순간 바로 쓰게 만드는 ‘맥락 기반 유도’가 없다면 AI 투자 효과는 떨어질 수밖에 없다는 설명이다.

6. 가장 강한 모델로 시작하고, 이후 더 싼 대안을 찾아야 한다

비용 절감을 먼저 앞세우는 접근은 전략적 실수라는 의견도 나왔다. 우 칭윈 AG2ai 대표는 우선 최고 성능의 모델로 가능한 수준을 확인한 뒤, 오픈소스 모델 등 저렴한 대안이 같은 수준의 성능을 낼 수 있는지 비교해야 한다고 말했다. 처음부터 값싼 모델에 맞춰 출발하면 기업이 필요한 수준의 역량 자체를 놓칠 수 있다는 뜻이다. 이후에야 비용 효율화와 성능 균형을 함께 맞출 수 있다는 분석이다.

7. 파일럿은 쉽지만, 실제 운영 단계에서 가장 많이 무너진다

가장 큰 위험은 시범사업이 아니라 운영 환경에서 드러난다. 바 모지스 몬테카를로데이터(Monte Carlo Data Inc.) 공동창업자 겸 CEO는 초기 개념검증(POC)에서는 잘 돌아가던 에이전트가 실제 배포 후 오래된 데이터를 참조하거나, 추론 단계를 건너뛰거나, 토큰 비용을 과도하게 쓰거나, 테스트에서 걸러지지 않은 ‘환각’을 내놓는 경우가 많다고 설명했다. 특히 법원은 이미 에이전트 행동에 대한 최종 책임이 사용자가 아니라 해당 서비스를 만든 기업에 있다고 판단하고 있어, 기업 입장에서는 통제와 감시 체계를 갖추는 일이 더 중요해졌다.

결국 기업용 AI의 다음 경쟁은 모델 성능 자체보다 ‘얼마나 정확한 맥락을 넣어주고, 얼마나 안정적으로 운영하느냐’에 달려 있다는 평가가 나온다. AI 에이전트가 실제 업무를 대신하는 시대가 가까워질수록, 기업의 독점 데이터와 내부 지식, 속도, 비용 통제, 책임 구조가 성패를 가르는 핵심 기준으로 자리 잡을 가능성이 커 보인다.