기업들이 AI 에이전트를 실제 업무에 도입하면서, 이 기술의 잠재력과 위험 요소를 동시에 마주하고 있다. 특히 생성형 AI 기반 에이전트(agentic AI)의 활용에서 가장 중요한 과제로 ‘검증 체계 구축’이 부상하고 있다. 최근 샌프란시스코에서 열린 테크 콘퍼런스 '벤처비트 트랜스폼 2025'에서는 AI 전환을 주도하고 있는 주요 기업들이 모여, 에이전트형 AI 기술의 운영과 확산에 수반되는 복잡성과 그 해결책을 심층 분석했다.
로켓 컴퍼니스(Rocket Companies)의 최고기술책임자(CTO) 션 말호트라(Shawn Malhotra)는 "웹사이트에 도입된 AI 에이전트 기반 대화형 인터페이스를 통해 고객 전환율이 3배 가까이 높아졌다"고 말했다. 특히 모기지 대출 심사 과정에서 이전까지 며칠이 걸리던 증여세 계산 업무를 단 2일 만에 자동화하며, 연간 100만 달러(약 14억 4,000만 원) 이상의 비용을 절감했다고 설명했다. 그는 이는 단순한 비용 절감이 아니라 "직원이 핵심적인 고객 응대에 더 많은 시간을 쏟을 수 있게 해 비즈니스 전반의 처리량까지 올라갔다"고 강조했다.
그러나 이러한 성과는 접근 방식의 변화 없이는 불가능했다. 샌드버드(Sendbird)의 프로젝트 총괄 부사장 샤일레시 날라와디(Shailesh Nalawadi)는 "소프트웨어가 항상 동일한 출력을 내는 기존 프로그래밍과 달리, 대규모 언어모델(LLM)은 확률 기반이기 때문에 같은 질문에도 항상 다른 결과가 나온다"고 지적했다. 개발자뿐 아니라 제품 관리자, UX 디자이너까지도 이 새로운 패러다임에 적응해야 한다는 얘기다.
또한 대화형 AI 플랫폼 코그니지(Cognigy)의 AI 전환 총괄인 타이스 완더스(Thys Waanders)는 "현재는 대부분의 상용 LLM이 안정적으로 작동하는 단계에 다다랐지만, 수천만 건의 대화를 처리하려면 모델 접속량 확보부터 예상치 못한 응답까지 수많은 요소를 고려해야 한다"고 밝혔다. 실제 고객 중에서는 연간 3,000만 건 이상의 대화를 자동화하는 사례도 존재하며, 이 경우 LLM의 성능뿐 아니라 응답 속도와 처리 순서까지 정밀하게 조율해야 한다는 설명이다.
기술적 과제는 여기에서 끝나지 않는다. 말호트라는 "수백에서 수천 개의 에이전트를 동시에 운영하는 환경을 상상해보면, 어떤 요청을 어느 에이전트에게 할당할지 판단하는 오케스트레이션의 복잡성이 점점 더 커지고 있다"고 말했다. 응답 속도가 곧 고객 경험을 좌우하는 상황에서, 에이전트 간 통신 지연이나 오작동은 비즈니스 리스크가 될 수 있다.
이러한 복잡성을 해결하려면 단순히 내부 개발만으로는 한계가 있다. 초기에는 대부분 기업들이 자체적으로 에이전트형 시스템을 구축해왔지만, 최근에는 복수 모델 운영, 유지보수, 지속적 개선을 위해 외부 파트너사와의 협업이 필수 요소로 여겨지고 있다. 날라와디는 "내부에서 1.0 버전까지는 만들 수 있지만, 이를 확장하고 새로운 기술로 업그레이드하는 능력은 부족한 경우가 많다"고 말했다.
더욱이 에이전트형 AI는 앞으로 더 복잡해질 전망이다. 조직 내 에이전트 수가 늘고, 이들이 서로 상호작용하기 시작하면 사용사례도 폭발적으로 증가할 수밖에 없다. 이에 대비하려면 무엇보다도 검증 체계를 먼저 구축해야 한다. 날라와디는 "에이전트를 만들기 전부터 어떤 행동이 '좋은 결과'인지 정의하고 지속적으로 테스트할 수 있는 평가 인프라를 마련해야 한다"고 강조했다. 즉, 평가 시스템은 에이전트 기술의 '단위 테스트(Unit Test)'와 같다는 설명이다.
하지만 LLM 기반 에이전트의 특성상, 일반적인 코드 테스트처럼 결과를 항상 예측할 수 없기 때문에 수만 건의 시뮬레이션을 통해 비정상적인 반응을 점검하는 과정이 병행돼야 한다. 완더스는 "우리가 모르는 잘못된 행동을 파악하려면 수천 개의 시나리오에서 에이전트를 테스트하고, 결과를 분석하는 것이 유일한 방법"이라고 말했다.
궁극적으로 AI 에이전트에게 확신을 가질 수 있는 가장 확실한 방법은 '처음부터 검증 체계를 설계하는 것'이라는 것이 이들 전문가들의 공통된 조언이다. 조직이 기술 도입으로 얻는 생산성 이득만큼이나, 그 기반이 되는 신뢰성 확보 작업이 중요해진 시대다.