단일 에이전트 기반의 AI 시스템은 이제 구시대의 유산이 됐다. 오늘날 기업들이 경쟁 우위를 확보하기 위해 주목하는 기술은 여러 AI 에이전트가 협력하고, 스스로 점검하며, 각 상황에 맞는 최적의 모델을 호출해 문제를 해결하는 이른바 멀티 에이전트 AI다. 지난 19일 미국 샌프란시스코에서 개최된 벤처비트(VentureBeat)의 'AI 임팩트 시리즈'에서는 이 같은 멀티 에이전트 시스템의 도입과 통제 가능성을 주제로 관련 업계 전문가들이 머리를 맞댔다.
SAP 랩스 미국법인의 매니징 디렉터이자 글로벌 연구·혁신 책임자인 야드 오렌(Yaad Oren)은 “고객이 AI 기술을 안전하게 확장할 수 있도록 체크포인트와 모니터링 체계를 대폭 강화했다”고 밝혔다. 그는 “멀티 에이전트 기술은 아직 완전하지 않은 초기 단계이며, 우리는 대규모 감시 체계를 통해 문제를 실시간으로 발견하고 해결할 수 있도록 시스템을 설계하고 있다”고 강조했다.
멤버로 참여한 분석·임상 실험 장비 업체 애질런트(Agilent)의 CIO 라지 잠파(Raj Jampa)도 이 같은 흐름에 동의했다. 그는 "애질런트는 현재 전사적으로 AI를 도입 중이며, 점차 유의미한 결과가 나타나고 있다"고 밝혔다. 잠파는 특히 "모든 AI 프로젝트에 있어 가장 중요한 것은 거버넌스 프레임워크 설정"이라고 지적하며, 정책 기반의 보안·비용·지연시간 통제 체계를 어떻게 구현하느냐가 향후 성공여부를 가를 핵심이라고 설명했다.
실제로 애질런트는 제품, 고객, 내부 운영의 세 가지 영역에 AI를 도입하고 있다. 제품 측면에서는 기기 개발에 AI를 내장해 혁신 속도를 높이는 실험을 하고 있으며, 고객 서비스 영역에서는 고객별 맞춤형 가치를 창출할 수 있는 AI 활용 방안을 찾고 있다. 내부 운영에 있어서는 자기 치유 네트워크 같은 자동화 시스템을 통해 비용 효율성과 처리 용량을 늘리는 중이다.
AI 사용 중 문제가 발생한 사례도 언급됐다. 한 에이전트가 설정을 자동으로 갱신했으나 충분한 점검 절차 없이 실행되면서 네트워크 장애가 발생한 것이다. 하지만 실시간 감시 및 기록 시스템 덕분에 신속하게 문제를 감지하고 처리할 수 있었다고 잠파는 전했다. 복잡한 자연어 처리나 대용량 번역처럼 정밀성이 요구되는 영역에서는 여전히 사람의 개입이 필요하며, 에이전트가 스스로 판단이 어려운 경우 인간에게 결정을 요청하는 기능도 마련돼 있다고 그는 말했다.
AI 시스템이 고도화됨에 따라 속도와 정확성 사이에서 균형을 잡는 것도 핵심 과제로 떠오르고 있다. 잠파는 “지연 시간을 줄이기 위한 복잡한 AI 모델은 인프라 비용을 급격히 높이는 만큼, 각 단계에서 거버넌스 체계가 속도와 정확도를 함께 감시할 수 있어야 한다”고 말했다.
문제는 여기서 끝나지 않는다. 기존 온프레미스 시스템과 AI 에이전트의 연동 문제도 기업들이 직면한 도전 과제 중 하나다. 오렌은 “클라우드 환경에서 통합이 원활히 이뤄질 수 있도록, SAP는 AI와 에이전트를 활용해 고객의 레거시 시스템을 클라우드로 이전하도록 돕고 있다”고 설명했다.
SAP는 단순한 데이터 이전에 그치지 않고, 비즈니스 데이터 클라우드라는 통합 플랫폼을 통해 SAP와 비SAP 데이터를 모두 분석 가능한 형태로 통합하는 전략도 구사 중이다. 이는 일종의 ‘기업용 구글 인덱스’ 역할을 하며, AI 에이전트가 비즈니스 전반의 데이터를 조직화하고 연결해 엔드 투 엔드 프로세스를 구현하도록 돕는다.
궁극적으로 멀티 에이전트 시스템의 성공은 세 가지 기반 요소에 달려 있다. 구조화된 데이터가 중심이 되는 데이터 계층, 에이전트들이 협업하고 작동하는 오케스트레이션 계층, 그리고 모든 작업을 안전하게 보호할 보안 및 개인정보 보호 계층이다. 특히 후자는 사용 권한과 아이덴티티 관리가 주요 과제로 떠오르며, 이제는 AI 에이전트를 ‘디지털 직원’처럼 관리할 수 있는 체계가 필요해졌다.
오렌은 “에이전트도 일종의 구성원으로 기능하게 될 것이기 때문에, 전통적인 직원처럼 온보딩, 권한 설정, 지속적 성능 개선이 필요하다”며 “그들은 완전한 자율성을 가진 존재가 아니며, 각 단계에서 개선 지점을 살펴볼 수 있는 체크포인트 설계가 필수적”이라고 덧붙였다.
이처럼 멀티 에이전트 AI가 산업 전반에 확산됨에 따라, 각 기업은 기술을 단순히 도입하는 것을 넘어서 실제 비즈니스 환경에 맞게 통합하고, 지속 가능성과 통제를 고려한 거버넌스를 구축해야 하는 과제를 안고 있다. AI의 확장이 더 이상 선택이 아니라 생존의 조건이 되는 시대, 조직은 이제보다 정교하고 전략적인 접근이 필요하다.