AI 에이전트 기술이 주류로 부상하면서, 이를 둘러싼 생태계에서도 '관측 가능성(observability)'의 중요성이 급격히 높아지고 있다. 오는 2025년 샌프란시스코에서 열리는 기술 컨퍼런스 '트랜스폼 2025(Transform 2025)'에서는 핵심 연사로 나선 애션 윌리 뉴렐릭(New Relic) CEO와 샘 위트빈 레드드래곤AI(Red Dragon AI) CEO가 이러한 변화를 짚으며, 복잡한 AI 기반 시스템을 효율적으로 운영하기 위한 인프라 전략을 공유했다.
뉴렐릭은 과거부터 애플리케이션, 로그, 인프라의 실시간 데이터를 수집해 복합 처리하는 관측 플랫폼을 제공해왔다. 하지만 생성형 AI와 에이전트형 AI의 부상으로 그 기능은 단순 모니터링 수준을 넘어 진화 중이다. 실제로 뉴렐릭의 AI 기반 시스템 관측 수요는 전분기 대비 약 30% 증가했다. 이는 오픈AI의 챗GPT, 엔비디아의 NIM, 중국계 DeepSeek 등 다양한 모델을 활용하려는 기업의 수요 확산을 반영한다는 분석이다.
애션 윌리 CEO는 “지금은 단일 모델 시대가 아니다”라며 “기업들은 GPT 초기 도입 이후 다양한 언어 모델로 확장하고 있다. 실제로 사용 중인 모델 다양성은 92%나 증가했다”고 밝혔다. 이어 “이제는 이런 시스템이 실제로 비즈니스 성과에 어떤 영향을 미치는지 측정하는 것이 핵심 과제”라고 강조했다.
AI 에이전트는 복잡한 관측 구조를 단순화하는 데 결정적 역할을 할 수 있다. 특히 마이크로서비스가 확산된 디지털 네이티브 기업에서는 사람이 모든 시스템 상태를 파악하는 데 한계가 있다. 이에 대해 윌리 CEO는 “AI 기반 에이전트는 자동화 업무에 강력한 도구가 될 것”이라며 “협업형 방식으로 운영될 경우, 많은 사용자가 접근 가능한 방식으로 분산된 데이터의 비효율을 줄일 수 있다”고 설명했다.
관측 플랫폼의 통합도 가속화되고 있다. 기터허브(GitHub), 서비스나우(ServiceNow), 하니스(Harness) 등과의 연동을 기반으로 뉴렐릭은 실시간 코드 오류 감지와 자동 수정 기능까지 제공하고 있다. 예컨대 깃허브에서 배포된 코드에 문제가 발생하면, 에이전트가 이를 감지하고 관련 정보를 개발자에게 전달하는 동시에 자동으로 문제를 해결하는 일련의 과정을 처리할 수 있는 수준이다.
윌리 CEO는 “우리 시스템 내에서 발생하는 다양한 시그널을 감지하는 자동화된 역량을 에이전트 스킬(agentic skills)이라고 부른다”며, “애저나 AWS 기반 인프라 상태부터 소프트웨어 성능까지 모든 요소를 실시간으로 분석한다”고 말했다. 최근에는 마이크로소프트(MSFT)의 코파일럿(Copilot)과 협업해 문제 발생 라인을 AI가 직접 수정하고, 재배포 가능한 상태로 만드는 프로젝트도 시범 운영 중이다.
에이전트형 AI 생태계가 확장되면서 이에 대한 실시간 추적성과 투명성은 더욱 중요해졌다. 윌리 CEO는 “에이전트 기반 통합 시스템이 늘어나는 만큼, 관측이 그 기반을 지탱하는 중요 도구로 작동할 것”이라며 “이는 단순한 동향 파악이 아니라, 시스템의 사고 과정과 내부 로직을 해석하는 일종의 '추론 인프라'가 될 것”이라고 전망했다.
기업들이 AI 시스템을 일상 인프라로 받아들이는 시점에서, 관측 가능성은 더 이상 선택적 요소가 아니다. 이제는 AI 자체의 작동 논리와 성과를 실시간으로 파악해야 하는 ‘핵심역량’으로 자리 잡고 있다. 이를 대비하려는 움직임이 기술 기업 전반으로 확산되며, 관측 기술을 둘러싼 주도권 경쟁도 본격화될 전망이다.