그라운드커버, LLM 전용 가시성 도구 출시… AI 운영 효율성·보안 잡는다

AI 애플리케이션 성능 모니터링 스타트업인 그라운드커버(Groundcover)가 대형언어모델(LLM)을 위한 전용 가시성 도구를 공식 출시했다. 이 도구는 코드 변경 없이도 AI 기반 애플리케이션의 실시간 활동을 추적할 수 있어, 특히 LLM 기반 시스템의 안정성과 최적화 측면에서 기업의 운영 효율성을 높여줄 것으로 기대된다.

이번에 공개된 가시성 도구는 단순 챗봇을 넘어 복합적인 작업을 자동으로 수행하는 AI 에이전트와, 기업 맞춤형 데이터를 활용해 LLM 성능을 확장하는 검색 기반 생성(RAG) 파이프라인, 외부 툴 연동을 포함한 AI 워크플로우를 지원한다. 특히 모든 데이터가 고객의 자체 환경 안에서만 처리되도록 설계돼, 데이터 유출 위험 없이 보안성도 강화됐다.

그라운드커버는 지난 4월 3,500만 달러(약 504억 원) 규모의 투자 유치에 성공한 뒤, AI 인프라 전반의 가시성 향상이라는 목표 아래 기술 고도화에 박차를 가해왔다. 자체 개발한 '내 클라우드에 구축하는 관측 플랫폼(BYOC)'은 고객이 모니터링 데이터를 원하는 장소, 즉 온프레미스 혹은 주요 클라우드 서비스 중 선택해 저장할 수 있도록 지원한다. 이를 통해 보안 요건이나 내부 규제를 충족시키는 것이 가능해졌다.

그라운드커버는 리눅스 커널에서 직접 로그, 메트릭, 트레이스 정보를 수집하는 eBPF(extended Berkeley Packet Filter) 기반 기술을 활용해, 시스템 리소스에 최소한의 영향을 주면서도 고품질의 데이터를 실시간 수집하는 방식을 채택했다. 이는 기존 APM 솔루션이 가진 설치 복잡성과 성능 저하 문제를 해소하면서도, 분석 플랫폼에 데이터를 빠르게 전송할 수 있는 장점이 있다.

신제품인 LLM 전용 가시성 도구는 오픈AI(OpenAI), 앤스로픽(Anthropic) 등 주요 LLM API 제공업체와의 상호작용을 정밀하게 추적할 수 있다. 프롬프트, 응답완료 속도, 토큰 사용량, 오류 발생률, 결정 경로 등 세부 지표를 실시간으로 분석해 문제 원인을 추적하고, 불필요한 비용을 줄이는 데 도움을 준다. 예컨대 문맥의 흐름이 왜 바뀌었는지, ‘환각 현상’이 발생한 지점은 어디인지, 지연시간은 왜 증가했는지 등 AI 모델의 작동 구조를 심층 분석할 수 있다.

그라운드커버의 제품 담당 부사장 오르 벤야민(Orr Benjamin)은 “기존의 관측 모델은 복잡한 LLM 구조와 맞지 않는다”며 “eBPF를 활용해 별도 코드 수정이나 데이터 외부 전송 없이도 완전한 파이프라인 투명성을 확보할 수 있다”고 설명했다.

그는 이어 “LLM 기반 시스템은 점점 다단계 의사결정 구조를 갖춘 에이전트 형태로 진화하고 있으나, 많은 기업들이 여전히 적절한 관측 수단 없이 운영 중”이라며 “이번 출시가 신뢰성 있는 AI 운영의 전환점이 될 것”이라고 강조했다.

기업 데이터의 보안과 AI 운영의 효율성을 동시에 확보하려는 수요가 커지고 있는 만큼, 그라운드커버의 이번 행보는 AI 인프라 시장 내 주요 변곡점으로 평가된다.