대규모 언어 모델(LLM)이 본격적으로 기업 업무에 도입되면서 ‘환각(hallucination)’ 문제는 여전히 심각한 장애물로 남아 있다. 대부분의 솔루션이 이를 탐지하거나 사전 차단하는 데 초점을 맞추고 있는 가운데, 벡타라(Vectara)가 선보인 ‘가디언 에이전트(guardian agent)’ 기반의 새로운 자동 수정 방식이 획기적인 대안으로 주목받고 있다.
이번에 벡타라가 공개한 ‘벡타라 환각 수정기(Vectara Hallucination Corrector)’는 단순 탐지를 넘어, AI가 생성한 잘못된 정보를 실시간으로 찾아내 수정하고, 그 이유까지 설명하는 방식으로 작동한다. 기존의 RAG(Retrieval Augmented Generation) 접근법이 제공된 콘텐츠에 기반한 정보 회수로 환각을 줄이려 했다면, 벡타라는 여기에 능동적 조치까지 더해 한 단계 진화한 기술을 제시한 것이다.
‘가디언 에이전트’는 LLM 내 규칙 설정에 국한되지 않고, AI 워크플로우 전반에서 동작하며 보호 조치를 시행하는 소프트웨어 컴포넌트다. 이 시스템은 응답 생성, 환각 탐지, 정확한 수정의 세 단계를 거치는 파이프라인 구조로 설계되어 있으며, 전체 문장을 변경하지 않고도 핵심 오류만 정밀하게 수정하는 것이 특징이다. 벡타라는 이 방식을 적용함으로써 70억 개 미만 파라미터를 가진 소형 언어 모델의 환각률을 1% 미만까지 낮출 수 있다고 밝혔다.
에바 나하리(Eva Nahari) 벡타라 최고제품책임자(CPO)는 “기업들이 점점 더 에이전트화된 워크플로우를 도입하면서, 환각이 유발하는 실질적 피해는 기하급수적으로 늘고 있다”며 “이번 기술은 기업용 생성형 AI의 신뢰성과 책임성을 높이기 위한 사명의 일환”이라고 설명했다.
다양한 업계에서도 환각을 막기 위한 노력은 계속되고 있다. 메이요 클리닉은 기존 RAG의 반대 개념인 ‘리버스 RAG’로, 몽고DB는 고도화된 임베딩 데이터 구조로 환각률을 줄이려 하고 있다. 엔비디아, AWS, IBM 등은 가드레일 기반 탐지 시스템을 전개하고 있고, 스타트업 오우미(Oumi)는 문장 단위로 사실 관계를 검증하는 오픈소스 방식도 도입 중이다.
그러나 벡타라의 접근은 이들과 명확히 다르다. 시스템이 오류만 지적하고 거르거나 폐기하는 것이 아니라, 능동적으로 수정 방향을 판단하고 이를 실행한다는 점에서 차별화된다. 벡타라의 기술 책임자인 술레만 카지(Suleman Kazi)는 “이 시스템은 단지 학습하는 것이 아니라, 사용자를 대신해 조치를 취하기 때문에 진정한 ‘에이전트’라고 할 수 있다”고 강조했다.
이런 정밀도 높은 AI 교정에는 문맥에 대한 이해가 필수적이다. 카지는 SF 소설에서 ‘붉은 하늘’이 등장하는 사례를 예로 들며, 콘텐츠 내 설정을 무시하고 무조건 교정하는 시스템은 오히려 오류를 만들 수 있다고 지적했다. 창의적 표현과 도메인 특화 언어를 감안한 섬세한 판단력이 중요하다는 설명이다.
벡타라는 이번 발표와 함께 환각 교정 모델의 성능을 객관적으로 평가할 수 있는 오픈소스 벤치마크인 HCMBench도 공개했다. 이 도구는 HHEM, Minicheck, AXCEL, FACTSJudge 등 다양한 지표를 제공해 벤더들이 수정 정확도를 비교하고 개선할 수 있도록 돕는다.
환각 문제는 단기적 불편을 넘어, 기업의 AI 도입 결정 자체를 좌우하는 민감한 이슈다. 가디언 에이전트 기반 솔루션은 AI 활용 범위를 넓히면서도 정밀성과 신뢰성을 확보하고자 하는 산업계의 요구에 정확히 부합한다. 환각이 빈번하게 발생하는 고위험 업무일수록 이 기술의 효과는 더욱 두드러질 것으로 보인다. AI 기술이 에이전트 중심으로 진화함에 따라, 탐지를 넘어 교정까지 가능한 솔루션이 기업 AI 전략의 핵심 축으로 떠오를 전망이다.