AI 환각도 고친다… 벡타라, 생성형 AI용 '환각 정정기' 공개

엔터프라이즈용 생성형 인공지능 솔루션을 개발하는 벡타라(Vectara)가 AI 환각 문제 해결을 위한 ‘환각 정정기(Hallucination Corrector)’를 새롭게 선보였다. 이 도구는 벡타라의 서비스에 직접 통합돼 기업 고객이 AI 모델로부터 보다 *신뢰도 높은* 결과를 받을 수 있도록 설계됐다.

AI 환각은 생성형 AI가 그럴듯하지만 사실과 다른 답변을 자신 있게 제시하는 현상을 말한다. 기존 대형언어모델(LLM)들은 이 같은 오류를 평균 3~10% 범위에서 보였으며, 최근 등장한 단계적 추론 기반 ‘리즌닝(reasoning)’ 모델들은 오히려 환각 비율이 높아지는 경향을 보이고 있다. 예컨대 벡타라의 자체 분석에 따르면 ‘DeepSeek-R1’은 환각률이 14.3%에 달했으며, 비교적 안정적인 ‘DeepSeek-R3’는 3.9%를 기록했다. 오픈AI의 최신 모델 GPT-4o는 1.5%였지만, 이를 기반으로 한 GPT-o1은 다시 2.4%로 치솟았다.

벡타라의 창업자이자 최고경영자(CEO) 암르 아우달라(Amr Awadallah)는 “금융, 의료, 법률 등 정밀한 정확성이 요구되는 산업에서는 기존 LLM의 성능으로는 부족하다”며, 환각 정정기의 출시에 대해 “실제 활용이 가능한 신뢰성 있는 AI 실현을 위한 진일보”라고 말했다.

이번 환각 정정기는 벡타라가 이전부터 운영하던 ‘휴즈 환각 평가 모델(Hughes Hallucination Evaluation Model, HHEM)’과 연동된다. HHEM은 AI 응답을 원본 문서와 대조해 정확도를 0부터 1 사이의 확률 점수로 나타낸다. 예를 들어 점수 0.98은 해당 응답이 사실일 가능성이 98%임을 의미한다. 이 모델은 허깅페이스(Hugging Face)에서도 공개됐으며, 지난달 25만 건 이상 다운로드되며 플랫폼 내에서도 *가장 인기 있는* 환각 탐지기로 꼽혔다.

새롭게 도입된 정정기는 환각이 식별되면 해당 표현이 왜 잘못됐는지를 설명하고, 정정된 응답을 최소한의 수정으로 자동 생성한다. 이렇게 보정된 응답은 사용자에게 요약 형태로 자동 제공되며, 개발자나 기업 고객은 원본 응답과 정정된 결과를 비교해 AI 모델의 정밀 튜닝과 가드레일 보강 등에 활용할 수 있다.

또한 정정기는 명백한 오류가 아닌 불완전하거나 모호한 응답들도 미세 조정해 불확실성의 중심 요소를 줄이는 역할도 수행한다. 이는 고객이 직접 설정한 기준에 따라 플래그를 걸거나 대체 재작성 옵션을 제공할 수 있다.

AI 활용이 본격화되는 시점에서, 벡타라가 제시한 이 솔루션은 기업용 AI 서비스의 품질과 신뢰도를 끌어올리는 데 중요한 역할을 하게 될 것으로 보인다. 고도화되는 생성형 AI 환경 속에서도 신뢰성 확보는 여전히 *최우선 과제*로 남아 있기 때문이다.