필수 출처 유형 인용 13.6%p 앞선 헤비아 GPT-6 Astra 시험
인용 발췌문의 99.5%가 질문과 관련됐고, 프레젠테이션 요구사항 충족률은 97.9%였다. 오픈AI가 공개한 고객 사례에 담긴 헤비아 시험으로, 실제 투자 성과를 평가한 것은 아니다.
헤비아(Hebbia)의 금융 리서치 시험에서 GPT-6 Astra는 필수 출처 유형 인용 평가에서 최고 대안보다 13.6%포인트 앞섰다.
오픈AI(OpenAI)는 20일 공개한 고객 사례에서 헤비아가 진행한 시험 결과를 소개했다. 시험에는 GPT-6 Astra 사전 공개 버전이 쓰였다.
시험에서 인용한 발췌문의 99.5%는 질문과 관련 있다고 평가됐다. 이 비율은 인용문과 질문의 관련성을 나타내며 답변 전체의 정확도나 사실성을 뜻하지 않는다.
프레젠테이션 평가에서는 적용 가능한 요구사항의 97.9%를 충족했다. 해당 지표에서 최고 대안보다 14.4%포인트 높았다.
헤비아의 매트릭스(Matrix)는 금융 문서와 내부 자료를 바탕으로 답변을 만들고, 이용자가 근거 문서와 인용 구간을 확인할 수 있게 하는 플랫폼이다. GPT-6 Astra는 문서나 매트릭스의 분석 셀을 근거로 답변을 작성하고, 정해진 구조와 지침에 맞춘 파워포인트 슬라이드를 만든다.
헤비아는 각 모델에 같은 금융 리서치 사례와 채점 기준을 적용했다. 시험에는 8~9월 사전 공개 버전이 사용됐으며, 분야 전문가가 원문 문서를 토대로 채점 기준을 작성하거나 검토했다.
카비타 아난드(Kavita Anand) 헤비아 제품 부문 기술 담당자는 “이용자에게 추적 가능성은 매우 중요하다”고 말했다. 답변의 근거가 된 문서와 인용 구간을 이용자가 확인할 수 있어야 한다는 취지다.
공개 사례에는 시험 표본 수와 비교 모델 전체 목록, 점수 분포가 제시되지 않았다. 사례에 등장하는 ‘약 2000개 파일을 검토하는 인수 업무’는 가상 시나리오다.
이번 시험은 금융 문서에서 출처를 찾는 능력과 발표자료 작성 기준 충족률을 평가했다. 실제 투자 성과를 측정한 시험은 아니다.
헤비아는 2025년 8월 롭스앤그레이(Ropes & Gray)와 협력을 확대해 사모펀드·거래팀의 문서 검토와 데이터 분석에 매트릭스를 활용한다고 발표했다. 양사의 협력 확대 발표를 전한 본지 보도는 당시 문서 업무 활용 계획을 다뤘다.
별도의 금융 AI 평가에서는 작업에 따라 결과가 달랐다. Model ML의 9월 시험에서 GPT-6 Astra는 5개 범주 중 4개에서 최고 점수를 받았지만, 금융 업무 범주에서는 Gemini 3.8 Flash가 3.97점 앞섰고 작업당 비용은 72% 낮았다.
Model ML과 헤비아의 시험은 과제와 채점 기준이 다르다. 따라서 두 시험의 점수를 직접 비교하기는 어렵다.
TrueStandard는 9월 7일 시험에서 GPT-6 Astra가 제시한 DOI 가운데 등록되지 않은 식별자의 비율을 3.0%로 집계했다. 30개 주장을 세 차례 시험한 결과다.
이 시험은 DOI의 등록 여부를 측정했다. DOI 등록 여부와 인용 발췌문이 질문과 관련 있는지는 서로 다른 지표다.
헤비아 시험 결과는 GPT-6 Astra 사전 공개 버전에 관한 것이다. 오픈AI는 11월 17일 모델 릴리스 노트에서 GPT-6.2 Astra와 GPT-6.2 Sol을 API에 출시했다고 밝혔다.
서도윤 기자 




Comment 0
불러오는 중…