정답 없는 유사 문서 10%에 질의응답 정확도 68%→45.5%

엔비디아($NVDA)와 텍사스A&M대 공동 연구진이 질문과 주제는 비슷하지만 정답은 담지 않은 문서를 긴 입력에 섞자, 한 질의응답 실험에서 Qwen2.5-7B-Instruct의 정확도가 68%에서 45.5%로 낮아졌다. 해당 문서가 방해 문서에서 차지한 비중은 10%였다.

연구진은 이 현상을 '첫 잉크 방울' 효과라고 불렀다. 논문은 2026년 8월 20일 개정됐으며, 저자 3명 가운데 1명은 엔비디아 AI 기술센터, 2명은 텍사스A&M대 소속이다. 논문 원문

연구에서 하드 디스트랙터는 질문과 의미상 비슷해 보이지만 답을 담지 않은 문서다. 질문과 관련이 적은 문장이나 무작위 문서와 달리, 정답 후보처럼 보이며 답을 담은 문서와 경쟁할 수 있다.

실험은 정답이 담긴 문서와 방해 문서를 모델에 함께 제시한 뒤 질문에 답하게 하는 방식으로 진행됐다. 연구진은 입력 길이를 고정하고 방해 문서의 종류와 하드 디스트랙터 비중을 바꿔 결과를 비교했다.

논문은 방해 문서를 대체로 100~150토큰 길이로 맞추고, 문서 순서를 무작위로 섞어 위치에 따른 영향을 줄였다. 각 데이터셋과 문맥 길이, 방해 문서 비중 조합마다 200개 사례를 평가했다.

평가에는 Natural Questions, TriviaQA, PopQA, HotpotQA 등 4개 질의응답 과제가 사용됐다. 단일 문서에서 답을 찾는 과제와 여러 단계를 거쳐 추론하는 과제가 포함됐다.

핵심 수치는 128K 토큰 길이의 Natural Questions 실험에서 나왔다. Qwen2.5-7B-Instruct는 하드 디스트랙터가 없는 조건에서 정확도 68%를 기록했고, 방해 문서 중 10%가 하드 디스트랙터인 조건에서는 45.5%를 기록했다. 토큰은 모델이 글을 처리하는 단위다.

논문 본문은 처음 10% 구간에서 전체 정확도 하락폭의 58%가 나타났다고 적었다. 다만 부록 표의 같은 조건 수치로 계산하면 본문의 58%와 일치하지 않는다.

연구진은 하드 디스트랙터 비중이 늘어날수록 정확도가 일정한 속도로 떨어지지는 않았다고 설명했다. 하락폭은 비중을 처음 높이는 구간에 집중됐고, 이후 비중을 더 높였을 때 추가 하락은 상대적으로 작았다.

연구진은 정답 문서에 모델이 주의를 기울이는 방식도 분석했다. 질문과 비슷한 방해 문서는 질문과 무관한 문장보다 정답 문서와 더 강하게 경쟁하는 양상을 보였다.

다만 주의집중 기능을 차단해 정확도가 회복되는지는 시험하지 않았다. 연구진은 이 분석을 바탕으로 효과적인 완화 방법이 확인됐다고 주장하지 않았다.

검색증강생성(RAG)은 외부 문서를 검색해 모델 입력에 넣고 답변을 생성하는 방식이다. 연구진은 검색 문서의 양뿐 아니라 질문과 비슷한 오답 문서가 포함되는지도 살펴야 한다고 제안했다.

문서 필터링 실험에서는 입력 문맥을 짧게 만드는 것만으로도 성능이 개선됐다. 문서 구성에 따른 차이는 하드 디스트랙터 비중을 거의 0에 가깝게 낮췄을 때 뚜렷해졌다.

연구진은 답변 직전에 문서를 거르는 작업과 함께, 검색 단계에서 정답 없는 유사 문서를 덜 가져오는 일이 중요하다고 밝혔다. 실험은 통제된 다중 문서 질의응답에 한정됐다.

요약, 코드 이해, 여러 차례 이어지는 대화 등 다른 작업에도 같은 결과가 적용되는지는 후속 연구가 필요하다. 이번 결과는 상용 서비스 전반의 성능 변화를 측정한 것은 아니다.