최대 61.5% 낮아진 RAG 순위 지표…질문별 문서 5개 실험

질문을 겨냥해 만든 문서 5개를 검색 대상에 추가하자 검색증강생성(RAG)의 검색 순위 지표가 기존보다 40.2~61.5% 낮아졌다. 이는 AI가 최종 답변을 틀릴 확률이 아니라 참고자료를 찾는 단계의 순위 품질 변화다.

구글(Google)과 포티넷(Fortinet) 소속 연구진은 3일 arXiv에 공개한 논문에서 검색 대상에 질문과 닮은 문서를 추가하는 실험을 했다. RAG는 AI가 답변을 만들기 전에 외부 문서를 찾아 참고하는 방식이다.

연구진은 SciFact의 질문 300개와 NFCorpus의 질문 323개, 모두 623개를 대상으로 검색기를 시험했다. 키워드 일치에 기반한 BM25와 의미를 비교하는 LSA, 두 방식을 결합한 하이브리드 검색을 사용했다.

검색 품질은 상위 10개 결과에서 관련 문서가 얼마나 높은 순위에 놓였는지 평가하는 nDCG@10으로 측정했다. 논문에 나온 40.2~61.5%는 이 지표의 하락 폭이다.

연구진은 질문마다 해당 질문을 겨냥한 문서 5개를 추가했다. 질문 하나를 시험할 때 그 질문에 맞춘 문서만 넣는 조건에서, 추가 문서는 SciFact 전체 자료의 0.10%, NFCorpus의 0.14%였다.

이 비율은 무작위로 문서를 보탠 결과와 다르다. 논문은 추가 문서가 전체 자료에서 차지하는 비중이 작더라도 각 질문에 맞춰 작성된 문서가 검색 순위를 흔들 수 있는 조건을 시험했다.

BM25에서는 질문 전체를 반복한 문서가 순위 지표 하락의 주요 원인이었다. 질문과 같은 단어를 많이 공유할수록 관련성이 높다고 판단하는 검색 방식의 특성이 작용했다.

연구진은 의미 기반 검색기인 BGE-small도 별도로 시험했다. 질문만 담은 문서 5개를 추가했을 때 두 자료집 모두에서 질문별 공격 문서가 상위 10개 결과에 들어갔다.

이 결과에서 ‘노출’은 상위 10개 가운데 공격 문서가 최소 한 건 포함됐다는 뜻이다. 결과 10개가 모두 공격 문서였거나 최종 AI 답변이 틀렸다는 의미는 아니다.

질문 전체를 알지 못하는 경우도 살폈다. SciFact의 긴 질문 162개에서 질문 속 단어 두 개를 골라 문서를 만들었을 때, 공격 문서는 질문의 39.5%에서 상위 10개에 포함됐다.

해당 긴 질문에서 두 단어는 질문에 포함된 분석 대상 단어의 평균 19.9%였다. 연구진은 짧은 질문에서는 단어 두 개만으로도 질문의 상당 부분을 알 수 있어 결과 해석에 주의해야 한다고 설명했다.

질문과 지나치게 닮은 문서를 걸러내는 필터는 질문 전체를 반복한 문서를 상위 결과에서 제외할 수 있었다. 논문은 하이브리드 검색에서 질문 단어 중복률을 기준으로 필터링하는 조건을 시험했다.

필터에는 정상 검색 품질 저하가 뒤따랐다. NFCorpus에서 공격 문서가 없는 정상 검색의 nDCG@10은 필터 적용 전 0.267에서 적용 후 0.134로 낮아졌다.

검색 결과를 다양하게 재정렬하는 MMR은 연구진이 시험한 조건에서 공격 문서 노출률을 낮추지 못했다. 질문 전체를 담은 문서 5개를 넣은 하이브리드 검색에서 노출률은 SciFact 100%, NFCorpus 91.0%였다.

이번 연구는 문서가 AI의 참고자료로 선택되는 검색 단계까지만 다뤘다. 최종 답변의 정확도와 AI가 문서에 숨긴 지시를 따르는지는 측정하지 않았다.