적은 데이터로도 고성능 검색…UIUC 's3' 프레임워크 주목

일리노이 대학교 어배너-섐페인(University of Illinois Urbana-Champaign)의 연구진이 적은 데이터만으로도 고성능 검색 에이전트를 학습시킬 수 있는 오픈소스 프레임워크 's3'를 공개했다. 검색 기반 생성(RAG, Retrieval-Augmented Generation) 시스템 최적화를 위한 차세대 방식으로 주목받고 있는 이 프레임워크는 기존 방식의 한계를 벗어난 설계로, 실제 생성 모델에 영향을 주지 않으면서 검색 품질을 비약적으로 끌어올릴 수 있다는 평가다.

RAG 시스템의 성능은 정보 검색 단계의 질에 좌우된다. 연구진은 이를 '클래식 RAG', 'Pre-RL-Zero', 'RL-Zero'의 세 단계로 진화해왔으며, 최근에는 강화학습 기반의 RL-Zero 접근법이 대세를 이루고 있다고 평가했다. 하지만 기존 RL-Zero 시스템들은 검색 중심의 지표에만 최적화되어 있어 실제 응답 품질 향상과 직결되지 않으며, 생성 모델 파인튜닝이 요구돼 비용 부담과 복잡성을 유발해왔다.

s3는 이러한 문제를 해결하고자 '검색'과 '생성'을 명확히 분리한 *모듈형 구조*를 채택했다. 검색 전담 LLM이 다중 턴의 상호작용을 통해 외부 정보를 탐색하고, 이 결과물을 별도로 고정된 생성 모델이 활용해 최종 응답을 작성하는 방식이다. 이로 인해 GPT-4, Claude 등 상용 또는 내부 LLM을 그대로 이용할 수 있으며, 검색 부문만 강화하면서 전체 시스템 성능을 높일 수 있다.

핵심 아이디어는 'GBR(Gain Beyond RAG)'이라는 보상 신호다. 이는 단순히 상위 문서를 불러오는 기존 방식 대비, s3가 검색한 문서가 생성 정확도에 미치는 향상 효과를 계량화한 기준이다. 이를 통해 검색 모델은 실질적으로 유용한 증거를 찾도록 학습되며, 생성 모델의 성능도 상향된다.

연구진은 이 프레임워크를 여섯 개의 범용 QA 데이터셋에서 시험했고, 기존 정적 RAG, 강화학습 기반 Search-R1 방식들과 비교해 대부분에서 높은 정확도를 기록했다. 특히 s3는 단 2,400개 샘플만 학습해도 기존 프레임워크가 수만 개 이상 요구하는 환경보다 우수한 성능을 보였다.

이처럼 s3는 데이터 의존도를 최소화하면서도 강력한 검색 능력을 확보할 수 있는 점에서, GPU 인프라가 부족한 기업이나 대규모 QA 학습 데이터를 갖추지 못한 사용자에게도 접근성을 크게 높인다. 예컨대 사내 커스터마이징된 문서나 특수 도메인 데이터를 다루는 인사, 법무, 고객지원 부서까지 한 개의 검색 모델로 확장 적용이 가능하다.

더 나아가, s3는 특정 분야에 특화된 데이터 없이도 도메인 간 일반화가 가능한 점에서 주목된다. 연구진은 “s3가 의료 분야 등에서 제로샷 테스트에 성공했다”며, “검색 능력을 강화한 검색 에이전트는 도메인 적응력이 높다”고 밝혔다. 이는 생성 모델 자체를 바꾸지 않으면서 다양한 실무 환경에 효과적으로 대응할 수 있다는 의미다.

연구 책임자인 장펑청(Patrick Jiang) 박사 과정 학생은 “생성 인프라에 영향을 주지 않고도 검색 수준을 끌어올릴 수 있는 s3는 규제상 생성 모델 수정을 할 수 없거나, 폐쇄형 모델 API를 사용하는 기업에 매우 실용적 대안이 될 것”이라 설명했다. 의료, 제약, 법률 자문, 과학 기술 연구 등 고정밀 검색을 요구하면서도 데이터가 희소한 산업군에서 활용 가능성이 높다고 진단했다.