알리바바, 검색 없이 검색하는 AI 기술로 훈련비용 88% 절감

| 김민준 기자

알리바바가 인공지능(AI) 훈련 비용을 획기적으로 절감할 수 있는 기술을 공개하며 AI 산업에 새로운 패러다임을 제시했다. ‘제로서치(ZeroSearch)’라 불리는 이 기술은 AI가 실제 검색엔진과 상호작용하지 않고도 정보를 검색하는 능력을 익히도록 돕는다. 훈련 과정에서 발생하는 수십만 건의 검색 요청을 대체함으로써, 해당 기술은 훈련 비용을 기존 대비 최대 88%까지 낮출 수 있는 *혁신적인 대안*으로 평가받고 있다.

기존의 AI 훈련 방식은 구글 등 상용 검색엔진 API를 반복 호출해야 해 막대한 비용이 소요됐다. 특히 강화학습 기반의 검색 기능 훈련에는 대규모 API 요청이 필요했고, 이로 인해 중소 규모 AI 개발사들은 역량을 발휘하기 어려웠다. 이에 대해 알리바바는 논문을 통해 “우리는 실제 검색을 하지 않고도 AI가 검색 기능을 학습할 수 있게 하는 ‘제로서치’ 훈련 프레임워크를 개발했다”고 밝혔다.

알리바바의 방식은 먼저 경량의 감독 학습을 통해 대규모 언어모델(LLM)에 간단한 검색 기능을 부여한 뒤, 모의 강화학습을 통해 점차 복잡한 정보를 스스로 생성·이해하게 만든다. 이 방식의 핵심은 검색 쿼리에 대해 AI가 스스로 문서를 생성하는 능력에 있으며, 연구진은 “LLM이 대규모 사전 훈련을 통해 자체적으로 방대한 세계 지식을 습득했기 때문에 가능한 방식”이라고 설명했다.

실제 성능도 눈에 띈다. 알리바바는 7개 질문응답 데이터셋을 기반으로 실험한 결과, 제로서치로 훈련한 70억 파라미터 모델의 성능은 구글 검색 기반 모델에 필적했고, 140억 파라미터 모델은 오히려 그보다 뛰어난 결과를 냈다고 전했다. 비용 측면에서도 구글API를 통한 6만 4,000건 검색 훈련 시 약 586.70달러(약 84만 원)가 들지만, 제로서치 기반 시뮬레이션 모델은 70.80달러(약 10만 원) 수준에 그쳤다. 이는 전체 훈련 비용에서 88%에 해당하는 절감 효과다.

이번 기술은 모델 규모, 구조, 지정된 사전 학습 여부에 상관없이 다양한 모델군에 적용 가능하다는 점에서도 주목받고 있다. 알리바바는 Qwen-2.5, LLaMA-3.2 계열 모델에도 적용 가능한 것으로 확인했으며, 관련 코드와 사전 학습 모델을 오픈소스 플랫폼인 깃허브와 허깅페이스를 통해 일반에 공개했다.

AI 기술의 민주화 측면에서도 의미가 크다. 기존에는 상업 검색 API 접근조차 어려웠던 중소 AI 스타트업에게 이 기술은 고성능 비서를 개발할 수 있는 실질적 기회를 제공한다. 동시에 외부 검색엔진의 편향성과 불확실성에서 벗어나, 개발자가 훈련 문서 품질을 정밀하게 제어할 수 있는 장점도 크다.

알리바바가 제안한 제로서치는 단순한 검색기능 모사가 아닌, AI가 스스로 정보를 탐색하고 학습하는 새로운 트렌드의 서막이다. 앞으로 AI가 외부 도구에 의존하지 않고 자체적인 학습 역량을 갖추기 시작한다면, AI 개발 생태계의 비용 구조와 파트너십 의존도는 근본적으로 변화할 수밖에 없다. 검색엔진을 사용하지 않도록 AI를 학습시키는 방식이, 역설적으로 검색엔진의 미디어 독점을 위협하는 계기가 될 가능성도 제기된다.