엘라스틱, 수천억 개 벡터 검색 서버리스 DB 출시

엘라스틱($ESTC)이 문서 임베딩부터 벡터 저장·검색까지 한 플랫폼에서 처리하는 서버리스 벡터 데이터베이스를 출시했다. 제품은 수천억 개 규모의 벡터 검색과 검색증강생성(RAG), 인공지능(AI) 에이전트 애플리케이션을 겨냥한다.

엘라스틱은 11일 ‘Elasticsearch Vector Database’를 공개했다. 제품은 엘라스틱 클라우드 서버리스에서 즉시 이용할 수 있으며, 엘라스틱 공식 발표는 문서와 질의만 입력하면 임베딩 생성과 인덱스 조정, 관련 인프라 관리를 지원한다고 설명했다.

벡터 데이터베이스는 문장이나 이미지의 의미를 수치화한 벡터를 저장한 뒤 질문과 의미가 가까운 데이터를 찾는 시스템이다. RAG는 대규모 언어 모델(LLM)이 답변을 만들기 전에 관련 문서를 검색해 참고하는 방식으로, 벡터 데이터베이스가 핵심 저장소 역할을 한다.

이번 제품은 문서 분할과 임베딩 생성, 인덱스 설정, 검색 결과 재정렬을 기본 설정으로 처리한다. 텍스트·이미지·멀티모달 벡터를 하나의 인덱스에서 검색할 수 있고, 키워드 검색과 벡터 검색을 결합한 하이브리드 검색도 지원한다.

자체 모델 외에 Jina AI의 임베딩·재순위화 모델도 관리형 GPU 환경에서 사용할 수 있다. 개발자가 별도 모델 서버와 임베딩 파이프라인을 구축하지 않고 검색 기능을 구성하도록 설계됐다.

메모리 부담을 줄이는 핵심 기술은 엘라스틱의 ‘Better Binary Quantization(BBQ)’이다. 엘라스틱 기술 문서는 BBQ가 벡터를 비트 단위로 압축해 메모리 사용량을 최대 32배 줄일 수 있다고 설명한다.

BBQ는 손실 압축 방식이어서 검색 정확도가 낮아질 수 있다. 제품은 과잉 검색과 재순위화를 활용해 정확도 저하를 보완하도록 구성됐다.

대규모 데이터에는 ‘DiskBBQ’도 적용할 수 있다. 벡터를 메모리보다 디스크 중심으로 저장해 RAM 요구량을 낮추는 방식이지만, 검색 속도가 느려질 수 있어 데이터 규모와 정확도·속도 요구 수준에 따라 BBQ-HNSW, BBQ-Flat, BBQ-Disk를 선택해야 한다.

과금은 컴퓨팅 자원 사용량이 아니라 저장 데이터와 검색 용량을 기준으로 산정된다. 엘라스틱은 백그라운드 작업에 별도 비용을 부과하지 않는다고 밝혔다.

실제 요금 수준과 국내 이용자의 비용 부담은 공개되지 않았다. 따라서 메모리 절감 효과가 실제 운영비 절감으로 이어지는지는 데이터 규모와 검색 빈도에 따라 별도 검증이 필요하다.

아제이 나이르(Ajay Nair) 엘라스틱 Elasticsearch·플랫폼 총괄은 “AI 애플리케이션 개발자가 벡터 검색을 구현하기 위해 인프라 엔지니어가 될 필요는 없다”고 말했다. 별도 데이터베이스와 모델 서버로 나뉘던 검색 인프라를 엘라스틱 플랫폼 안에서 통합하려는 제품 방향을 보여주는 발언이다.

벡터 검색 시장에서는 저장·검색 계층과 임베딩 모델, 재순위화 모델을 각각 구성하는 방식이 함께 쓰여 왔다. 엘라스틱은 이 과정을 하나의 관리형 환경으로 묶어 초기 구성과 운영 단계를 줄이는 데 초점을 맞췄다.

기업용 데이터베이스와 AI 서비스를 같은 클라우드 환경에서 연결하려는 흐름은 앞서 오라클의 AI 데이터베이스 서비스 확대 사례에서도 확인됐다. 다만 엘라스틱의 이번 제품은 특정 클라우드 데이터베이스 연동보다 벡터 검색 자체의 구축·운영 단순화에 무게를 둔다.

제품 출시 직후 시장 점유율 변화나 고객 도입 성과는 공개되지 않았다. BBQ 압축에 따른 정확도와 검색 속도의 차이, 수천억 개 벡터를 실제로 운영할 때의 비용은 사용 환경별 검증이 필요하다.

엘라스틱은 엘라스틱 클라우드 서버리스에서 제품을 현재 제공하고 있다. 향후 관건은 대규모 검색 환경에서 메모리 절감과 검색 품질, 처리 속도 사이의 균형이 될 전망이다.