딥러닝 기반 상호작용형 챗봇을 개발하는 샌프란시스코의 스타트업 델파이(Delphi)가 AI 인프라의 확장 문제를 해결하기 위해 방대한 양의 사용자 데이터를 효율적으로 처리할 수 있는 솔루션을 도입했다. 이 회사는 오픈소스 벡터 스토어 시스템이 성능 한계에 직면하면서, 성능 저하와 복잡한 유지 관리 문제를 겪었다. 결국 델파이는 피콘(Pinecone)의 관리형 벡터 데이터베이스를 채택해 시스템을 안정적으로 확장하고 ‘디지털 마인드(Digital Minds)’ 챗봇 서비스의 실시간 반응성을 유지하는 데 성공했다.
디지털 마인드는 사용자의 글, 녹음, 소셜미디어 정보를 학습해 당사자의 목소리와 스타일을 모방하는 AI 챗봇이다. 교육·창작·컨설팅 등 다양한 분야에서 활용되며, 사용자가 새로 업로드하는 콘텐츠가 많아질수록 시스템은 복잡해진다. 피콘의 도입 전까지는 실시간 대화 지연, 데이터베이스 인덱스 과부하, 시스템 불안정성이 반복적으로 발생했다.
하지만 피콘의 네임스페이스 기반 벡터 저장 구조를 적용한 이후, 델파이는 1초 미만의 응답 속도 유지와 개인정보 보호를 양립시키는 데 성공했다. 각 마인드는 고유한 네임스페이스를 갖고 있으며, 해당 공간을 통해 빠른 검색과 데이터 분리가 동시에 가능하다. 덕분에 데이터 삭제도 간단한 API 호출만으로 처리된다. 실제로 데이터 검색 결과는 95%가 100밀리초 내 반환되고, 전체 응답 시간 대비 30% 이하만 소모돼 성능 효율성을 확보했다.
기술 구조는 RAG(Retrieval-Augmented Generation, 검색 기반 생성) 방식으로 구성됐다. 오픈AI(OpenAI), 앤스로픽(Anthropic) 등 외부 또는 자체 모델로 임베딩한 벡터들은 피콘에 저장되며, 질문이 들어오면 관련 벡터를 빠르게 검색해 대형 언어 모델에 전달하는 방식이다. 이 구조는 실시간 대화를 위한 비용 효율성과 정확도를 모두 충족시킨다.
피콘은 기존 노드 기반 벡터 DB 방식에서 벗어나 객체 저장소 중심의 설계를 채택했다. 자주 사용되는 벡터만 메모리에 유지하고, 그렇지 않은 것은 자동으로 비활성화시켜 저장 비용을 줄이는 방식이다. 사용자마다 데이터 크기와 빈도가 달라서 수천 개에서 수백만 개 벡터까지 다양하더라도, 피콘은 자동으로 최적화된 인덱싱 알고리즘을 적용해 관리 부담을 줄였다.
현재 델파이는 1억 개 이상의 벡터를 1만 2,000개 이상 네임스페이스로 관리하고 있으며, 전 세계적으로 초당 20건 이상의 검색 요청을 안정적으로 처리하고 있다. 라이브 이벤트나 대량 콘텐츠 업로드 시에도 성능 저하 없이 운영되고 있다. 델파이는 앞으로 수백만 개의 디지털 마인드를 운영하는 플랫폼으로 성장하겠다는 계획을 세우고 있다.
롱컨텍스트(긴 문맥) 기능이 확장되면 RAG 기법이 불필요해질 것이란 일각의 주장도 있지만, 델파이 공동창업자이자 CTO인 사무엘 스펠스버그(Samuel Spelsberg)와 피콘의 제품 부사장 제프리 주(Jeffrey Zhu)는 이에 정면 반박했다. 이들은 "관련성 없는 정보를 대량 투입하면 단가 상승과 지연 증가, 모델 집중도 저하를 유발한다"며, RAG는 여전히 정보 선별과 정확도 제고를 위한 핵심 기술이라고 강조했다.
델파이는 현재 ‘인터뷰 모드’라는 신규 기능을 개발 중이다. 이는 디지털 마인드가 사용자에게 능동적으로 질문해 지식의 빈틈을 스스로 메우는 방식으로, 콘텐츠가 부족한 사용자도 쉽게 디지털 마인드를 만들 수 있다. 피콘은 이를 지원하기 위해 적응형 인덱싱, 저메모리 필터링 등 다양한 기능을 강화하고 있다.
결국 델파이와 피콘의 협업은 단순한 기술 통합이 아니라, AI 인프라의 신뢰성과 확장성을 입증한 사례로 평가받는다. 디지털 마인드는 블랙 미러식 환상이 아니라, 교육과 업무 현장에서 실제로 투입될 수 있는 신뢰 가능한 지식 에이전트로 진화하고 있다. 인프라의 안정성과 확장성 확보는 향후 수백만 명의 사용자가 하루에도 수십 번 이들과 대화하는 시대를 여는 기반이 될 것으로 보인다.