AI 추론 플랫폼 기업 베이스텐(Baseten)이 최근 진행한 시리즈 D 투자 라운드에서 1억 5,000만 달러(약 2,160억 원)를 유치하며 기업가치 21억 5,000만 달러(약 3조 960억 원)를 인정받았다. 이번 투자는 글로벌 벤처 캐피털 본드(BOND)가 주도했으며, 구글 지주회사 알파벳(GOOGL)의 성장 투자 부문 캐피털G(CapitalG)를 포함해 컴빅션, 프렘지 인베스트, 01A, IVP, 스파크캐피탈, 그레이록, 스크리블벤처스 등이 참여했다.
베이스텐은 기업 고객이 AI 추론 모델을 더 빠르고 효율적으로 운영할 수 있도록 하는 소프트웨어 플랫폼을 개발한다. 회사에 따르면 이 플랫폼은 경쟁 제품 대비 최대 50% 가량 더 높은 실행 성능을 제공하며, 고객 인프라에 직접 설치하거나 베이스텐이 관리하는 클라우드 기반 플랫폼 위에 올릴 수도 있다.
클라우드 버전은 아마존웹서비스(AWS), 마이크로소프트 애저(MSFT), 구글 클라우드 등 10곳 이상의 퍼블릭 클라우드 인프라와 연동되며, 트래픽 급증 시 AI 애플리케이션에 GPU를 자동으로 배분해 성능을 유지한다. 특정 클라우드에서 장애가 발생할 경우 즉시 대체 인프라로 전환할 수 있는 자동 복구 기능도 포함돼 있다.
이 기술의 핵심은 데이터 흐름을 최소화해 처리 효율성을 높이는 ‘토폴로지 인식 병렬화(topology-aware parallelism)’다. 복수의 그래픽카드에서 동시에 AI 모델이 실행될 때, 하드웨어 간 데이터 교환을 최적화해 불필요한 리소스 낭비를 줄인다. 여기에 계산 연산을 통합 처리하는 ‘연산자 퓨전(operator fusion)’ 기법과 뉴럴 네트워크 경량화를 위한 ‘양자화 툴(quantization tool)’도 포함돼 있어, 메모리 사용량까지 대폭 줄일 수 있다.
아울러 기업 고객은 자체 AI 모델을 제작, 배포, 실시간 모니터링할 수 있는 통합 도구를 활용할 수 있다. 기본 제공되는 개발 도구로 의존 라이브러리 설치부터 모델 성능 추적, 리소스 사용률 분석까지 전 과정을 자동화할 수 있어 개발 생산성이 높아진다.
지난 5월 베이스텐은 단순한 추론을 넘어 학습 단계까지 아우르는 AI 훈련 인프라를 공개하며 사업 영역을 확장했다. 해당 서비스를 이용하면 AI 모델 구축 과정에서 중간 결과물을 주기적으로 저장하고, 학습 중단 시 가장 최근 버전부터 복구할 수 있어 안정성이 크게 강화된다.
투자 유치 이후 베이스텐은 개발자 도구 생태계를 확장하고 AI 모델 처리 속도 개선을 위한 고도화 기술 연구에 박차를 가할 계획이다. 공동 창업자이자 CEO인 투힌 스리바스타바(Tuhin Srivastava)는 "대부분의 혁신적인 AI 서비스는 빠르고 안정적인 추론이 바탕이 되며, 이는 지난 15년간의 클라우드 인프라와 같은 역할을 할 것"이라고 강조했다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>