AI 인퍼런스 고도화 나선 프렌들리AI, 2,000만 달러 투자 유치

AI 인퍼런스 성능 개선을 지원하는 스타트업 프렌들리AI(FriendliAI)가 최근 2,000만 달러(약 288억 원)의 투자를 유치했다. 기존에 500만 달러를 조달한 데 이어 진행된 시드 연장 라운드는 캐피스톤 파트너스가 주도했으며, 시에라 벤처스, 얼럼나이 벤처스, 산업은행(KDB)과 KB증권 등도 새롭게 참여했다.

프렌들리AI는 AI 모델 실행 단계를 가속화하는 소프트웨어 플랫폼 '프렌들리 엔진(Friendli Engine)'을 중심으로 사업을 전개하고 있다. 이 엔진은 고객사의 AI 워크로드에 저수준 최적화 기법을 적용해 추론 비용을 최대 90%까지 감소시키고 응답 속도를 향상시키는 것이 특징이다.

프렌들리AI는 특히 초대형 언어모델(LLM) 사용 환경에서의 비효율을 줄이기 위해 '지속 배치(continuous batching)' 기법을 개발했다. 일반적으로 여러 요청을 한 번에 처리하는 LLM 특성상 상대적으로 빠르게 처리한 요청도 느린 요청 완료를 기다리며 병목이 생기는데, 프렌들리AI의 방식은 이를 해결해 결과 도출 속도를 획기적으로 개선한다고 설명했다. 프렌들리AI에 따르면, 이 기법은 경우에 따라 모델 처리량을 10배 이상 끌어올릴 수 있다.

이와 함께 최근에는 ‘N-그램 추론(speculative decoding)’ 기술도 도입했다. 이는 이전 입력 결과를 활용한 생성 방식으로, 매번 새롭게 데이터를 예측하는 기존 기법보다 훨씬 효율적으로 작동한다.

현재 프렌들리AI는 기술을 상용화해 세 가지 형태의 제품군으로 제공하고 있다. '프렌들리 컨테이너(Friendli Container)'는 기업이 자체 GPU 클러스터 환경에서 소프트웨어를 운용할 수 있게 하고, 이외에도 인프라 관리 부담이 없는 클라우드 기반 추론 서비스도 두 가지 운영하고 있다. 하나는 오픈소스 모델 기반 추론 전용 서비스이며, 다른 하나는 고객의 맞춤형 LLM을 위한 ‘프렌들리 디디케이티드 엔드포인트(Friendli Dedicated endpoints)’이다. 이 서비스는 추론 수요 변화에 따라 자동으로 GPU 자원을 조정하는 기능을 제공한다.

스타트업 데이터 플랫폼 크런치베이스(Crunchbase)에 따르면, 프렌들리AI는 현재 25~30개 대형 고객사를 확보하고 있으며 연내 매출이 최대 600% 성장할 것으로 기대된다. 아직 수익 전환에는 이르지 못했지만, 견조한 매출총이익률을 유지 중인 것으로 알려졌다.

이번 투자금은 북미와 아시아 시장에서의 영업 확대와 함께 인퍼런스 소프트웨어 고도화, 클라우드 서비스용 GPU 확보 등에 쓰일 계획이다. 프렌들리AI는 빠르게 성장하는 AI 인퍼런스 시장에서 비용 경쟁력과 효율성을 앞세워 차별화를 꾀하고 있다.