AI 추론 스타트업 프렌들리AI, 2000만 달러 투자 유치…GPU 효율화 강점

AI 추론 플랫폼 스타트업 프렌들리AI(FriendliAI)가 최근 시드 확장 라운드를 통해 2000만 달러(약 288억 원)의 투자를 유치했다. 이번 라운드는 미국 벤처캐피털 캡스톤 파트너스(Capstone Partners)가 이끌었으며, 시에라 벤처스(Sierra Ventures), 얼럼나이 벤처스(Alumni Ventures), KDB인베스트먼트, KB증권 등도 새로 참여했다.

프렌들리AI는 서울대학교 출신인 천병곤 대표가 2021년에 설립한 회사로, AI 모델이 실제 사용자 질문에 응답하는 추론(inference) 단계의 성능을 극대화하는 기술에 집중하고 있다. 지난 2023년 말 미국 실리콘밸리 내 레드우드시티로 본사를 이전한 이 회사는 GPU 리소스를 최대 90% 절감하면서도 현존 최고 수준의 대형 언어모델(LLM) 추론 성능을 제공하는 플랫폼을 앞세워 주목 받고 있다.

회사에 따르면 AI 활용이 실제 서비스로 확장되는 가운데, 전체 GPU 리소스의 80~90%가 추론에 집중되는 현실에서 효율적인 추론 플랫폼의 수요가 급증하고 있다. 특히 클라우드 기반 환경에서 AI를 구동할 경우, 추론 속도는 곧바로 비용 절감으로 이어져 기업들에게 중요한 경쟁력이 된다.

천 대표는 “복잡하고 고비용의 AI 추론 인프라를 내부에서 구축하는 대신, 프렌들리AI의 GPU 최적화 플랫폼을 통해 빠르고 저렴하게 서비스를 구현할 수 있다”고 강조했다. 프렌들리AI는 전용 GPU 자원을 제공하는 ‘전용 엔드포인트’부터 API 방식의 ‘서버리스 엔드포인트’, 자체 인프라에서 구동할 수 있는 ‘컨테이너’까지 다양한 서비스 옵션을 제시하고 있다.

이 회사의 핵심 기술 중 하나는 ‘지속적 배치(continuous batching)’라는 신개념 방식이다. 기존 방식처럼 일괄적으로 추론 요청을 처리하는 것이 아니라, 다양한 시간대에 비정기적으로 들어오는 요청을 유연하게 집계해 GPU 활용률을 극대화한다. 이를 통해 LLM 사용량이 많은 기업들의 비용 부담을 줄이는 동시에 처리 속도도 높인다.

프렌들리AI의 고객은 AI 특화 스타트업부터 대기업까지 다양하다. 특히 최근에는 LG전자 및 LG AI연구원과 협업해 차세대 생성형 AI 모델인 ‘EXAONE’의 유일한 API 제공자로 선정됐다. 국내에서는 감성 챗봇 개발사 스캐터랩이 자사의 대형 언어모델 운영 효율화를 위해 프렌들리AI를 채택하기도 했다.

현재 프렌들리AI는 약 25~30개의 대형 기업 고객을 보유하고 있으며, 사용 기반 과금 모델을 채택하고 있다. 사용량은 GPU 시간 또는 처리된 토큰 수·이미지 스텝 등으로 측정된다. 작년 대비 매출은 6~7배 가량 증가할 것으로 천 대표는 내다봤다. 회사는 아직 흑자 전환 전이지만, 지속적인 수익성 개선과 확장 전략을 함께 추진하고 있다고 밝혔다.

차별화된 기술력도 강점 중 하나다. 프렌들리AI는 GPU의 알고리즘 및 시스템 수준의 최적화를 바탕으로 독자적인 추론 엔진을 구축했다. 현재 42만 개 이상의 모델을 허깅페이스(Hugging Face)에서 직접 구동할 수 있으며, 오픈소스와 커스텀 모델 모두를 폭넓게 지원한다.

이번 투자를 주도한 캡스톤 파트너스의 송은강 파트너는 “프렌들리AI는 AI 추론 분야에서 독보적인 기술 혁신을 보여준 기업”이라며 “성능과 비용 모두를 만족시키는 플랫폼은 AI 상용화에 진입하려는 기업들에게 없어서는 안 될 파트너”라고 평가했다.

AI 산업 전반이 기술성에서 실용성 중심으로 빠르게 전환되면서, 효율적인 추론 엔진을 앞세운 프렌들리AI의 성장성이 더욱 부각되고 있다.