AI 인프라 새판 짜는 텐서제로, 105억 원 시드 투자 유치…오픈소스로 기업 LLM 정조준

오픈소스 기반 인공지능 스타트업 텐서제로가 기업용 대형 언어모델(LLM) 구축의 복잡성을 해결하겠다는 비전을 내세우며 최근 시드 투자에서 730만 달러(약 105억 원)를 유치했다. 이번 투자는 퍼스트마크(FirstMark)가 주도했으며, 베세머 벤처 파트너스, 베드록, DRW, 코얼리션 등 주요 벤처캐피탈과 전략적 엔젤 투자자들이 대거 참여했다.

설립 18개월 차 신생기업인 텐서제로는 개발자 커뮤니티에서 빠르게 주목받고 있다. 최근 깃허브에서 일주일간 글로벌 인기 저장소 1위에 오르며 스타 수가 3,000개에서 9,700개 이상으로 급증했다. 이는 현재 기업들이 AI 애플리케이션을 실사용 환경에 배치하는 데 필요한 인프라의 결핍을 실감하고 있음을 반영한다.

퍼스트마크의 매트 터크 파트너는 “대부분의 기업들이 조각난 초기 솔루션에 의존하면서 LLM 인프라를 억지로 이어붙이고 있다”며 “텐서제로는 자체적으로 유기적으로 작동하는 엔터프라이즈급 구성요소를 제공해, 기업들이 완전한 생산 수준의 LLM 애플리케이션을 구성할 수 있는 기반을 제공한다”고 말했다.

브루클린에 본사를 둔 텐서제로는 GPT-5, 클로드 등 최신 언어모델이 보여준 잠재력을 실제 서비스 수준의 비즈니스 애플리케이션으로 전환하는 데 필요한 요소들을 통합 제공한다. 모델 접근, 관측, 최적화, 실험을 위한 복잡한 시스템들을 일관된 방식으로 연결하는 것이 핵심이다.

텐서제로의 기술적 철학은 공동 창업자이자 최고기술책임자(CTO) 비라즈 메타의 독특한 이력에서 출발한다. 카네기멜론대 박사과정 중 당시 핵융합로 관련 미국 에너지부 연구 프로젝트에 참여했던 그는 “5초 분량의 데이터 수집 비용이 3만 달러(약 4,300만 원)에 달할 만큼 자원 제약이 심했다”며, 주어진 환경에서 가장 가치 있는 데이터를 선택해 실험해야만 했던 경험이 지금의 의사결정 구조를 만들었다고 강조했다.

메타와 함께 회사를 설립한 또 다른 공동 창업자인 가브리엘 비안코니는 디파이(DeFi) 프로젝트 온도파이낸스의 전 최고제품책임자 출신으로, LLM의 운영을 강화하는 피드백 기반의 구조를 구현했다. 그들은 LLM 애플리케이션을 '부분 관찰형 마르코프 결정 과정'으로 정의하며, 자가 학습하는 폐쇄 루프 시스템의 필요성을 강조한다.

이러한 접근은 기존의 복잡한 공급업체 통합 방식과 대비된다. 수많은 기업들이 다양한 관측, 평가, 연동 도구들을 개별적으로 통합하려다 높은 비용과 낮은 효율성이라는 문제에 직면해 있다. 이에 반해 텐서제로는 이 모든 기능을 하나의 오픈소스 스택에서 통합 제공하며, 학습과 피드백 데이터를 기반으로 AI 모델을 더욱 효율적으로 개선한다.

제품은 루스트(Rust)로 개발돼 지연시간을 밀리초 단위로 최소화했으며, 모든 주요 LLM 공급자를 포함하는 단일 API를 통해 서비스된다. 실제로 일부 유럽 대형 은행은 이를 활용해 코드 변경 이력을 자동화하고 있으며, AI 기반 헬스케어 및 금융 스타트업도 플랫폼을 빠르게 도입 중이다.

텐서제로는 기존의 랭체인, 라이트LLM 등 솔루션들과는 달리 프로토타이핑만을 넘어서 완전한 생산환경 구축을 목표로 한 설계가 특징이다. 특히 텍스트 입력·출력 그 자체가 아닌, 각 추론 과정에서 사용된 변수들의 구조화된 데이터를 저장해 최적화와 재학습에 용이한 점도 차별화 요인이다.

성능 면에서도 텐서제로는 타 플랫폼 대비 뛰어난 효율을 자랑한다. 자사 측정에 따르면, 루스트 기반 게이트웨이는 99번째 백분위 수 기준 지연 시간이 1밀리초 미만이며, 초당 10,000건 이상의 쿼리를 처리할 수 있다. 이는 파이썬을 사용하는 타 경쟁 제품 대비 25~100배 낮은 지연 시간이다.

텐서제로는 핵심 플랫폼을 전면 오픈소스로 공개하며, 유료 기능은 일절 포함하지 않는 전략을 고수하고 있다. 대신 향후 수익화는 GPU 인프라 관리, 최적화 실험 자동화, 성능 개선 제안을 포함하는 매니지드 서비스를 통해 진행할 예정이다. 이는 기업 고객들의 '벤더 락인' 우려를 최소화하기 위한 조치다.

향후 텐서제로는 오픈소스 생태계 확장을 전제로 개발팀을 확대하고 있으며, 뉴욕 본사의 신규 채용과 활발한 외부 기여를 통해 빠른 기술 선순환을 이루겠다는 전략을 내세우고 있다. 회사는 특히 AI 모델이 점점 복잡한 워크플로우를 소화하게 되는 상황에서 실세계 피드백 데이터를 통한 반복 학습 구조가 기술 진화를 결정지을 것이라 보고 있다.

기업용 AI 인프라 시장은 이제 데모 구현 수준을 넘어 본격적인 비즈니스 인프라로 진입하고 있다. 텐서제로의 빠른 시장 반응과 깃허브 인기, 그리고 초기 도입 고객 사례는 이들이 제시하는 통합형 솔루션이 갖는 시장 적합성을 입증하고 있다. 수많은 기업이 여전히 프로토타입과 실제 서비스 사이에서 방황하는 지금, 텐서제로는 단순한 도구 집합이 아닌, 다음 세대 AI 기업의 기반이 될 수 있는 인프라로 평가받고 있다.