삼바노바, '10배 빠른 AI칩'으로 인프라 혁신 주도…전력·성능 두 토끼 잡았다

생성형 모델의 복잡성이 증가하고 에이전트 기반 시스템이 컴퓨팅 한계에 다가서면서, 이를 뒷받침할 신뢰성 높은 AI 인프라 구축이 업계의 핵심 과제로 떠오르고 있다. 이 같은 흐름 속에서 주목받는 기업이 바로 AI 인프라 스타트업 삼바노바 시스템즈(SambaNova Systems)다. 회사는 최신 제품 SN40L을 앞세워 고성능·저전력 AI 하드웨어 시장의 패러다임 전환을 이끌고 있다.

삼바노바는 SN40L을 통해 AI 워크로드에 최적화된 리디자인을 시도했다. 이 장치는 기존 GPU 기반 시스템과 구별되는 *데이터플로우 아키텍처*를 적용해 학습과 추론을 가속화하는 동시에 전력 소모는 대폭 줄인 것이 특징이다. 로드리고 리앙(Rodrigo Liang) 최고경영자에 따르면, SN40L의 핵심은 재구성 가능한 ‘4세대 RDU’다. 그는 “신경망 자체가 데이터플로우 방식으로 작동하는 만큼, 이를 구현하는 실리콘 자체를 전면적으로 새롭게 설계했다”며 “NVIDIA 칩 대비 10배 빠르고, 소비전력은 10분의 1 수준”이라 강조했다.

이 같은 기술적 진보는 단순한 성능 향상을 넘어 AI 인프라의 확장성과 지속 가능성 문제까지 해결하려는 목적에서 출발했다. 특히 기업 내 다양한 AI 에이전트의 동시 구동 환경에서도 고효율 운용을 가능하게 한 점이 큰 강점으로 꼽힌다. 예를 들어 평균 3000토큰의 프롬프트 응답이 요구되던 초기 생성형 모델들과 달리, 최근에는 수십 페이지에 달하는 문서 생성이 기본이고, 에이전트 시스템에서는 그 처리량이 100배 이상 증가한다. 이처럼 방대한 자원을 요구하는 상황에서 삼바노바의 효율적인 전력·처리 구조는 데이터 센터 운영비와 탄소배출을 동시에 낮출 수 있는 대안으로 주목받는다.

또한 삼바노바의 클라우드 플랫폼도 AI 에이전트 운용에 최적화됐다. 기업 고객은 오픈소스 모델과 사설 모델을 결합해 자신만의 에이전트 워크플로우를 구성할 수 있으며, 하드웨어와 소프트웨어, 모델을 통합 제공하는 전체 스택(full-stack) 기반 구조 덕분에 도입 및 실행이 간편하다. 이에 대해 리앙 CEO는 “에이전트들이 호출하는 여러 모델 간 상호작용을 쉽게 실험하고 최적화할 수 있는 환경이 마련됐다”고 설명했다.

전력 효율성도 SN40L의 강점이다. 데이터 이동과 연산 중복을 줄이는 구조를 통해 처리 효율을 높였고, 이를 통해 동일 성능 기준에서 필요한 에너지 양을 현저히 낮췄다. 리앙은 “AI의 미래는 결국 전력과의 싸움이 될 것”이라며 “기업 내부에 기가와트급 데이터 센터를 보유한 곳은 드물고, 우리의 AI 랙은 10kW 수준이어서 기존 대부분의 인프라에 도입하기 적합하다”고 강조했다.

삼바노바는 AI 진화가 가져올 스케일링 한계를 기술로 돌파할 수 있음을 보여주는 대표 사례로 떠오르고 있다. SN40L은 단순한 기계 성능 경쟁을 넘어, 기업들이 에이전트 중심의 하이브리드 AI 환경으로 나아가는 데 있어 핵심 인프라 역할을 할 가능성이 크다. 고도화되는 AI 흐름 속에서 전력 제약과 인프라 비용이라는 이중의 도전에 직면한 기업들에게, 삼바노바는 매우 실용적인 대안을 제시하고 있는 셈이다.