토큰 비용 최대 70% 절감 제시한 스펙트로 클라우드

스펙트로 클라우드가 기업 내부에서 인공지능(AI) 모델을 구동하는 로컬 우선 추론 플랫폼을 출시하고 토큰 비용을 최대 70% 줄일 수 있다고 제시했다. AMD 기반 인프라 지원도 확대하면서 기업용 AI 운영 환경의 비용과 데이터 통제 문제를 함께 겨냥했다.

스펙트로 클라우드(Spectro Cloud)는 7월 21일 PaletteAI Inference Launchpad를 출시했다고 밝혔다. 기업이 자체 하드웨어에서 대형언어모델(LLM) 추론을 운영하도록 설계된 관리형 어플라이언스로, 회사는 워크로드 구성과 배포 방식에 따라 토큰 비용을 최대 70% 절감할 수 있다고 설명했다.

이 제품은 자체 하드웨어를 사설 AI 플랫폼으로 전환하고 △vLLM △쿠버네티스 △인증 △역할 기반 접근제어(RBAC) △모니터링 기능을 제공한다. GLM·DeepSeek·Kimi·Gemma 계열의 로컬 모델과 AMD($AMD)·엔비디아($NVDA) GPU를 지원한다.

스펙트로 클라우드는 AMD GPU와 GPU 오퍼레이터, ROCm 런타임, AMD 엔터프라이즈 AI 레퍼런스 스택 지원도 확대했다. AMD Inference Microservices(AIMs) 카탈로그에 포함된 AMD 최적화 모델도 지원한다. GPU뿐 아니라 서버와 런타임, 모델, 라우팅 소프트웨어를 묶어 기업용 AI 운영 환경을 구성하려는 흐름으로 풀이된다.

AI 코딩 도구와의 연동 기능도 마련했다. OpenAI Codex CLI는 PaletteAI Inference Launchpad의 커스텀 모델 공급자에 연결할 수 있다. Cursor는 Ask 모드에서 어플라이언스가 제공하는 모델 별칭으로 요청을 보낼 수 있지만, 자체 모델을 사용하는 Agent·Edit·Tab 모드는 BYOK 방식으로 지원되지 않는다.

기업이 로컬 추론을 검토하는 배경에는 비용과 데이터 통제 문제가 있다. 클라우드 AI 서비스는 사용량이 늘면 토큰 과금이 커지고 소스코드와 내부 문서, 지식재산 등 민감한 정보가 외부 모델 서비스로 전송될 수 있다. 스펙트로 클라우드는 로컬 추론을 활용하면 데이터를 내부 환경에 두면서 토큰 과금을 예측 가능한 인프라 비용으로 전환할 수 있다고 설명했다.

쿠마란 시바(Kumaran Siva) AMD 엔터프라이즈 AI 기업 부사장은 “기업과 클라우드 제공업체는 비용, 성능, 배포 선택권을 더 잘 통제할 수 있는 개방형 AI 인프라를 찾고 있다”고 말했다. AMD는 스펙트로 클라우드의 인프라 지원이 개방형 AI 환경에서 기업의 실제 서비스 배포를 앞당길 수 있다고 평가했다.

이번 발표는 암호화폐나 블록체인 네트워크를 직접 다루지는 않는다. 다만 거래소와 지갑, 보안 감사, 온체인 데이터 분석 기업처럼 코드와 민감 정보를 다루는 조직에는 AI 코딩 도구를 외부 클라우드에만 의존할지, 내부망·온프레미스 AI와 병행할지가 비용과 보안 측면의 실무 과제가 될 수 있다.

AMD는 Advancing AI 2026에서 Helios와 EPYC ‘Venice’ 9006, Instinct MI455X, ROCm.AI를 AI 인프라와 개발의 주요 축으로 제시했다. 다만 실제 도입 비용과 70% 절감 산식, 기업별 투자 회수 기간은 공개되지 않았다.