투게더AI, GPU 추론 코드 최적화 도구 공개

투게더AI(Together AI)가 4일 AI 에이전트로 추론용 GPU 코드를 반복 최적화하는 도구 ‘투게더 컴파일러(Together Compiler)’를 공개했다.

투게더AI는 발표문에서 새 도구가 모델을 구동하는 GPU 코드를 고친다고 설명했다. 최적화 대상은 AI 모델의 가중치가 아니다. 추론은 학습을 마친 모델이 이용자의 요청에 답을 생성하는 과정이다.

회사는 모델 구조와 요청 트래픽, GPU가 바뀔 때 필요한 추론 코드 재최적화 작업을 자동화한다고 밝혔다. 새 모델이나 하드웨어에 맞춰 코드 실행을 조정하는 기능이다.

투게더AI는 여러 에이전트가 코드 변경을 반복 시험해 기존 에이전트형 추론 최적화 시스템보다 252배 많은 실험을 수행한다고 주장했다. 비교 대상 시스템과 실험 횟수의 산정 방식은 발표문에 구체적으로 담기지 않았다.

회사는 신규 모델 최적화에 걸리는 시간을 수주에서 24시간 이내로 줄일 수 있다고 밝혔다. 이는 회사가 제시한 작업 시간이며, 성능 개선 수치와는 별개의 주장이다.

◇ 성능 수치는 회사 발표

투게더AI가 발표한 시험에서 Kimi K3와 GLM 5.3의 피크 처리량은 세미애널리시스(SemiAnalysis)의 InferenceX 최고 결과보다 각각 1.5배, 1.4배 높았다. 이 수치는 회사가 발표한 시험 결과다.

피크 처리량은 여러 요청을 처리하는 성능을 나타내며, 단일 이용자의 토큰 생성 속도와는 다른 지표다. 서로 다른 지표와 기준선을 하나의 개선율로 묶어 비교할 수는 없다.

단일 이용자 기준으로는 MiniMax M3.1 Flash가 엔비디아(NVIDIA, $NVDA) B200에서 초당 1111토큰을 기록해 기준선의 1.5배를 보였다. DeepSeek v4.1 Flash는 엔비디아 GB300에서 초당 1205토큰으로 기준선의 1.2배를 기록했다고 회사는 밝혔다.

InferenceX는 벤치마크 결과와 실행 기록을 공개해 재현할 수 있는 시험 방식이라고 소개된다. 다만 투게더AI 발표문에는 이번 비교에 해당하는 실행 기록과 전체 시험 설정이 제시되지 않았다.

투게더AI는 고객사 Phonic의 음성 모델 Phonic-1을 최적화한 뒤 첫 음성 출력까지 걸리는 시간의 중앙값이 거의 50% 줄었다는 사례도 소개했다. 측정 정의와 비교 조건은 발표문에서 확인할 수 없다.

◇ 서버리스 엔드포인트와 제한 베타

투게더 컴파일러는 투게더AI가 추진하는 ‘Polymorphic Inference’의 첫 프로젝트다. 회사는 새 도구가 추론 서비스에서 GPU 코드를 최적화한다고 설명했다.

투게더AI는 앞서 에퀴닉스(Equinix, $EQIX)·엔비디아와 기업용 분산 AI 추론 서비스를 공개했다. 당시 발표한 서비스는 200개 이상 오픈 모델을 지원하며 2027년 1분기부터 제공될 예정이다.

회사는 투게더 컴파일러가 현재 자사 서버리스 엔드포인트 여러 곳에서 작동하고 있다고 밝혔다. 전용 배포 고객에게는 제한 베타로 제공된다.

셀프서비스 출시일은 공개되지 않았다.