코그, 일반 GPU서 초당 3000개 토큰 제시

프랑스 스타트업 코그(Kog)가 일반 데이터센터 GPU에서 AI 추론 속도를 끌어올리는 전략을 내세웠다. 전용 추론 칩을 새로 쓰기보다 소프트웨어와 모델 구조를 함께 설계해 엔비디아($NVDA)와 에이엠디(AMD) GPU의 활용도를 높이겠다는 접근이다.

테크크런치(TechCrunch)는 코그가 GPU는 에이전트형 워크플로우의 추론에 맞지 않는다는 통념을 오해로 본다고 보도했다. 가엘 들랄로(Gaël Delalleau) 코그 창업자 겸 최고경영자(CEO)는 같은 보도에서 "GPU에는 밝은 미래가 있다"고 말했다. 기존 GPU를 추론 시장에서 더 오래, 더 깊게 활용할 수 있다는 주장이다.

코그가 겨냥한 지점은 한 사용자 요청에 대한 응답 속도다. AI 에이전트는 계획, 코드 작성, 테스트, 수정 같은 작업을 순차적으로 반복한다. 한 단계의 출력이 늦어지면 다음 단계도 밀리기 때문에 단일 요청 지연시간이 전체 작업 속도를 좌우한다.

회사는 이 병목을 줄이기 위해 런타임, GPU 커널, 모델 아키텍처를 하나의 지연시간 최적화 파이프라인으로 묶었다고 설명했다. 통상 AI 인프라 경쟁이 더 큰 모델과 더 많은 가속기 확보에 집중됐다면, 코그는 이미 설치된 데이터센터 GPU에서 남은 성능을 끌어내는 쪽에 무게를 둔다.

코그는 5월 28일 공개한 코그 인퍼런스 엔진 기술 프리뷰에서 8개 에이엠디 MI300X GPU 기준 요청당 초당 3000개 출력 토큰을 제시했다. 같은 조건의 8개 엔비디아 H200 GPU 기준 수치는 요청당 초당 2100개 출력 토큰이었다. 조건은 FP16, 배치 크기 1, 투기적 디코딩 미사용이다.

이 수치는 코그의 자체 블로그와 데모를 중심으로 제시됐다. 회사 웹사이트도 제품을 요청당 초당 3000개 토큰, 30배 빠른 추론으로 소개하고 AI 코딩 에이전트와 에이전트형 워크플로우를 주요 적용 대상으로 적고 있다.

코그는 6월 24일 허깅페이스(Hugging Face)에 Laneformer 2B도 공개했다. 허깅페이스 글은 이 모델을 23억 개 파라미터의 지시문 조정 코딩 모델로 설명하고 HumanEval+ 45.1%, MBPP+ 51.6%를 제시했다. 테크크런치가 쓴 약 20억 개 파라미터 표기와는 차이가 있지만, 양쪽 모두 소형 코딩 모델이라는 점은 같다.

에이엠디 공식 AI DevDay 2026 페이지도 코그의 기술 발표를 소개했다. 해당 페이지는 코그 세션을 에이엠디 인스팅트 GPU에서 요청당 초당 2500개 토큰 생성을 목표로 하는 실시간 추론 스택으로 설명했다. 코그의 8월 링크드인 게시물에는 실데모에서 초당 2857개 토큰을 기록했다는 회사 측 설명도 올라왔다.

쟁점은 속도 수치의 해석이다. 링크드인 댓글에서는 긍정 반응과 함께 비교 조건이 같은지 묻는 질문이 달렸다. 다른 댓글은 세레브라스가 더 큰 모델에서 비슷한 속도를 냈다고 지적했다. 같은 초당 토큰 수라도 모델 크기, 하드웨어, 배치 크기, 정밀도, 디코딩 방식이 다르면 단순 비교가 어렵다.

추론은 학습된 AI 모델이 질문에 답하거나 코드를 생성하는 실행 과정이다. 토큰은 모델이 문장을 처리하는 기본 단위다. 이용자가 한 번 요청했을 때 모델이 초당 얼마나 많은 출력 토큰을 내는지는 챗봇, 코딩 도구, 에이전트형 자동화 서비스의 체감 속도와 직접 연결된다.

시장 구조상 추론 경쟁은 칩 성능만으로 끝나지 않는다. GPU 확보, 데이터 이동, 커널 최적화, 모델 구조, 배치 처리 방식이 함께 맞물린다. 코그가 소프트웨어와 모델 공동설계를 강조하는 것도 이 때문이다.

한국 독자에게 이 사안은 에이전트형 AI 서비스가 요구하는 추론 인프라 경쟁의 한 장면으로 읽힌다. 본지도 앞서 GPU가 데이터를 기다리는 시간을 줄이는 추론 인프라 경쟁을 보도했다.

다만 코그와 블록체인 프로젝트의 직접 연결은 확인되지 않았다. 이 기사의 초점은 토큰 발행이나 블록체인 연동이 아니라, 에이전트형 AI 서비스가 요구하는 낮은 지연시간을 기존 GPU 인프라에서 어떻게 확보할지에 있다.

코그의 과제는 자체 데모를 넘어 더 큰 모델과 실제 운영 환경에서 같은 접근이 통하는지 보여주는 일이다. 들랄로 CEO는 테크크런치에 9월까지 첫 주요 모델을 10배 속도로 구현하면 고객 견인력과 시리즈A 논의를 시작할 수 있다고 말했다. 이는 아직 계획 단계다.