체인캐처(ChainCatcher)는 딥시크(DeepSeek)가 내부 추론 프레임워크 딥인퍼(DeepInfer)를 전면 오픈소스로 공개했다고 보도했다. 실서비스용 토큰 인코딩·디코딩 컴포넌트 'deepseek-recipe'도 함께 공개됐다.
체인캐처는 딥인퍼가 고성능 연산자와 최적화된 추론 엔진을 통합한 프레임워크라고 보도했다. 분산 추론, 추측 디코딩(speculative decoding), SWA Bounded Replay, 구조화 출력을 지원하며 엔비디아와 화웨이 어센드(昇腾, Ascend) 플랫폼에서 모두 쓸 수 있다는 내용이다.
딥시크는 딥인퍼를 기반으로 DeepSeek V4.1 Flash의 고처리량·저지연 대규모 추론 서비스를 구현했다고 밝혔다. 신규 모델의 추론 코드와 최적화 내용도 앞으로 이곳에서 계속 업데이트할 예정이다. deepseek-recipe는 딥시크 공식 API의 처리 로직과 완전히 일치하도록 만들어졌다고 체인캐처는 덧붙였다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사