오픈AI(OpenAI)가 브로드컴(Broadcom)과 개발한 첫 맞춤형 추론 칩 할라페뇨(Jalapeño)의 성능 결과를 공개했다. 공개 모델 테스트에서 전력당 처리량은 1.5~1.9배 높고, 엔드투엔드 지연시간은 1.7~3.6배 낮았다는 설명이다.
오픈AI는 25일 공개한 기술 보고서에서 할라페뇨가 GPT-OSS 120B, 딥시크(DeepSeek) R1, 키미(Kimi) K2.5 1T에서 이 같은 결과를 냈다고 밝혔다. 대화형 추론 부하에서는 성능이 2.1~4.1배 높았다고도 밝혔다.
할라페뇨는 대규모언어모델(LLM) 추론에 맞춰 설계된 오픈AI의 첫 전용 가속기다. 오픈AI와 브로드컴은 지난 6월 이 칩을 공개하며 설계부터 생산 테이프아웃까지 9개월이 걸렸고, 오픈AI 모델이 개발 과정 일부를 가속했다고 밝혔다.
오픈AI는 할라페뇨를 올해 말까지 자체 컴퓨트 인프라에 배치하기 시작할 계획이라고 밝혔다. 회사는 다만 엔비디아(NVIDIA)를 포함한 파트너사의 가속기도 훈련과 추론 작업에 계속 폭넓게 배치하겠다고 밝혔다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사