맨위로 가기
  • 공유 공유
  • 댓글 댓글
  • 추천 추천
  • 스크랩 스크랩
  • 인쇄 인쇄
  • 글자크기 글자크기
링크 복사 완료 링크가 복사되었습니다.

오픈AI 추론칩, 지연시간 최대 3.6배 낮췄다

프로필
토큰포스트 속보
댓글 0
좋아요 비화설화 0

오픈AI가 브로드컴과 개발한 추론 칩 할라페뇨의 첫 성능 결과를 공개했다. 공개 모델 테스트에서 전력당 처리량은 1.5~1.9배, 지연시간은 1.7~3.6배 개선됐다고 밝혔다.

 정밀 측정대 위 반도체 칩 / TokenPost.ai

정밀 측정대 위 반도체 칩 / TokenPost.ai

오픈AI(OpenAI)가 브로드컴(Broadcom)과 개발한 첫 맞춤형 추론 칩 할라페뇨(Jalapeño)의 성능 결과를 공개했다. 공개 모델 테스트에서 전력당 처리량은 1.5~1.9배 높고, 엔드투엔드 지연시간은 1.7~3.6배 낮았다는 설명이다.

오픈AI는 25일 공개한 기술 보고서에서 할라페뇨가 GPT-OSS 120B, 딥시크(DeepSeek) R1, 키미(Kimi) K2.5 1T에서 이 같은 결과를 냈다고 밝혔다. 대화형 추론 부하에서는 성능이 2.1~4.1배 높았다고도 밝혔다.

할라페뇨는 대규모언어모델(LLM) 추론에 맞춰 설계된 오픈AI의 첫 전용 가속기다. 오픈AI와 브로드컴은 지난 6월 이 칩을 공개하며 설계부터 생산 테이프아웃까지 9개월이 걸렸고, 오픈AI 모델이 개발 과정 일부를 가속했다고 밝혔다.

오픈AI는 할라페뇨를 올해 말까지 자체 컴퓨트 인프라에 배치하기 시작할 계획이라고 밝혔다. 회사는 다만 엔비디아(NVIDIA)를 포함한 파트너사의 가속기도 훈련과 추론 작업에 계속 폭넓게 배치하겠다고 밝혔다.

본 기사는 시장 데이터 및 차트 분석을 바탕으로 작성되었으며, 특정 종목에 대한 투자 권유가 아닙니다.
광고문의 기사제보 보도자료
앱 아이콘

토큰포스트가 새로워졌어요!

앱 출시 기념 이벤트에 참여하고 선물도 함께 받아가세요!

디센트 S 지급

디센트 S 지갑 카드형 하드웨어 월렛

추첨 20명
커피

커피 쿠폰 모바일 쿠폰 1매

선착순 1,000명

많이 본 기사

alpha icon

지금 꼭 알아야 할 리포트

관련된 다른 기사

댓글

댓글

0

추천

0

스크랩

스크랩

데일리 스탬프

0

말풍선 꼬리

매일 스탬프를 찍을 수 있어요!

데일리 스탬프를 찍은 회원이 없습니다.
첫 스탬프를 찍어 보세요!

댓글 0

댓글 문구 추천

좋은기사 감사해요 후속기사 원해요 탁월한 분석이에요

0/1000

댓글 문구 추천

좋은기사 감사해요 후속기사 원해요 탁월한 분석이에요
1