반감 예상일 4월 21일 09:53 KST

  • Days
  • Hours
  • Mins
  • Secs
속보
속보 시간 이미지 18분 전
속보 시간 이미지 2시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 4시간 전
속보 시간 이미지 4시간 전
속보 시간 이미지 4시간 전
속보 시간 이미지 4시간 전
속보 시간 이미지 5시간 전
속보 시간 이미지 5시간 전
속보 시간 이미지 5시간 전
속보 시간 이미지 5시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 18분 전
맨위로 가기
  • 공유 공유
  • 댓글 댓글
  • 추천 추천
  • 스크랩 스크랩
  • 인쇄 인쇄
  • 글자크기 글자크기
링크가 복사되었습니다.

그로크 $ 20,000 LPU 칩, GPU 주도 업계의 AI 성능 기록 경신

작성자 이미지
한재호 기자

2024.02.21 (수) 21:14

대화 이미지  댓글  [15]
하트 이미지 추천  [25]

Shutterstock

인공지능 분석 기관 ArtificialAnalysis.ai가 최근 실시한 벤치마크에서 그로크의 LPU(Inference Engine)가 대형 언어 모델의 처리 효율성에서 새로운 기록을 세웠다. 이 연구에서 그로크는 지연 대 처리량 및 총 응답 시간을 포함한 여러 주요 성능 지표에서 여덟 참가자를 앞섰다. 그로크의 웹사이트에 따르면, LPU는 특히 Meta AI의 Llama 2-70b 모델과의 뛰어난 성능으로 "지연 대 처리량 차트에 그로크를 표시하기 위해 축을 확장해야 했다"고 밝혔다.

ArtificialAnalysis.ai에 따르면, 그로크 LPU는 초당 241토큰의 처리량을 달성하여 다른 호스팅 제공 업체의 능력을 크게 초월했다. 이 수준의 성능은 경쟁 솔루션의 두 배에 달하며, 여러 도메인에서 대형 언어 모델에 대한 새로운 가능성을 열 수 있다. 그로크의 내부 벤치마크는 이 성취를 더욱 강조하며, 300토큰/초에 이르는 속도를 기록하며 기존 솔루션 및 기업 제공 업체들이 아직까지 달성하지 못했다고 주장했다.

혁신의 핵심, GroqCard™ 가속기

이 혁신의 핵심은 소비자에게 19,948달러에 구매 가능한 GroqCard™ 가속기에 있다. 기술적으로 이 카드는 성능 면에서 최대 750 TOPs (INT8) 및 188 TFLOPs (FP16 @900 MHz)를 자랑하며, 칩 당 230MB SRAM과 최대 80 TB/s의 칩 내 메모리 대역폭을 제공한다. 이는 전통적인 CPU 및 GPU 설정을 능가하며 특히 LLM 작업에서 탁월한 성능을 보여준다. 이러한 성능 향상은 LPU가 단어당 계산 시간을 크게 줄이고 외부 메모리 병목 현상을 완화함으로써 빠른 텍스트 시퀀스 생성을 가능하게 한 결과이다.

비슷한 가격대의 엔비디아의 주력 A100 GPU와 그로크 LPU 카드를 비교할 때, 그로크 카드는 간단한 데이터(INT8)의 대량 처리에서 속도와 효율성이 중요한 작업에서 뛰어나며, A100이 성능을 향상시키기 위해 고급 기술을 사용하더라도 견줄 만하다. 그러나 더 높은 정밀도를 필요로 하는 복잡한 데이터 처리 작업(FP16)에서는 그로크 LPU가 A100의 성능 수준에 도달하지 못한다.

실제로 두 구성 요소는 AI 및 ML 계산의 다른 측면에서 뛰어나며, 그로크 LPU 카드는 특히 LLMs를 빠르게 실행하는 데 매우 경쟁력이 있다. 그로크는 LPU를 LLMs를 실행하기 위한 도구로 위치시키고 있으며, 단순한 계산이나 모델 튜닝보다 우수한 성능을 제공한다.

웹사이트에서 그로크의 Mixtral 8x7b 모델을 쿼리한 결과, 초당 420토큰으로 처리되었다.

“그로크는 머신러닝 모델을 실행하는 강력한 도구로, 특히 프로덕션 환경에서 빛을 발한다. 모델 튜닝이나 교육에 가장 적합한 선택은 아니지만, 뛰어난 성능과 낮은 지연 시간으로 사전 훈련된 모델을 실행하는 데 능숙하다.”

그로크LPU의 집중적인 칩 내 메모리 대역폭에 중점을 둔 직접적인 메모리 대역폭 비교는 덜 명확하다. 이는 AI 워크로드에 미치는 지연 감소 및 칩 내 데이터 전송 속도를 크게 향상시켜준다.

AI 및 기계 학습을 위한 컴퓨터 구성 요소의 진화

그로크의 언어 처리 장치 도입은 컴퓨팅 하드웨어의 진화에서 중요한 이정표가 될 수 있다. 전통적인 PC 구성 요소인 CPU, GPU, HDD 및 RAM은 독립된 그래픽과 통합 그래픽이 소개된 이후로 기본 형태에서 상대적으로 변하지 않았다. LPU는 LLMs의 처리 능력을 최적화하기 위한 전문적인 접근 방식을 소개하여 로컬 장치에서 실행되는 것이 유리해질 수 있는 컴퓨팅 하드웨어의 새로운 단계를 나타낸다. ChatGPT 및 Gemini와 같은 서비스가 클라우드 API 서비스를 통해 실행되는 반면, 온보드 LLM 처리의 개인 정보, 효율성 및 보안 면에서의 이점은 무수히 많다.

초기에는 3D 그래픽 렌더링을 완화하고 가속화하기 위해 설계된 GPU는 동시 작업을 수행할 수 있는 능력 때문에 게임 및 과학 계산에서 필수적인 구성 요소가 되었다. 그러나 이러한 발전에도 불구하고 이러한 구성 요소의 기본 구조는 주로 일반 목적 컴퓨팅 작업 및 그래픽 렌더링에 중점을 둔 채로 유지되었다.

그로크의 LPU 추론 엔진의 등장은 특히 LLMs가 제기하는 독특한 도전 과제에 대응하기 위해 공학적으로 설계된 패러다임 전환을 나타낸다. CPU 및 GPU는 다양한 응용 프로그램을 위해 설계된 반면, LPU는 언어 처리 작업의 계산적으로 중요하고 순차적인 성격에 맞게 특별히 제작되었다. 이 중점은 LPU가 AI 언어 응용 프로그램의 특별한 요구 사항에 대응할 때 전통적인 컴퓨팅 하드웨어의 한계를 뛰어넘을 수 있도록 한다.

LPU의 주요 차별 요소 중 하나는 우수한 컴퓨팅 밀도와 메모리 대역폭이다. LPU의 설계는 단어당 계산 시간을 크게 줄이고 외부 메모리 병목을 제거함으로써 텍스트 시퀀스를 빠르게 처리할 수 있게 한다. 이는 LLM 응용 프로그램에서 텍스트 시퀀스를 빠르게 생성하는 데 중요한 이점이다.

기존 설정에서 CPU 및 GPU가 메모리에 대한 외부 RAM에 의존하는 반면, 칩 내 메모리는 칩 자체에 직접 통합되어 있어 데이터 전송에 대한 지연이 크게 줄고 더 높은 대역폭이 제공된다. 이 아키텍처는 데이터가 프로세서와 별도의 메모리 모듈 간에 여행해야 하는 시간 소모적인 여행을 제거함으로써 AI 워크로드의 처리 효율성을 위해 빠른 데이터 액세스를 허용한다. 그로크 LPU의 놀라운 칩 내 메모리 대역폭은 80 TB/s에 이르며, GPU는 높은 오프칩 메모리 대역폭을 자랑할지라도 칩 내 접근 방식에서 제공되는 속도와 효율성을 따라잡지 못한다.

LLMs에 최적화된 프로세서를 만들면 AI 연구 및 개발 커뮤니티에서 특화된 하드웨어 솔루션에 대한 증가하는 수요를 충족시킬 수 있다. 이러한 움직임은 AI 하드웨어에 대한 혁신의 새로운 물결을 촉발시킬 수 있으며, 다양한 AI 및 기계 학습 워크로드의 다른 측면에 특화된 처리 장치로 이끌 수 있다.

컴퓨팅이 계속해서 진화함에 따라 LPU가 CPU 및 GPU와 함께 도입되면, 하드웨어 개발에서 새로운 단계를 나타내며, 점점 특화된 영역으로 나아가고 있다. 이는 전반적인 글로벌 AI 및 기계 학습 애플리케이션의 특별한 요구 사항을 고려한 최적화된 하드웨어의 필요성을 시사한다.

<저작권자 © TokenPost, 무단전재 및 재배포 금지 >

추천하기

25

데일리 스탬프

0

매일 스탬프를 찍을 수 있어요!

데일리 스탬프를 찍은 회원이 없습니다.
첫 스탬프를 찍어 보세요!

카테고리 기사 더보기
카테고리 이미지1

암호화폐 파생상품 시장, '5월 이더리움 현물 ETF 승인' 확신 못해

카테고리 이미지1

美 비트코인 현물 ETF, 9120만 달러 순유입세 유지

카테고리 이미지1

태국 암호화폐 거래소 비트쿱, 내년 IPO 계획 발표

카테고리 이미지1

IMF 총재 "미국 연내 금리인하 가능하다...데이터 통해 적정 시기 확인해야"

댓글 서비스는 로그인 후 이용하실 수 있습니다.
전체댓글 [15]
댓글보기
  • 1mini
  • 2024.02.26 17:42:45
ㄱ ㅅ ㅇ
답글 달기
  • 0
  • ·
  • 0
  • 사계절
  • 2024.02.23 09:48:35
기사 감사합니다!
답글 달기
  • 0
  • ·
  • 0
  • 바다거북이
  • 2024.02.22 16:54:49
감사합니다
답글 달기
  • 0
  • ·
  • 0
  • SSdc
  • 2024.02.22 10:10:44
감사합니다
답글 달기
  • 0
  • ·
  • 0
  • 지후왕
  • 2024.02.22 09:35:45
뉴감
답글 달기
  • 0
  • ·
  • 0
  • saean1620
  • 2024.02.22 09:15:06
잘보고갑니다...
답글 달기
  • 0
  • ·
  • 0
  • probada
  • 2024.02.22 09:03:42
대중화
답글 달기
  • 0
  • ·
  • 0
  • 토큰부자
  • 2024.02.22 08:42:38
기사 잘 봤습니다.
답글 달기
  • 0
  • ·
  • 0
  • 개근상장
  • 2024.02.22 07:35:04
좋은 기사 감사합니다.
답글 달기
  • 0
  • ·
  • 0
  • 불기
  • 2024.02.22 05:54:30
감사합니다.
답글 달기
  • 0
  • ·
  • 0
1 2 

선물이 도착했어요!

선물이 도착했어요!

선물이 도착했어요!

속보
속보 시간 이미지 18분 전
속보 시간 이미지 2시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 3시간 전
속보 시간 이미지 4시간 전
속보 시간 이미지 4시간 전
속보 시간 이미지 4시간 전
속보 시간 이미지 4시간 전
속보 시간 이미지 5시간 전
속보 시간 이미지 5시간 전
속보 시간 이미지 5시간 전
속보 시간 이미지 5시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 6시간 전
속보 시간 이미지 18분 전
  • 코인 이미지 Bitcoin (BTC)
    92,316,675.98 (-4.90%)
  • 코인 이미지 Ethereum (ETH)
    4,450,180.80 (-8.48%)
  • 코인 이미지 Tether USDt (USDT)
    1,381.03 (+0.01%)
  • 코인 이미지 BNB (BNB)
    805,583.16 (-3.99%)
  • 코인 이미지 Solana (SOL)
    209,220.45 (-12.53%)
  • 코인 이미지 USDC (USDC)
    1,380.41 (-0.02%)
  • 코인 이미지 XRP (XRP)
    755.31 (-10.00%)
  • 코인 이미지 Dogecoin (DOGE)
    235.98 (-12.49%)
  • 코인 이미지 Toncoin (TON)
    8,934.20 (-9.59%)
  • 코인 이미지 Cardano (ADA)
    692.66 (-14.60%)
  • 코인 이미지 Bitcoin (BTC)
    92,316,675.98 (-4.90%)
왼쪽
2024 4월  13(토)
오른쪽
진행기간 2024.04.11 (목) ~ 2024.04.12 (금)

54명 참여

정답 67%

오답 33%

진행기간 2024.04.09 (화) ~ 2024.04.10 (수)

60명 참여

정답 80%

오답 20%

진행기간 2024.04.08 (월) ~ 2024.04.09 (화)

60명 참여

정답 100%

오답 0%

진행기간 2024.04.05 (금) ~ 2024.04.06 (토)

56명 참여

정답 100%

오답 0%

기간 2024.03.20(수) ~ 2024.04.02(화)
보상내역 추첨을 통해 100명에게 커피 기프티콘 에어드랍
신청인원

126 / 100

이더리움(ETH) 일반 마감

[Episode 11] 코인이지(CoinEasy) 에어드랍

기간 2024.02.27(화) ~ 2024.03.12(화)
보상내역 추첨을 통해 50명에게 총 150 USDT 지급
신청인원

59 / 50

기간 2023.10.11(수) ~ 2023.10.25(수)
보상내역 $10상당의 $AGT
신청인원

172 / 150

기간 2023.09.01(금) ~ 2023.10.01(일)
보상내역 추첨을 통해 1만원 상당의 상품권 에어드랍 (50명)
신청인원

26 / 50