오픈소스 도구 gpu-unlock을 적용한 엔비디아($NVDA) RTX 3090 Ti의 BF16 행렬 연산 성능이 시험에서 87.50TFLOPS에서 157.41TFLOPS로 높아졌다. 증가 폭은 약 80%지만, 특정 연산 시험 결과가 AI 모델 전체 처리 속도의 같은 비율 향상을 뜻하지는 않는다.
개발자 Zagitta는 프로젝트 설명서에서 리눅스 커널 모듈이 엔비디아 드라이버가 그래픽카드에 연결되기 전에 연산 속도 설정을 바꾼다고 밝혔다. vBIOS를 다시 기록하거나 드라이버를 수정하는 방식은 아니다. 지원 대상은 RTX 30 시리즈에 쓰인 암페어 계열 GPU다.
프로젝트가 공개한 RTX 3090 Ti 시험은 소비전력 한도를 450W로 설정하고 대규모 행렬 곱셈을 다섯 차례 측정해 중앙값을 비교했다. 같은 조건에서 TF32는 42.58TFLOPS에서 82.61TFLOPS로, FP16은 87.46TFLOPS에서 118.39TFLOPS로 높아졌다. BF16은 인공지능(AI) 연산에 쓰이는 숫자 형식이며 TFLOPS는 초당 연산량을 나타낸다.
개발자 Zagitta는 프로젝트 설명서에서 사용자 시험의 대형언어모델 프리필 속도가 14~36% 개선됐다고 밝혔다. 프리필은 모델이 답변을 생성하기 전 입력 내용을 처리하는 단계다. 반면 답변을 한 토큰씩 만드는 디코드 단계와 INT8 작업은 대체로 비슷한 속도를 보였다.
지원 결과는 그래픽카드별로 달랐다. 프로젝트의 사용자 보고에는 RTX 3090 Ti 외에 RTX 3090, RTX 3080, RTX 3070, RTX 3060 12GB의 성능 개선 사례가 담겼다. 일부 RTX 3080 Ti 20GB OEM 제품은 도구가 실행된 뒤에도 BF16 성능이 절반 수준에 머물렀다.
프로젝트는 카드별 시험 조건이 달라 개선 폭을 직접 비교하기 어렵고 소비전력 한도도 결과에 큰 영향을 준다고 설명했다. 따라서 이번 시험의 약 80% 증가율을 실제 AI 서비스나 모든 그래픽카드의 속도 향상률로 일반화할 수 없다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular