엔비디아, 텐서RT 11.1에 추론 엔진 경로 자동 탐색 도입

엔비디아($NVDA)가 텐서RT 11.1에 AI 추론 엔진의 빌드 경로를 자동으로 탐색하는 기능을 도입했다. 엔비디아가 공개한 10개 워크로드 비교에서 튜닝 후 성능은 각 워크로드의 기본 경로 대비 1.14~1.63배였다. 이는 해당 워크로드의 비교 결과로, 모든 모델에서 같은 향상을 뜻하지 않는다.

엔비디아는 23일 기술 블로그에서 글로벌 퍼포먼스 튜너(Global Performance Tuner)의 설계와 측정 결과를 설명했다. 이 기능은 여러 설정으로 엔진을 빌드하고 완성된 엔진의 추론 성능을 비교한다. 정확도 검증을 설정하면 허용 기준을 통과한 후보 가운데 가장 빠른 엔진을 선택한다.

빌드 경로는 컴파일러 설정값의 조합이다. 각 설정값은 휴리스틱, 연산 융합, 코드 생성 방식 등 컴파일 선택을 조정한다. 별도 경로를 지정하지 않으면 설정값에 기본값을 적용한다. 텐서RT 11.1에서 조정할 수 있는 설정값은 200개가 넘는다.

자동 탐색은 명령행 도구인 trtexec에서 이뤄진다. 도구가 검색 조건을 개별 빌드 경로로 풀어낸 뒤 각 경로로 엔진을 만들고 속도를 측정한다. 빌드 중 실패하거나 허용 정확도 손실 임계값을 초과한 후보를 제외하고, 남은 엔진 가운데 측정 성능이 가장 높은 것을 고른다.

완성된 엔진을 비교하는 것은 개별 연산의 속도만으로 전체 추론 성능을 판단하기 어렵기 때문이다. 한 연산에서 빠른 선택이 다른 연산과 결합하거나 데이터를 옮기는 과정에서는 불리할 수 있다. 엔진 전체를 측정하면 모델과 실행 환경에 맞는 빌드 경로를 찾을 수 있다.

정확도 검증에는 입력 데이터와 비교할 참조 출력, 허용 오차가 필요하다. 따라서 검증 결과는 지정한 입력과 비교 기준, 임계값의 범위에서 해석해야 한다. 시험 데이터가 실제 사용 조건을 대표하지 못하면 다른 입력에서의 정확도까지 보장하지 않는다.

탐색 방식은 빌드에 드는 시간과 범위에 따라 나뉜다. fast 방식은 기본 경로에서 설정값을 하나씩 바꿔 시험한다. full은 지정한 값의 모든 조합을 살피고, mixed는 fast에서 얻은 결과를 바탕으로 조합을 추가 탐색한다. 설정값이 많아질수록 모든 조합을 확인하는 부담도 커진다.

최적 경로는 모델, 입력 형태, GPU, 소프트웨어 환경, 텐서RT와 튜너 버전에 따라 달라질 수 있다. 엔비디아는 이런 조건이 바뀌면 기존 결과를 그대로 적용하지 말고 엔진을 다시 측정하도록 안내했다.