아마존($AMZN)이 기존 PyTorch 코드를 자체 AI 칩 Trainium2·3에서 실행하도록 돕는 도구 ‘TorchNeuron’의 공개 베타를 시작했다. 개발자는 코드에서 장치 설정을 바꿔 Trainium을 시험할 수 있다.
AWS는 20일 공개 베타를 발표했다. PyTorch는 하루 앞서 TorchNeuron의 작동 방식을 소개했다. 이 도구는 Apache 2.0 라이선스의 오픈소스로 제공된다.
PyTorch는 AI 모델을 만들고 학습하는 데 쓰이는 오픈소스 프레임워크다. 다른 칩으로 작업을 옮길 때는 하드웨어에 맞춰 코드를 손보고 결과를 검증해야 할 수 있다. TorchNeuron은 이 과정의 부담을 줄이는 데 초점을 맞췄다.
기존 코드에서 모델을 실행할 장치를 .to('neuron')으로 지정하면 Trainium을 사용할 수 있다. 연구와 디버깅에 쓰이는 eager 실행, 성능 최적화용 torch.compile, 분산 학습 API도 지원 범위에 포함된다. PyTorch는 기존 개발 흐름에서 이 기능들을 활용할 수 있도록 설계했다고 설명했다.
‘한 줄 변경’은 장치 전환을 시작하는 방법을 가리킨다. 모든 모델과 라이브러리가 추가 조정 없이 작동한다는 의미는 아니다. 코드 전환이 쉬워졌다는 사실만으로 기존 GPU보다 비용이나 성능이 우수하다고 볼 수도 없다.
음성 AI 기업 딥그램은 PyTorch 소개 글에서 자체 벤치마크 결과를 공개했다. 딥그램은 Trainium의 달러당 입력 오디오 처리 시간이 기존 GPU 비교 기준보다 약 60% 많았다고 밝혔다. 이 결과는 딥그램이 평가한 작업과 비교 기준에 한정된다.
<Copyright ⓒ TokenPost, unauthorized reproduction and redistribution prohibited>
Most Popular