Jetson Orin Nano서 최대 4.9GB 측정…네모트론 E4B 공개

엔비디아($NVDA)가 로컬 음성 비서와 대화형 에이전트용 소형 언어모델 네모트론 3.5 볼트 E4B 4GB(Nemotron 3.5 Bolt E4B 4GB)를 10월 23일 공개했다. 이름의 4GB는 실제 구동 때 메모리를 언제나 4GB만 쓴다는 뜻은 아니다.

엔비디아는 공식 모델 페이지에서 이 모델이 구글(Google)의 젬마 4 E4B-it(Gemma 4 E4B-it)을 바탕으로 후속 학습됐다고 밝혔다. 여러 차례 이어지는 대화에서 지시를 따르고 도구를 호출하며, 입력된 정보에 근거해 답하도록 설계됐다.

엔비디아는 지포스 RTX, Jetson, RTX Spark, DGX Spark에서 구동하는 비서와 게임 캐릭터, 임베디드 인터페이스를 주요 용도로 제시했다. 본지는 앞서 네모트론 3.5 제품군 발표 때 E4B의 이달 중 출시 예고를 전했다.

모델 카드에는 전체 매개변수 80억 개, 유효 매개변수 40억 개로 기재돼 있다. 공개 버전은 가중치를 Q4_K_M 형식으로 양자화했으며, 입력 문맥은 최대 6만4000토큰을 지원한다.

엔비디아는 배치 크기 1, llama.cpp의 CUDA 환경에서 메모리와 속도를 측정했다. 실제 결과는 하드웨어와 실행 설정에 따라 달라질 수 있다고 밝혔다.

RTX 5070은 새 입력 3000토큰과 출력 50토큰 조건에서 VRAM 3.5GB를 사용했다. 저장된 문맥 3만2000토큰에 새 입력 2000토큰과 출력 256토큰을 더한 조건에서는 4.3GB를 썼다.

Jetson Orin Nano 8GB의 메모리 사용량은 같은 두 조건에서 각각 4.2GB와 4.9GB였다. 두 기기의 측정값은 입력 길이와 하드웨어가 달라지면 모델 이름에 붙은 용량과 실제 사용량도 달라질 수 있음을 보여준다.

RTX 5070은 짧은 입력 조건에서 첫 토큰을 내기까지 548밀리초가 걸렸고, 생성 속도는 초당 133.4토큰이었다. 문맥이 긴 조건에서는 각각 1238밀리초와 초당 106.2토큰을 기록했다.

Jetson Orin Nano 8GB의 생성 속도는 같은 두 조건에서 초당 15.5토큰과 13.0토큰이었다. 이 수치는 엔비디아가 공개한 특정 실행 환경의 측정 결과다.

음성 비서를 겨냥한 모델이지만 입출력은 모두 텍스트다. 음성을 문자로 바꾸는 음성 인식과 답변을 말소리로 만드는 음성 합성 기능은 별도로 연결해야 한다.

언어모델의 추론을 기기에서 처리하더라도 음성 인식·합성이나 외부 도구 호출을 포함한 서비스 전체의 데이터 처리까지 자동으로 로컬에 한정되는 것은 아니다. 서비스에서 어떤 기능을 연결하는지에 따라 데이터 처리 방식은 달라질 수 있다.

엔비디아가 공개한 BF16 자체 평가에서 E4B는 여러 차례 이어지는 대화 능력을 평가하는 MultiChallenge에서 53.1점을 받았다. 젬마 4 E4B는 42.1점, Qwen 3.5 4B는 51.8점이었다.

다단계 고객 업무 수행을 평가하는 Tau2-Bench에서 E4B는 55.1점을 기록해 Qwen 3.5 4B의 75.1점에 못 미쳤다. 두 점수는 BF16 모델 평가 결과여서 Q4_K_M 버전의 성능으로 그대로 볼 수 없다.

엔비디아는 모델 가중치를 허깅페이스에 공개했으며, 이용에는 OpenMDW 1.1 라이선스가 적용된다.