무료 모델 58개, 엔비디아 AI 접점 넓혔다

엔비디아(NVIDIA·$NVDA)가 공개형 AI 모델과 무료 추론 API를 앞세워 개발자 접점을 넓히고 있다. 모델을 먼저 시험하게 한 뒤 엔비디아 GPU 기반 배포 환경으로 이어지게 하는 전략으로 풀이된다.

엔비디아는 8월 11일 공식 블로그에서 네모트론 3.5 라이트닝(Nemotron 3.5 Lightning)을 공개했다. 이 모델은 총 300억개 매개변수와 30억개 활성 매개변수를 갖춘 혼합전문가(MoE) 구조 모델이다.

혼합전문가 구조는 입력마다 일부 전문가 모델만 활성화해 계산량을 줄이는 방식이다. 네모트론 3.5 라이트닝은 긴 문맥 처리와 에이전트형 AI 작업을 겨냥했으며 최대 100만 토큰 문맥을 지원한다.

이 모델은 허깅페이스와 엔비디아 NGC에서 내려받을 수 있다. 허깅페이스 모델 카드에는 8월 11일 출시, OpenMDW 1.1 라이선스, 상업적 사용 가능 문구가 함께 기재됐다.

엔비디아 NGC는 해당 컨테이너가 AI 에이전트, 챗봇, 검색증강생성(RAG), 코딩 보조 등에 쓸 수 있는 오픈AI 호환 API를 제공한다고 설명했다. 개발자는 모델 가중치와 배포 컨테이너, 추론 API를 직접 시험할 수 있다.

엔비디아 모델 페이지는 25일 한국시간 확인 기준 126개 모델을 표시했다. 이 가운데 무료 엔드포인트는 58개, 다운로드 가능 모델은 102개로 나타났다.

같은 페이지는 개발용 무료 서버리스 API와 엔비디아 NIM 추론 마이크로서비스를 함께 안내했다. 무료 API는 초기 실험과 성능 비교에 쓰이고, NIM은 실제 배포 단계의 추론 서비스 구성과 맞닿아 있다.

이번 흐름은 본지가 앞서 보도한 엔비디아의 네모트론 3.5 공개와 이어진다. 엔비디아는 대형 추론 모델만 내놓는 데 그치지 않고 작은 실행 계층 모델과 라우팅 도구를 함께 묶고 있다.

같은 날 공개된 네모 스위치야드(NeMo Switchyard)는 작업 성격에 따라 모델을 나눠 쓰도록 돕는 오픈소스 라우팅 라이브러리다. 엔비디아는 기술 블로그에서 이 도구가 모델 성능, 비용, 인프라 신호를 고려해 작업을 배분한다고 밝혔다.

에이전트형 AI는 한 번의 질문에 답하는 챗봇보다 여러 단계의 작업을 반복 실행하는 경우가 많다. 모든 요청을 대형 모델에 맡기기보다 반복 작업은 경량 모델로 돌리고 복잡한 판단만 대형 모델로 보내는 구조가 비용과 지연 시간을 줄이는 방식으로 쓰인다.

엔비디아는 앞서 6월 4일 네모트론 3 울트라(Nemotron 3 Ultra)도 공개했다. 이 모델은 총 5500억개 매개변수와 550억개 활성 매개변수를 갖춘 대형 MoE 모델이다.

공식 자료는 네모트론 3 울트라가 최대 100만 토큰 문맥과 장시간 에이전트 작업을 지원한다고 설명했다. 네모트론 3.5 라이트닝은 이보다 작은 실행 계층에서 특화 작업을 빠르게 처리하는 쪽에 초점을 맞춘 모델로 제시됐다.

소프트웨어 계층도 함께 확장됐다. 엔비디아 기술 블로그는 다이나모(Dynamo) 1.0이 블랙웰 기반 환경에서 요청 처리량을 최대 7배 높였다고 밝혔다.

해당 수치는 3월 3일 갱신된 세미애널리시스 InferenceX 벤치마크를 기준으로 제시됐다. 엔비디아는 모델, 컨테이너, 추론 최적화 소프트웨어를 함께 제공해 개발자가 자사 하드웨어 환경에서 성능을 검증하도록 하는 구조를 만들고 있다.

엔비디아의 무료 모델 전략은 폐쇄형 API 중심 AI 개발 흐름과 다른 선택지를 제시한다. 다만 실제 비용 절감이나 GPU 수요 확대 효과는 각 기업의 배포 환경, 사용량, 하드웨어 구성에 따라 달라진다.