기업형 AI 승부처는 인프라…델·엔비디아, 분산형 추론·거버넌스 표준화 속도

인공지능(AI)이 실험 단계를 넘어 실제 업무에 들어오면서, 이제 기업 경쟁력은 모델 자체보다 ‘AI 인프라’를 얼마나 안정적으로 구축했는지에 달렸다는 분석이 나온다. 데이터, 소프트웨어, 하드웨어가 따로 노는 구조로는 확장성이 떨어지고 비용 통제도 어려워지기 때문이다.

델 테크놀로지스와 엔비디아는 이런 변화에 맞춰 기업용 AI 도입을 단순화하는 협력에 속도를 내고 있다. 델 테크놀로지스의 ISG·통신 마케팅 총괄 수석부사장 바룬 차브라는 최근 인터뷰에서 “지금 모두의 머릿속에 있는 단어는 ‘에이전틱’”이라며 “오픈클로(OpenClaw)와 엔비디아의 네모클로(NemoClaw) 관련 발표 이후, 에이전틱 AI에서도 ‘챗GPT 순간’이 온 듯한 분위기”라고 말했다.

속도보다 더 큰 과제는 ‘복잡성 관리’

기업들은 더 이상 단순한 처리 속도만을 고민하지 않는다. AI 모델과 도구, 아키텍처가 빠르게 바뀌는 상황에서 핵심 과제는 기술 변화에 맞춰 시스템 전체를 계속 뜯어고치지 않아도 되는 구조를 만드는 데 있다. 엔비디아의 엔터프라이즈 제품 마케팅 총괄 앤 헥트는 “작년에는 딥시크 등장 이후 추론 모델을 이야기했지만, 이제는 오픈클로 영향으로 스스로 다른 에이전트를 만드는 에이전트까지 논의하고 있다”고 설명했다.

그는 델 테크놀로지스와의 협업을 통해 이런 기술을 기업이 ‘안전하고 보안성 있게’ 활용할 수 있도록 검증하고 제공하는 작업을 진행 중이라고 덧붙였다. 결국 기업형 AI의 핵심은 최신 기술을 빠르게 붙이는 데 그치지 않고, 장기적으로 운영 가능한 ‘유연성’과 ‘확장성’을 확보하는 데 있다는 의미다.

퍼블릭 클라우드 일변도에서 분산형 AI 구조로

AI 워크로드가 어디에서 돌아갈지도 달라지고 있다. 과거에는 대부분의 AI 연산이 퍼블릭 클라우드로 향할 것이라는 전망이 우세했지만, 최근에는 온프레미스와 엣지, 개발자 워크스테이션을 아우르는 분산형 구조가 대안으로 떠오르고 있다. 기업들이 비용, 거버넌스, 성능을 직접 통제하려는 수요가 커졌기 때문이다.

헥트는 ‘기밀 컴퓨팅’ 기술을 예로 들며 “구글의 제미나이 같은 최첨단 모델도 델 서버의 온프레미스 환경에서 구동할 수 있는 방향으로 생태계가 발전하고 있다”고 말했다. 이는 기업이 민감한 데이터를 외부 클라우드에 모두 맡기지 않고도 대형 AI 모델을 운영할 수 있다는 뜻이다.

토큰 비용 급증, AI 도입 경제성 다시 따진다

AI가 실제 업무에 깊숙이 들어갈수록 ‘토큰 소비’는 새로운 비용 변수로 떠오르고 있다. 특히 코딩 지원, 보고서 작성, 조사 자동화 같은 에이전틱 AI 활용 사례가 늘면서 추론 연산이 거의 상시 가동되는 수준으로 확대되고 있다. 헥트는 “에이전트에 작업을 맡기고 다음 날 아침 오면 보고서 작성과 조사, 승인 기반 행동까지 끝내놓을 수 있다”며 “그 과정에서 엄청난 토큰이 소모되기 때문에 이를 감당할 수 있는 대규모 추론 인프라가 필요하다”고 말했다.

이 같은 구조는 기업들로 하여금 종량제 기반 외부 서비스 의존도를 다시 계산하게 만들고 있다. 사용량이 늘수록 비용이 급증하는 만큼, 일정 규모 이상에서는 자체 인프라를 보유하는 편이 더 효율적일 수 있어서다. 헥트는 기업이 현재 AI 운영의 ‘변동비’를 면밀히 점검해야 하며, 제3자 인프라를 임대하는 방식보다 직접 보유할 때 가용성과 우선순위 통제가 쉬울 수 있다고 설명했다.

자율성 커진 AI, 생산성보다 ‘통제’가 더 중요해진다

에이전틱 AI 확산은 생산성 향상 기대를 키우는 동시에, 통제와 책임 범위를 둘러싼 새로운 과제도 던지고 있다. AI 시스템이 점점 더 자율적으로 판단하고 실행하는 만큼, 기업은 어디까지 권한을 줄지 명확한 기준을 세워야 한다는 지적이다.

차브라는 델 자동화 플랫폼을 통해 엔비디아와 함께 인프라부터 소프트웨어, 모델, 상위 기능까지 포함한 전체 AI 스택의 배포를 빠르게 하는 ‘블루프린트’ 개발을 진행 중이라고 밝혔다. 이는 단순히 AI를 도입하는 수준을 넘어, 거버넌스와 운영 체계까지 포함한 표준화된 기업형 AI 인프라 구축 수요가 커지고 있음을 보여준다.

결국 AI 시장의 다음 승부처는 더 똑똑한 모델 하나를 추가하는 데 있지 않다. 기업이 변화하는 기술 흐름 속에서도 비용을 통제하고, 보안을 지키며, 안정적으로 확장할 수 있는 ‘AI 인프라’를 갖추느냐가 실제 성과를 가를 가능성이 커지고 있다.