완전 자율형 ‘에이전틱 AI’ 상용화…기업 IT 인프라, 레거시 중심이면 흔들린다

완전 자율형 인공지능이 개념 단계를 넘어 실제 상용화 국면에 들어서면서 기업들이 IT 인프라의 ‘기준점’ 자체를 다시 짜야 한다는 진단이 나왔다. 기존 레거시 시스템에 AI 기능만 덧붙이는 방식으로는 급격히 커지는 비용과 운영 복잡성을 감당하기 어렵다는 지적이다.

존 로즈 델테크놀로지스 글로벌 최고기술책임자 겸 최고AI책임자는 최근 열린 ‘델 테크놀로지스 월드 2026’에서 기업 AI 도입 논의가 가능성 검토를 넘어 구축과 비용 관리 단계로 빠르게 옮겨갔다고 밝혔다. 그는 특히 자율적으로 작업을 수행하는 ‘에이전틱 AI’가 이사회 차원의 핵심 과제가 되면서, 어떤 모델을 어디에 배치할지 결정하는 인프라 전략이 필수가 됐다고 강조했다.

로즈는 1년 전만 해도 ‘에이전틱’이라는 개념을 설명하는 단계였지만, 이제는 완전 자율형 AI 시스템이 현실이 됐다고 평가했다. 동시에 대규모 운영 환경에서는 토큰 사용량과 모델 구조, 배치 위치에 따라 비용 차이가 크게 벌어지는 ‘토크노믹스’ 문제가 부상했다고 설명했다. 이에 따라 하이브리드 인프라 안에서 적합한 워크로드를 적합한 위치에 배치하는 역량이 선택이 아니라 필수 조건이 됐다는 것이다.

레거시가 중심이면 AI 전환은 실패할 수 있다

로즈는 많은 기업이 가장 크게 착각하는 부분으로 ‘레거시 환경을 중심에 두고 AI를 붙이는 접근’을 꼽았다. 이른바 브라운필드 환경이 여전히 기술 전략의 중심에 있으면, AI 시대에 필요한 구조 전환이 이뤄지기 어렵다는 주장이다.

그는 기업이 먼저 에이전트를 만들고 자율적으로 실행할 수 있는 별도의 AI 환경을 갖춰야 한다고 강조했다. 또 에이전틱 AI에 맞는 보안 구조도 함께 설계해야 한다고 덧붙였다. 기존 레거시 시스템은 새 AI 환경에 데이터를 공급하는 ‘피더 시스템’ 역할을 해야 하며, AI 환경 자체가 없는 상태에서 레거시에 일부 AI 기능만 추가하면 실질적인 전환으로 보기 어렵다고 진단했다.

이 같은 인프라 철학은 데이터 전략으로도 이어진다. 델의 AI 데이터 플랫폼은 데이터를 별도 자산이 아니라 AI 생산 체계의 핵심 요소로 다루는 사례로 제시됐다. 로즈는 고도화된 에이전트 배치에서 가장 어려운 작업이 데이터 ‘배관’ 작업이라고 설명했다. 기업 내부의 지식과 업무 정보를 에이전트가 활용할 수 있는 지식 그래프와 온톨로지 구조로 바꾸는 과정이 핵심이라는 의미다.

기업용 에이전트의 핵심은 ‘정답 데이터’와 프로세스

로즈는 대형언어모델만 연결된 에이전트는 진정한 기업용 에이전트가 아니라고 선을 그었다. 기업용 에이전트는 조직의 고유한 지식을 체계화한 지식 그래프에 함께 접근할 수 있어야 하며, 이 지식 그래프가 ‘그라운드 트루스’, 즉 기준 데이터 역할을 할 때 더 높은 정확도와 관련성, 업무 정합성을 확보할 수 있다고 설명했다.

에이전틱 AI가 실제 업무에 투입될수록 초점은 ‘일을 할 수 있느냐’에서 ‘안정적으로 반복 수행할 수 있느냐’로 옮겨간다. 델은 이 문제를 해결하기 위해 에이전트가 즉흥적으로 판단하도록 두지 않고, 디지털화된 업무 프로세스를 시스템 안에 직접 반영하고 있다고 밝혔다.

이는 단순한 자동화와는 결이 다르다. 과거에는 디지털 프로세스가 사람의 업무 흐름을 안내했다면, 이제는 에이전트가 업무를 수행할 때 참고하는 실행 지침서 역할을 한다는 것이다. 로즈는 프로세스 정보를 더 많이 제공할수록 에이전트의 행동이 예측 가능해지고 대규모 확장에도 유리하다고 강조했다.

AI 인프라 경쟁, 이제는 기술보다 운영 경제성

이번 발언은 기업 AI 경쟁의 무게중심이 모델 성능 자체보다 ‘운영 가능한 구조’로 이동하고 있음을 보여준다. 완전 자율형 인공지능이 본격 도입되면 기업은 단순히 최신 AI를 도입하는 수준을 넘어, 데이터 구조와 보안 체계, 프로세스 설계, 비용 최적화까지 함께 재정비해야 한다.

특히 하이브리드 인프라와 에이전틱 AI의 결합은 향후 기업 IT 투자 방향을 가를 핵심 변수로 보인다. 레거시를 유지한 채 AI를 얹는 방식이 아니라, AI 중심 환경을 새로 세우고 기존 시스템을 그에 맞춰 연결하는 전략이 점점 더 중요해지고 있다는 의미다. 결국 기업의 AI 경쟁력은 얼마나 강력한 모델을 쓰느냐보다, 이를 안정적이고 경제적으로 굴릴 수 있는 기반을 갖췄는지에 달렸다는 해석이 나온다.