AI 도입 열풍에도 ‘파일럿 함정’…기업들, 인프라·보안 장벽에 확장 멈췄다

인공지능(AI)에 대한 기대는 커졌지만, 실제 사업 성과로 이어진 사례는 아직 많지 않다. 최근 프라이스워터하우스쿠퍼스(PwC) 조사에 따르면 AI가 약속한 매출 확대와 효율 개선 효과의 75% 이상을 달성한 기업은 전체의 20%에 그쳤다. 가트너는 지난해 생성형 AI 프로젝트의 절반 이상이 중도 폐기됐다고 봤고, 일부 추정치는 이 비율이 80%에 가깝다고 짚었다.

업계에서는 이런 현상을 ‘AI 파일럿 함정’이라고 부른다. 챗봇 구축이나 특정 부서의 업무 자동화처럼 개별 실험은 성과를 보여도, 이를 전사 차원의 변화로 확장하지 못하는 경우가 많기 때문이다. 핵심 원인으로는 기업들이 AI 확장에 필요한 시간과 자원, 그리고 데이터 인프라 투자 규모를 과소평가한 점이 꼽힌다.

칵로치랩스(Cockroach Labs)의 ‘2026 AI 인프라 현황’ 보고서도 같은 문제를 보여준다. 조사 대상 리더의 83%는 향후 24개월 안에 대대적인 업그레이드가 없으면 자사 데이터 인프라가 버티기 어렵다고 답했다. 기존 기업 시스템이 중앙처리장치(CPU) 중심으로 반복적인 거래 처리와 데이터베이스 질의에 맞춰 설계됐다면, AI 인프라는 그래픽처리장치(GPU)를 기반으로 대규모 병렬 연산과 비정형 데이터 처리를 요구한다는 점에서 구조가 다르다.

특히 AI 워크로드는 저장장치와 메모리, 프로세서 사이를 오가며 막대한 데이터를 계속 이동시킨다. 이 때문에 단순한 연산 성능뿐 아니라 고속 네트워크와 메모리 대역폭, 전력과 냉각 설비까지 함께 갖춰져야 한다. 수백~수천 개 GPU를 묶어 운용하는 AI 클러스터는 기존 데이터센터가 감당하기 어려운 수준의 요구사항을 만들어낸다.

‘AI 팩토리’ 부상…실험에서 운영으로 넘어가는 인프라

이 같은 배경에서 업계는 AI 프로젝트 전 과정을 감당할 수 있는 ‘AI 팩토리’ 개념에 주목하고 있다. AI 모델 학습과 추론, 검색증강생성(RAG), 에이전트형 AI, 실제 운영 환경까지 하나의 체계 안에서 처리하는 인프라를 뜻한다. 더큐브리서치는 이를 ‘미래의 데이터센터’라고 부르며, 인터넷과 클라우드 전환에 버금가는 구조 변화라고 평가했다.

휴렛팩커드엔터프라이즈(HPE)는 이런 수요를 겨냥해 ‘언리시 AI(Unleash AI)’를 내세우고 있다. 이 프로그램은 HPE 프라이빗 클라우드 AI(PCAI)를 중심으로 검증된 독립 소프트웨어 공급업체(ISV) 생태계를 결합해, 기업이 곧바로 운영 가능한 AI 환경을 구축하도록 지원하는 모델이다. 단순한 애플리케이션이 아니라 사전 구성된 인프라와 시스템 소프트웨어, 보안·통제 기능을 함께 제공하는 점이 특징이다.

PCAI는 엔비디아(Nvidia)의 가속 컴퓨팅 기술을 탑재한 HPE 프로라이언트 컴퓨트 Gen12 서버를 기반으로 한다. 온프레미스와 엣지, 코로케이션 환경은 물론 하이브리드 클라우드 운영도 지원한다. 여기에 HPE 그린레이크 플랫폼을 통해 클라우드와 비슷한 방식으로 관리할 수 있도록 했다.

엔비디아 측 기술 스택은 모델 학습과 추론용 GPU, 고속 네트워킹, AI 엔터프라이즈 소프트웨어, 컨테이너형 마이크로서비스, 사전 학습된 워크플로 카탈로그를 포함한다. HPE는 이 위에 다양한 파트너 솔루션을 올려 규제 준수와 보안, 확장성을 동시에 확보하겠다는 구상이다.

규제 대응과 보안 강화…‘주권형 AI’ 수요도 확대

기업이 생성형 AI를 망설이는 가장 큰 이유 중 하나는 보안과 규제다. 언리시 AI는 유럽연합(EU) AI법과 일반개인정보보호법(GDPR) 같은 규제를 고려해 통제·감사 기능을 강화했다. 데이터 분리, 신원 및 접근 제어, 주권형 AI 배치 모델, 컴플라이언스 도구, 모델 거버넌스, 런타임 보호, 감사 추적과 시정 기능 등이 포함된다.

이 가운데 ‘주권형 AI’는 데이터가 있는 곳에서 바로 AI를 구동해 외부 클라우드로 민감 정보를 옮기는 부담을 줄이는 방식이다. 비용 절감뿐 아니라 정보 유출 위험을 낮출 수 있어 공공기관이나 규제 산업에서 관심이 크다.

대표 사례로 카미와자(Kamiwaza)는 SHI, HPE, 엔비디아와 협력해 미국 연방기관의 웹 접근성 규정인 ‘섹션 508’ 준수를 자동화하는 AI 에이전트를 만들었다. 이 규정은 장애인이 정보기술 자산에 접근할 수 있도록 보장해야 한다는 내용이다.

여러 정부기관 웹사이트는 수천 페이지에 걸쳐 오래된 자료를 포함하고 있어 사람이 일일이 점검하기 어렵다. 카미와자는 대규모언어모델(LLM)로 웹사이트 내용을 이해하고, 시각 모델로 화면 접근성을 평가해 규정 위반 콘텐츠를 자동으로 찾아 수정한다. 회사 측은 4~6인년 규모의 수작업을 1주일 안에 자동 처리할 수 있다고 설명했다.

카미와자는 HPE의 주권형 AI 기능을 활용해 데이터가 저장된 위치에서 그대로 처리하고, 여러 거점에 배치된 인프라를 연결한 추론 메쉬를 통해 요청을 가장 가까운 데이터 위치로 자동 분산한다. 이를 통해 기존 보안 프로토콜을 유지한 채 AI 추론 작업을 로컬에서 수행할 수 있다.

카미와자 공동창업자 겸 최고경영자(CEO) 루크 노리스(Luke Norris)는 더큐브 인터뷰에서 이 솔루션이 ‘설치 후 바로 가동할 수 있는 가전제품 같은 형태’에 가깝고, 투자수익률(ROI)도 명확하다고 말했다. 또 한 번 구축된 플랫폼 위에 주택 관리나 화재 감지 같은 새 에이전트를 추가할 수 있어 확장성도 크다는 설명이다.

엣지 AI도 본격화…‘실시간 처리’가 경쟁력

언리시 AI 생태계의 또 다른 파트너인 프로호크 테크놀로지 그룹(ProHawk Technology Group)은 저화질 또는 가려진 영상 신호를 선명한 이미지로 복원하는 소프트웨어를 HPE PCAI 위에서 운영하고 있다. 이 기술은 이미지 인식, 보안, 자동 검사, 차량 내비게이션 등에 활용된다.

프로호크는 초당 약 3,300만 개 픽셀을 최적화하는 연산을 수행하며, 이를 위해 HPE PCAI 스택 안에서 엔비디아 RTX 6000 PRO GPU를 활용한다. 핵심은 데이터를 클라우드로 보내지 않고 센서 근처에서 즉시 처리하는 ‘엣지 AI’ 방식이다. 지연 시간을 줄여 차량이나 해상 운용 환경에서 거의 실시간 수준의 선명한 영상을 제공할 수 있다.

여기서도 주권형 AI 기능은 중요하다. 데이터와 모델을 조직 내부 방화벽 뒤에 두면서도, 포렌식과 법적 증거 기준을 충족할 수 있는 감사 기록을 남길 수 있기 때문이다. 복잡한 수동 설정 없이 고성능 컴퓨터 비전 환경을 구축할 수 있다는 점도 강점으로 꼽힌다.

이제는 실험보다 수익성…기업들 ‘성과 증명’ 요구

AI 시장은 이제 단순한 기대감만으로 움직이지 않는다. 실제 수익성과 생산성 개선을 입증해야 하는 단계로 넘어가고 있다. SAP($SAP) 콘커(Concur) 부문의 최근 조사에서는 재무 책임자의 절반이 AI 관련 최대 과제로 ‘ROI 평가’를 꼽았다.

결국 기업의 AI 전략은 화려한 시범사업보다 ‘측정 가능한 성과’에 맞춰 재편되는 흐름이다. 언리시 AI 같은 모델은 검증된 파트너 생태계와 AI 전용 인프라를 결합해 기업이 파일� TP AI 유의사항 TokenPost.ai 기반 언어 모델을 사용하여 기사를 요약했습니다. 본문의 주요 내용이 제외되거나 사실과 다를 수 있습니다.