AI가 백엔드 무너뜨린다… 기업 83%, 2년 내 인프라 한계 경고

AI 기술이 실험 단계에서 본격 운영 환경으로 빠르게 전환되면서, 기존의 전사적 인프라가 이러한 확장성 요구를 감당하지 못할 것이라는 우려가 커지고 있다. 분산 SQL 데이터베이스 ‘콕로치DB’로 잘 알려진 콕로치랩스의 스펜서 킴볼 CEO는 기업용 백엔드 시스템이 AI 에이전트의 등장으로 과부하에 직면할 수 있다고 경고했다.

킴볼 CEO는 최근 1,125명의 클라우드 아키텍트 및 기술 임원을 대상으로 실시한 자사 조사 결과를 인용하며, 응답자 전원이 향후 1년간 AI 워크로드가 증가할 것으로 예상했으며, 이 중 60% 이상은 20% 이상 증가를 전망했다고 밝혔다. 그는 특히 GPU 같은 컴퓨팅 자원이 병목 현상으로 주목받고 있지만, 문제의 본질은 그보다 더 근본적인 운영 시스템의 취약성에 있다고 설명했다.

기존 애플리케이션은 사람이 몇 초에 한 번 클릭하는 수준의 트래픽에 대응하도록 설계됐지만, AI 에이전트는 1초에 수천 건의 요청을 발생시킬 수 있어 백엔드 시스템의 부담이 급격히 증가한다. 킴볼은 “파이썬 스크립트가 API를 호출하는 상황에서는 초당 5,000건의 트랜잭션이 가능하다”며 “이는 사람이 사용하는 패턴과는 전혀 다른 양상”이라고 설명했다.

조사에 따르면 83%의 기업은 현재의 데이터 인프라가 향후 24개월 안에 심각한 한계를 맞을 것으로 예상했으며, 그 중 34%는 11개월 이내에 위기가 발생할 것으로 봤다. 킴볼은 AI의 확산 속도가 과거 어느 때보다 가파를 것으로 보고, “3년 내 10배, 5년 내 100배 성장이 이뤄질 수 있다”고 전망했다.

또한 장애 발생 시 금전적 피해도 만만치 않다. 98%의 응답자는 한 시간만 시스템이 정지하더라도 최소 1만 달러(약 1,440만 원) 상당의 손실이 발생한다고 답했으며, 이 중 3분의 2는 10만 달러(약 1억 4,400만 원) 이상이라고 밝혔다. 킴볼은 AI 에이전트가 경쟁 서비스로 쉽고 빠르게 이동할 수 있기 때문에, 고객 이탈도 동시에 벌어질 수 있다고 경고했다. 실제로 그는 “AI 에이전트가 느린 응답 속도를 감지하고 경쟁 은행으로 자동으로 이전하겠냐고 고객에게 제안할 수 있는 수준”이라고 말했다.

한편 장애 발생 가능성이 높은 시스템으로는 클라우드 인프라와 서비스 공급자(36%)가 1위, 그다음이 데이터베이스 계층(30%)으로 나타났다. 이와 관련해 킴볼은 퍼블릭 클라우드의 유연성만으로는 대응이 어렵고, 아키텍처 전반의 재설계가 불가피하다고 강조했다.

AI 도입에 따른 인프라 압박은 이미 예산 구조에도 반영되고 있다. 응답자의 85%가 전체 IT 예산의 최소 10%를 AI 관련 프로젝트에 지출 중이며, 24%는 25% 이상을 투자하고 있었다. 그러나 63%는 기업 최고경영진이 이 같은 변화의 속도를 과소평가하고 있다고 지적했다. 킴볼은 “아직은 인간 트래픽이 훨씬 많기 때문에 시스템이 버티고 있는 것처럼 보일 수 있지만, 에이전트 트래픽이 임계점을 넘는 순간 큰 혼란이 일어날 수 있다”고 밝혔다.

기업들은 이 같은 상황에 대응해 하이브리드 또는 동적 스케일링 전략(50%)을 택하거나, 수평 확장(26%), 수직 확장(22%)으로 나뉘어 대응하고 있는 것으로 조사됐다. 킴볼은 “모든 시스템을 단번에 완전 분산형으로 전환하는 것은 리스크가 크며, 점진적 방식이 현실적”이라고 조언했다.

콕로치랩스는 이러한 변화 속에 안정성과 확장성을 무기로 삼아 기회를 노리고 있다. 킴볼은 “우리가 지난 10년간 심혈을 기울인 차별화 요소들이 지금의 변화에 꼭 필요한 해법”이라고 강조했다.