생성형 AI 기술의 확산과 함께 전 세계 기업들이 클라우드 활용을 확대하고 있지만, 그만큼 막대한 비용 누수가 발생하고 있다. 특히 올해만 해도 기업들이 쓸데없는 클라우드 리소스를 활용하는 데 약 445억 달러(약 64조 8000억 원)를 낭비할 것으로 추산된다. 효율적이지 못한 인프라 운영 방식이 이를 가중시키는 주된 요인으로 지목된다.
사이버보안 및 콘텐츠 전송 분야의 대표 기업 아카마이(AKAM)는 이 같은 문제에 효율적으로 대응하기 위해 쿠버네티스 기반 자동화 플랫폼 기업인 캐스트 AI(Cast AI)와의 협력을 선택했다. 캐스트 AI의 AI 기반 오케스트레이션 에이전트를 도입한 아카마이는 전체 클라우드 비용을 최대 70%까지 절감하는 성과를 얻었다.
아카마이 클라우드 엔지니어링 수석 디렉터 데켈 샤빗(Dekel Shavit)은 “우리의 보안 서비스는 실시간 대응이 핵심이며, 최적화와 비용 절감을 동시에 달성할 수 있는 방식이 필요했다”고 설명했다. 복수의 클라우드 환경에 분산된 대규모 인프라를 가진 아카마이는 클라우드 비용을 최소화하면서도 성능 저하 없이 서비스 연속성을 유지해야 하는 과제를 안고 있었다.
캐스트 AI의 핵심 기술은 ‘애플리케이션 성능 자동화(Application Performance Automation, APA)’ 플랫폼으로, 이 플랫폼은 머신러닝과 강화학습 모델을 기반으로 수백 대의 자동화 에이전트가 실시간으로 쿠버네티스 인프라를 분석하고 최적화 작업을 수행한다. 수요 변화에 따라 애플리케이션을 자동 확장하거나 축소하고, 최적의 컴퓨팅 인스턴스를 자동으로 선택해 운영 효율성을 극대화한다. 아카마이의 사례처럼 실제 워크로드에 따라 40~70%의 비용 절감이 가능하다는 것이 장점이다.
샤빗은 “우리는 이전까지 매달 몇 번 수동으로 조정 작업을 했지만, 이제는 수백 개의 자동화 에이전트가 매초 인프라를 최적화하고 있다”며 “짧은 시간 안에 비용 구조를 완전히 파악할 수 있었고, 도입 즉시 절감 효과가 나타났다”고 강조했다.
아카마이가 특히 고심했던 부분은 스팟 인스턴스의 활용이었다. 높은 할인율 덕분에 비용 절감 효과가 탁월한 스팟 인스턴스는 복잡한 워크로드에서는 운영이 까다로운 단점이 있다. 그러나 캐스트 AI는 복잡한 애플리케이션 환경에서도 추가 비용이나 인력 투입 없이 자동으로 스팟 인스턴스를 최적화해 활용할 수 있도록 지원했다. 샤빗은 “우리 엔지니어링팀이 개입하지 않고도 즉시 효과를 누릴 수 있어 충분한 도입 가치가 있었다”고 말했다.
아카마이는 다양한 산업 분야의 고객을 상대로 서비스 수준 협약(SLA)을 유지해야 하는 만큼, 실시간 유연성과 인프라 안정성이 무엇보다 중요하다. 특히 일부 보안 공격 발생 시 트래픽이 100배에서 최대 1000배까지 급증할 수 있기 때문에, 클라우드 용량을 선제적으로 공급할 수단이 절대적으로 필요하다. 그러나 이를 과도하게 사전 증설하는 것은 현실적으로 재정적 부담이 너무 크다.
이에 따라 아카마이는 핵심 인프라 구조 자체를 자동화하는 접근으로 전환했다. 캐스트 AI 덕분에 전체 개발·운영 팀은 수동 유지보수에서 벗어나 빠르게 고객 기능을 출시하는 데 집중할 수 있게 됐다는 것이 아카마이 측 설명이다.
샤빗은 “인프라 관리에서 손을 떼고, 기술팀이 진짜 중요한 일에 집중할 수 있게 된 것이 진정한 혁신”이라며 “자동화가 가져다주는 시간 절감 효과는 금전적 이득보다 훨씬 크다”고 평가했다.