AI 도입으로 기업은 혁신적인 효율성과 분석 역량을 확보하고 있지만, 런타임 단계에서 발생하는 보안 위협이 이를 위태롭게 만들고 있다. 최근 침해 기법이 진화하며 추론(inference) 단계에 집중되자, 예상하지 못했던 비용이 기업의 인공지능 총소유비용(TCO)을 급격히 끌어올리고 있다.
특히 추론 과정은 AI가 실제로 비즈니스를 수행하는 ‘운영의 핵심 구간’이기 때문에, 사이버 공격자들이 이를 새로운 타깃으로 삼고 있다. 이로 인해 보안 예산이 급증하고 규제 준수 비용이 뒤따르며, 고객 신뢰도에 대한 타격까지 더해진다. 규제 산업에서는 보안 사고 한 건당 피해 수습 비용이 500만 달러(약 72억 원)를 넘기도 하며, 이로 인한 계약 해지나 브랜드 이미지 훼손은 예상 수익을 크게 떨어뜨리는 경우도 빈번하다.
크라우드스트라이크(CrowdStrike)의 아메리카 CTO 크리스티안 로드리게스는 "AI 추론이 차세대 내부 위험"이라 평가하며, 많은 기업들이 인프라 보안에만 집중한 나머지 추론 방어를 간과한다고 지적한다. 윈와이어(WinWire)의 CTO 비닛 아로라 역시 이 구조적 한계를 언급하며, 실시간 위협 분석과 패치 시스템 구축에 필연적으로 막대한 비용이 발생하고 있다고 말했다.
모델 도입 직후의 런타임 구간에서 특히 문제가 되는 폭넓은 공격 벡터로는 프롬프트 주입, 응답 조작, 맥락 노출 등이 있다. 텔레사인(Telesign)의 제품 책임자 슈테펜 슈라이어는 “많은 서드파티 AI 모델들이 기업의 위협 환경이나 규제 요건에 맞춰 검증되지 않은 채 도입되는 점이 심각한 보안 리스크”라고 강조한다.
실제 공격 사례를 보면 AI 모델의 응답값을 통해 악성 코드가 주입되거나, 훈련 데이터에 독성 샘플을 심어 무해한 입력으로도 위험한 결과를 유도할 수 있다. 여기에 플러그인 또는 오픈소스 구성요소의 취약점도 AI 생태계 전반의 공급망 보안 위협을 심화시키고 있다. 대표적으로 플로와이즈(Flowise) AI 도구의 결함은 오픈AI API 키와 깃허브 토큰이 포함된 대시보드 데이터를 400여 대 서버에서 노출시킨 바 있다.
크라우드스트라이크의 보고서에 따르면 2024년 초 기준 클라우드 침입의 35%는 유효한 사용자 인증 정보로 발생했고, AI 기반 피싱 이메일의 클릭률은 사람 작성 대비 4배 높은 54%에 달했다. 이처럼 높은 성공률과 다양한 침투 수단은 보안 투자가 선택이 아니라 필수가 되었음을 보여준다.
이러한 현실에서 기업들은 이제 AI 보안을 사업 전략으로 접근하는 방향으로 전환하고 있다. 특히 런타임 보안에 드는 예산을 초기부터 구조화하는 것이 핵심이다. 아로라는 “리스크 기반 ROI 모델을 설정해, 보안 투자 대비 얼마나 손실을 회피할 수 있는지 계량해야 한다”고 조언한다. 예를 들어, AI 추론 공격 한 건이 500만 달러 손실을 유발할 가능성이 10%라고 가정할 경우, 기대 손실은 50만 달러다. 이에 35만 달러가 투입된다면 15만 달러의 리스크 회피 이익이 발생한다.
AI 보안 예산은 대부분 런타임 모니터링(35%), 적대적 시뮬레이션(25%), 컴플라이언스 도구(20%), 사용자 행위 분석(20%) 순으로 구분된다. 이와 같은 배분 모델은 SLA 위반, 규제 벌금, 부정 행위 파악, 브랜드 훼손 방지를 통한 총비용 절감 효과를 제공한다는 점에서 급속히 선호되고 있다.
런타임 이상 탐지를 위해서는 시맨틱 이상, API 호출 패턴 변화, 질의 빈도 폭증 등을 실시간 탐색해야 하며, 데이터돔(DataDome) 등 기업은 이와 같은 AI 오용 탐지 솔루션을 제공하고 있다. SIEM 도구와 연계한 로그 분석, 이상치 탐색 기준 설정도 필수 구성 요소다.
보안 아키텍처로서의 제로 트러스트 전략 채택도 AI 환경에서는 필수다. 이는 인간 사용자뿐 아니라 서비스 간 상호작용에도 인증과 권한 제어를 요구하며, 추론 마이크로서비스를 네트워크 내에서 격리할 수 있도록 지원한다.
한편, ‘섀도 AI’도 주요 리스크다. 승인 받지 않은 AI 도구를 직원들이 무단 사용하며, 민감 정보가 유출될 가능성이 커진다. 이를 막기 위해서는 정책 수립, 사용자 교육, AI 자산 가시화 도구(AI-SPM) 도입이 병행돼야 한다.
궁극적으로 기업의 최고정보보안책임자(CISO)와 최고재무책임자(CFO)는 협력해 보안 지출이 수익 보호 수단임을 수치로 입증해야 한다. SLA 위반 회피, 고객 이탈 최소화, 브랜드 평판 유지, 규제 장벽 통과 등의 시나리오를 포함해 단순 비용이 아닌 ‘안전한 ROI 보호 모델’을 구축함으로써 이해관계자 설득력이 확보될 수 있다.
AI 보호는 단순히 위험을 방어하는 수준에 그쳐선 안 된다. 성공적인 AI 투자는 이를 지키는 전략적 방패와 함께 설계돼야 한다. 이를 위해 CFO 관점의 보안 ROI 체크리스트를 활용해 예산설명자료를 체계화하고, 보안을 성장 가능성의 기반으로 명확히 연결 지을 수 있어야 한다. AI의 재정적 지속가능성을 확보하려면, 보안이야말로 운영 파이프라인의 핵심 제어판이 되어야 한다.