기업 AI, 에이전트 실전 투입…보안은 ‘추론·실행 순간’이 승부처로

기업들이 ‘에이전트형 AI’를 개념검증(PoC) 단계를 넘어 실제 업무에 투입하면서, ‘AI 런타임 보안’이 핵심 과제로 떠오르고 있다. AI가 단순히 답변을 생성하는 수준을 넘어 시스템을 넘나들며 사용자를 대신해 판단하고 실행하는 단계로 진화하자, ‘행동하는 순간’ 정책을 집행할 수 있는 통제 체계가 필요해졌다는 진단이다.

멀티클라우드 애플리케이션 보안·전송 기업 F5의 램 푸르나찬드란 부사장은 최근 구글 클라우드 넥스트 행사에서 “이 문제는 매우 어렵다”며 “중요한 것은 단순한 데이터 보호가 아니라, 에이전트가 누구를 대신해 일하는지, 허용된 데이터만 보는지, 또 실제 행동이 적절한 감사 추적과 함께 이뤄지는지를 보장하는 것”이라고 말했다.

그는 기존 보안 체계를 사후적으로 덧붙이는 방식으로는 더 이상 대응이 어렵다고 짚었다. 프론트오피스 자동화부터 백오피스 프로세스 재설계까지 기업 전반이 ‘클라우드 네이티브’에서 ‘AI 네이티브’로 이동하는 흐름 속에서, AI 에이전트는 여러 시스템 경계를 넘고 사용자 권한을 위임받아 수 밀리초 단위로 업무를 수행하기 때문이다.

패킷 감시만으로는 부족…‘추론 계층’ 가시성이 새 기준

F5의 게리 뉴 솔루션 엔지니어링 부사장은 에이전트형 AI 보안은 더 이상 네트워크 패킷이나 API 호출만 들여다보는 수준에 머물 수 없다고 설명했다. 이제는 각 에이전트가 어떤 맥락에서 어떤 의도를 가지고 결정을 내렸는지까지 들여다볼 수 있어야 한다는 의미다.

그는 “이 같은 ‘가드레일’은 추론 계층에서 가장 효과적으로 작동한다”며 “에이전트가 실제로 결정을 내리고 데이터를 해석하는 지점이야말로 대규모 보안을 구현할 수 있는 핵심 위치”라고 말했다.

이에 따라 F5는 자사 애플리케이션 전송·보안 플랫폼 내 업데이트를 통해, AI가 의사결정을 내리는 ‘추론 시점’에서 가시성과 정책 집행 기능을 강화하고 있다. 이는 AI 런타임 보안을 단순 모니터링이 아닌, 실시간 통제 체계로 끌어올리려는 시도로 해석된다.

출시 전 ‘AI 레드팀’ 점검도 필수…IBM “침해 기업 97%, 접근통제 없었다”

기업용 AI 보안에서 또 다른 축은 ‘지속적 테스트’다. F5는 AI 레드팀을 통해 실제 배포 전에 다양한 공격 벡터를 가정해 에이전트의 취약성을 점검하고, 그 결과를 운영 환경의 정책 통제 도구인 ‘AI 가드레일’에 다시 반영하는 구조를 운영하고 있다고 밝혔다.

이 같은 접근은 최근 보안 통계와도 맞닿아 있다. IBM 보고서에 따르면 침해를 겪은 조직의 97%는 AI 접근 통제를 사실상 갖추지 못한 상태였다. 이는 사전 적대적 테스트와 운영 전 검증 절차가 선택이 아니라 필수 단계로 바뀌고 있음을 보여준다.

기업 입장에서는 AI 모델이 한번 구축됐다고 끝나는 것도 아니다. 새 데이터가 들어오고 새로운 모델이 연결되면, 에이전트의 성능과 판단 품질이 시간이 지나며 조용히 흔들릴 수 있다. 이른바 ‘드리프트’ 문제다.

푸르나찬드란 부사장은 “시스템은 지속적으로 모니터링해야 한다”며 “새 데이터와 새 모델이 유입되면, 처음 구축했을 때만큼의 효과를 더 이상 내지 못할 수 있다. 그래서 관측 가능성이 중요하다”고 말했다.

기업 AI 확산 속 승부처는 ‘신뢰 가능한 자동화’

이번 논의는 기업들이 생성형 AI를 넘어 자율 실행형 에이전트 도입에 속도를 내는 가운데, 보안의 무게중심이 인프라 보호에서 ‘행동 검증’으로 옮겨가고 있음을 보여준다. 특히 AI 런타임 보안은 모델 성능 경쟁과 별개로, 실제 현업 배치의 성패를 가를 기반 기술로 평가된다.

결국 기업이 원하는 것은 더 똑똑한 AI만이 아니라 ‘신뢰할 수 있는 자동화’다. 에이전트형 AI가 사람을 대신해 더 많은 업무를 맡게 될수록, 추론 계층에서의 통제와 지속적 관찰, 사전 테스트 체계가 기업 AI 도입의 기본 조건으로 자리 잡을 가능성이 커지고 있다.