인공지능 도입이 가속화되면서 사이버보안 업계는 그 어느 때보다 빠르게 대응에 나서고 있다. 자율 AI가 생성하는 코드, 악성 모델 삽입, 보안 없이 인프라를 떠도는 에이전트 등 새로운 유형의 위협이 확산되면서 기존의 보안 체계가 흔들리고 있다. 미국 라스베이거스에서 열린 '블랙햇 USA 2025' 컨퍼런스에선 이러한 문제점들이 집중적으로 다뤄졌다.
보안 전문가들은 AI 코딩 도구가 효율성을 앞세운 나머지, 코드 보안에 대한 고려가 미흡하다고 경고한다. 엔비디아(NVDA)의 연구에 따르면 AI 코드 편집기 '커서(Cursor)'의 자동 실행 기능은 사용자의 명시적인 허락 없이 명령 파일을 실행할 수 있어 시스템 침해 위험을 높인다. 이 제보를 받은 커서 운영사 애니스피어(Anysphere)는 해당 기능의 비활성화 옵션을 추가했지만, AI가 보안 사고의 진원지가 될 수 있다는 사실은 여전히 유효하다.
F5의 보안담당임원 척 헤린은 "AI가 활성화되면서 API 인터페이스의 개수가 폭증했고, 이는 공격 표면이 수직 상승한 것과 같다"고 지적했다. 실제로 생성형 AI를 도입한 기업들은 일반보다 5배 많은 API 엔드포인트를 갖고 있어, 보안 취약점 노출이 심각한 수준으로 확대되고 있다.
백터 데이터베이스와 추론 서버 등 AI 시스템의 기반 인프라도 공격 대상이 되고 있다. 보안 기업 위즈(Wiz)는 엔비디아의 컨테이너 툴킷에서 발견한 취약점이 퍼블릭 클라우드 AI 서비스의 37%에 영향을 끼칠 수 있다며, 사용자 데이터의 유출과 모델 탈취로 이어질 수 있음을 경고했다. 이같은 위협에 대해 엔비디아는 지난 7월 보안 패치를 내놓았다.
대형 언어모델(LLM)을 중심으로 하는 AI 확산도 보안 리스크를 키우고 있다. 메타(META)는 자사의 오픈모델 '라마(LLaMA)'가 올 3월 기준 10억 회 이상 다운로드됐다고 밝혔으나, 보안전문가들은 LLM이 폭넓게 쓰이는 만큼 공격자에게 새로운 표적이 된다고 우려하고 있다. 히든레이어(HiddenLayer)의 전 최고보안책임자 맬컴 하킨스는 “매년 3000억 달러(약 432조 원) 이상 정보 보안에 투자하고 있지만, 이는 AI 모델에는 제대로 적용되지 않는다”고 말했다.
실제로 지난해 블랙햇 행사에서 연구팀은 세계 최대 규모의 AI 모델 저장소 3곳을 침투해 악성코드 가능성을 입증했으며, 올해도 이 문제는 해결되지 않았다. 공격자가 LLM에 조작된 데이터를 주입할 경우, 자율 에이전트에 의한 오작동이나 데이터 유출로 연결될 수 있다는 경고도 나왔다.
자율형 AI 에이전트에 대한 실증 공격 사례도 공개됐다. 미국 사이버 보안업체 코얼파이어는 최근 보고서를 통해 표준화된 침투 테스트를 통해 에이전트 기반 AI 어플리케이션 모두를 해킹하는 데 성공했다고 밝혔다. 특히 미국 국립표준기술연구소(NIST)의 아포스톨 바실레프는 "이들 에이전트는 우리가 수십 년간 보호해온 사이버 인프라에 직접 연결돼 있다"며 주의를 당부했다.
그럼에도 사이버보안 업계는 에이전트를 활용해 스스로 위협을 탐지하고 방어할 수 있는 시스템도 병행 모색 중이다. 시큐리티 스타트업 심비안(Simbian)은 AI 기반 보안 운영센터 에이전트를 통해 실시간 위협 판단과 대응을 실현하고 있으며, 이를 위해 메모리 그래프 및 도구 체인을 이용한 자동화 설계를 채택하고 있다.
또한 일부 기업은 인증 체계를 에이전트 생태계에 직접 삽입하는 방식으로 아예 신원 기반의 보안 구조를 구축하고자 한다. 앤주나 시큐리티(Anjuna Security)가 개발 중인 ‘컨피덴셜 컴퓨팅’은 데이터 처리과정을 신뢰 실행 환경(TEE)으로 분리해 사용자의 권한을 넘어서지 않도록 제어하는 것이 핵심이다. 현재 이 기술은 글로벌 대형 은행 3곳과 차세대 결제 기업, 미 해군 등에서 도입됐다.
전문가들은 이러한 기술들이 AI의 진화를 따라가기 위해 절실히 필요하다고 강조한다. 전 미국 국가사이버국장인 크리스 잉글리스는 “지금 우리는 자율주행차와 같은 AI 체계를 운전하려 하고 있지만, 차량을 제어할 수 있다는 확신이 아직은 부족하다”며 AI 보안 문제의 본질은 통제력에 있다고 진단했다.
AI 기술이 하루가 다르게 발전하고 있지만, 보안 체계는 이를 따라가지 못하면서 위험도도 함께 증가하고 있다. 블랙햇 행사에서 한 보안 전문가는 “AI 보안에서 절대 해서는 안 될 단 한 가지가 있다면, 그것은 ‘신뢰’”라고 단언했다. 그만큼 신중한 접근이 절실하다는 메시지다.