AI가 AI를 공격한다… 사이버보안업계, 방패와 칼 사이의 전쟁

사이버보안 업계가 생성형 인공지능(AI)을 방어 도구로 수용하면서 동시에 그로 인해 발생하는 새로운 위협에 대응해야 하는 이중 과제를 안고 있다. 공격자의 기술 역시 AI로 무장해 빠르게 진화하고 있는 가운데, 기업과 보안 담당자들은 더 이상 기존의 방식으로는 대응이 어렵다는 공감대에 다다르고 있다.

2025년 RSA 컨퍼런스에서 시스코의 최고 제품 책임자인 지투 파텔(Jeetu Patel)은 "AI는 업계가 직면한 가장 복잡한 도전 과제"라며, AI 아키텍처가 결정론적이지 않고 예측 불가능한 특성을 지니고 있어 완전히 새로운 종류의 리스크를 만들어낸다고 강조했다. 특히 생성형 AI 모델은 기존 보안 체계의 허점을 드러내며, 전례 없는 위협을 현실로 만들고 있다는 경고가 이어졌다.

산스 인스티튜트(SANS Institute)의 로브 리(Rob Lee) 연구 책임자는 AI 기반 공격 기술의 속도를 설명하며, AI 에이전트가 인간보다 47배 더 빠르게 공격 단계를 실행하고, 특권 상승 경로에 대한 성공률도 93%에 달한다고 밝혔다. 이는 AI 시스템이 단순히 빠르게 작동하는 데 그치지 않고, 조직 내 구조적 취약점을 몇 초 만에 찾아내는 정교함까지 갖췄다는 뜻이다.

이러한 공격은 AI 모델 자체의 취약점을 겨냥하기도 한다. 사이버보안 전문 기업 히든레이어(HiddenLayer)는 최근 주요 대형 언어모델(LLM)에 공통적으로 적용 가능한 프롬프트 삽입 기법을 찾아내, 기존의 안전장치를 우회하는 데 성공했다고 발표했다. 시스코 또한 AI 모델 ‘딥시크(DeepSeek)’에 대한 탈옥(jailbreak) 실험에서 100%의 확률로 보안을 무력화할 수 있었음을 입증해 충격을 더했다.

내부 위협도 예외는 아니다. 소프트웨어 AG의 보고서에 따르면, 전체 직원의 절반이 ‘섀도 AI(Shadow AI)’, 즉 허가받지 않은 AI 도구를 조직 내에서 사용하고 있는 것으로 나타났다. 이는 CEO들이 생성형 AI 도입에서 뒤처질 수 있다는 두려움 속에 철저한 통제보다 빠른 혁신을 택하고 있기 때문이라는 분석이 나온다. 바이트위스퍼 시큐리티(Bytewhisper Security)의 CEO 존 딕슨(John Dickson)은 이러한 현상에 대해 “아직 대형 섀도 AI 사고가 발생하지 않았지만, 언젠가는 터질 것”이라고 경고했다.

그러나 AI의 위험성이 드러날수록 오히려 인간은 AI를 더욱 신뢰하게 될 수 있다는 우려도 있다. 하버드대 연구원 브루스 슈나이어(Bruce Schneier)는 “사람들은 대화형 AI와 감정적 유대를 형성하게 되며, 이 틈을 해커들이 노릴 것”이라며, 최근 러시아발 공격이 AI 훈련 데이터를 의도적으로 조작한 사례를 예로 들었다.

이에 따라 보안 기업들은 보다 지능적인 대응 수단 마련에 속도를 내고 있다. IBM은 최근 추론 및 대응 역량을 갖춘 AI 시스템 ‘ATOM’을 위한 예측적 위협 인텔리전스 ‘PTI 에이전트’를 출시했으며, 시스코도 오픈소스 기반의 첫 보안 모델 ‘Foundation-sec-8b’를 공개했다. 이는 허깅페이스(Hugging Face) 플랫폼을 통해 접근 가능하며, 보안 수명주기 전반에 걸친 AI 네이티브 워크플로 구축을 지원한다.

개발자들을 위한 보안 도구도 진화 중이다. 마이크로소프트 자회사 깃허브(GitHub)는 '코파일럿 오토픽스(Copilot Autofix)' 기능이 포함된 보안 캠페인을 통해 코드 및 시스템 내 누적된 결함을 줄이고 신규 취약점을 사전에 차단하기 위한 노력을 펼치고 있다. 깃허브의 보안 책임자 마르셀로 올리베이라(Marcelo Oliveria)는 “보안 부채 해결이 우리가 이 싸움에서 이길 수 있는 차별화 요소”라고 강조했다.

전문가들은 사이버 공격의 자동화가 머지않아 현실이 될 것으로 경고하며, 이에 맞서는 유일한 방어 수단도 자율화된 보안 시스템이라고 입을 모은다. 보안 스타트업 마일스톤(Milestone)의 CEO 메니 바르질레이(Menny Barzilay)는 “곧 인터넷에는 자율 해킹 시스템이 돌아다닐 것이며, 우리에게 남은 선택지는 자동화된 보안 시스템 구축뿐”이라고 말했다.

빠르게 진화하는 AI 공격 역학 속에서, 사이버보안 업계는 AI를 방패로 삼아 스스로를 보호해야 하는 역설적 현실과 마주하고 있다. AI가 가져올 미래의 위협은 이미 도착했고, 그에 맞서는 솔루션은 지금 준비되어야만 한다.