구글 경고… 해커들, 생성형 AI '제미니' 활용해 실전 해킹 가속

위협 행위자들이 생성형 인공지능을 악의적 해킹 수단으로 본격 활용하기 시작했다는 경고가 구글로부터 나왔다. 구글 위협 인텔리전스 그룹(Google Threat Intelligence Group)은 최근 보고서를 통해 해커들이 단순 실험을 넘어서 실제 공격 과정에 AI 기술을 탑재하는 사례가 늘고 있다고 밝혔다.

특히 보고서에 따르면, 일부 악성코드가 실행 도중 구글의 생성형 AI 모델인 ‘제미니(Gemini)’에 직접 API 호출을 시도하는 정황이 포착됐다. 해커들은 공격 목적에 맞게 제미니로부터 상황에 최적화된 악성 소스코드를 실시간으로 요청해 실행함으로써, 고정된 악성 기능이 담긴 기존 방식보다 탐지를 더욱 어렵게 만들고 있는 것으로 나타났다. 대표 사례로 HONESTCUE라는 악성코드는 C# 언어 요청 프롬프트를 통해 동적으로 코드를 받아 공격 흐름에 삽입했다.

또한 구글은 AI 모델의 내부 작동 구조를 알아내려는 ‘디스틸레이션(distillation) 공격’ 시도가 증가하고 있다고 분석했다. 공격자들은 체계적인 쿼리를 대량으로 입력해 모델의 응답 패턴과 로직을 유추하며, 이를 통해 독자적인 AI 도구를 개발하겠다는 의도를 보이고 있다. 이러한 시도는 막대한 연구·개발 비용을 회피하려는 전략으로 해석된다.

보고서는 이외에도 실체가 확인된 악성 그룹들이 AI를 실제 사이버 작전 단계에 투입하고 있다고 전했다. 정찰, 취약점 탐색, 스크립트 생성, 피싱 콘텐츠 제작 등 전통적인 해킹 절차에 AI 기능이 삽입되고 있으며, 이를 통해 보다 정교하고 속도감 있는 공격이 가능해지고 있다는 것이다. 일부 집단은 다단계 작업을 자율적으로 수행할 수 있는 ‘에이전틱 AI’의 가능성도 실험 중인 것으로 언급됐다. 다만 현재까지는 인간 해커의 역할을 대체하기보다는 보조하는 수준에 머물러 있다고 구글은 진단했다.

그러나 이번 발표에 대해 비판적인 시각도 존재한다. 보안 전문기업 이뮤니웹(ImmuniWeb)의 CEO 일리야 콜로첸코(Dr. Ilia Kolochenko)는 “구글이 생성형 AI에 대한 투자자들의 관심이 식는 시점에서 자사 기술의 존재감을 부각시키려는 선전성 보고서를 냈다”고 일축했다. 그는 “고도화된 공격 집단이 AI를 사용한다고 해도, 그것이 곧 AI가 독자적인 악성코드를 설계할 수 있다는 뜻은 아니다”라며 과장된 해석을 경계했다. 이어 “구글이 자사 AI가 악용되고 있다는 사실을 인지하고도 이용자 보호 조치를 제대로 하지 않았다면, 향후 법적 책임 소지도 발생할 수 있다”고 지적했다.

구글은 문제 해결을 위해 프롬프트 남용 탐지, 모델 보호 기능 강화 등 다양한 대응책을 펼치고 있다고 강조했다. 하지만 AI와 사이버 보안의 충돌이 본격화되는 상황에서 기술 기업들이 감당해야 할 책임의 무게도 함께 커지고 있다.