연구진이 AI 모델의 환각 현상을 악용해 AI 에이전트가 악성코드를 내려받도록 유도하는 신형 공격 기법을 발견했다. 해당 방식은 봇넷 구축 등 대규모 보안 위협으로 이어질 수 있다는 분석이 나왔다.
PANews에 따르면 텔아비브대, 이스라엘 공과대학, 인튜이트 연구진은 ‘적대적 환각 침입’이라는 공격 기법을 공개했다. 공격자는 AI가 생성할 가능성이 있는 가짜 리소스 링크를 미리 등록한 뒤 악성 명령을 심어 AI 에이전트가 이를 정상 콘텐츠로 오인해 실행하도록 만든다.
실험에서 코드 저장소 복제 상황의 AI 환각 발생률은 85%, 스킬 설치 상황은 100%로 나타났다. 커서, 깃허브 코파일럿, 제미니 CLI, 오픈클로 등 AI 코딩 보조 도구가 영향을 받은 것으로 조사됐다.
이번 공격은 사용자의 오타를 노리는 기존 타이포스쿼팅과 달리 AI 모델의 오류를 겨냥한다. 앞서 간접 프롬프트 주입으로 AI 에이전트를 탈취할 수 있다는 연구도 나온 바 있다.
<저작권자 ⓒ TokenPost, 무단전재 및 재배포 금지>
많이 본 기사