써틱, 에이전틱 AI 보안 업무에 권한·승인 체계 제안

에이전틱 AI가 보안·자금세탁방지(AML) 업무에서 조사와 판단, 대응까지 맡을 수 있게 되면서 기업의 권한 통제와 감독 체계도 함께 정비해야 한다는 제안이 나왔다.

써틱(CertiK)은 5일 인텔3D 보고서 ‘AI 직원의 부상: 에이전틱 AI가 사이버 보안, 자금세탁방지와 컴플라이언스를 바꾸는 방식’을 공개했다. 보고서는 에이전틱 AI가 분석가의 문제 식별을 보조하는 데서 나아가 정해진 권한 안에서 조사·판단·조치를 수행할 수 있다고 설명했다.

일반적인 AI 보조 도구가 분석 결과를 제안하는 데 그친다면, 에이전틱 AI는 업무 절차를 직접 실행할 수 있다. 조사 결과를 분류하거나 대응 절차를 시작하는 권한까지 맡으면 업무 흐름 일부가 자동화된다.

실행 범위가 넓어질수록 잘못된 판단이 실제 조치로 이어질 위험도 커진다. 보고서는 모델 오판과 프롬프트 인젝션, 공격자의 AI 악용을 위험 요인으로 꼽았다.

프롬프트 인젝션은 입력된 문장이나 데이터를 이용해 AI가 기존 지침과 다른 행동을 하도록 유도하는 공격이다. 보안 AI가 외부 입력을 조사하고 대응까지 실행한다면 입력 검증과 실행 권한을 별도로 통제해야 한다.

써틱은 권한 경계 설정과 사람의 승인, 의사결정 기록, 책임 분담을 거버넌스의 핵심 요소로 제시했다. 정기적인 레드팀 테스트도 권고했다. 레드팀 테스트는 공격자 관점에서 시스템의 취약점을 점검하는 절차다.

디지털 자산을 보유하거나 거래하는 AI의 행동도 감사 대상에 포함해야 한다고 보고서는 강조했다. AI가 계정이나 자산에 접근할 수 있다면 어떤 권한으로 결정을 내렸는지 추적할 기록이 필요하다는 취지다.

보고서는 AI의 실행 능력에 맞춰 감독과 책임 체계를 마련해야 한다고 제안했다. 권고의 초점은 활용 범위 확대에 맞춘 통제 원칙에 있다.