뉴런 7개 조정해 AI 출력 바꾼 마이크로소프트

마이크로소프트($MSFT) 연구진이 AI 모델의 뉴런 7개를 수정해 특정 문구가 나타날 때 지정한 표식 문자열을 출력하도록 했다. 평소에는 정상적으로 작동하는 모델도 배포 전 가중치가 바뀌면 숨겨진 조건에 반응할 수 있음을 보인 실험이다.

마이크로소프트 리서치(Microsoft Research)는 10일 연구 발표에서 이 기법을 'Lazarus'라고 소개했다. 연구진은 모델을 처음부터 다시 학습하지 않고 마지막 연산 블록의 휴면 뉴런을 수정했다.

입력이나 도구 응답에 정해진 문자열이 나타나면 모델이 지정한 토큰을 내놓도록 하는 방식이다. 연구진은 정상 입력에서 억제해도 다음 토큰 예측 분포가 거의 달라지지 않는 뉴런을 ‘휴면 뉴런’으로 정의했다.

공격을 적용하려면 배포 전 모델 가중치가 저장된 체크포인트 파일을 바꿀 권한이 필요하다. 이용자가 일반 프롬프트에 문구를 입력하는 것만으로 원본 모델의 가중치가 변조되는 것은 아니다. 뉴런 7개를 수정했다는 말도 가중치 값 7개만 바꿨다는 뜻은 아니다.

연구진은 11일 공개한 논문에서 Nemotron-Terminal-8B의 뉴런 1만2000여개 가운데 7개를 수정한 실험을 설명했다. 모델은 트리거와 비트리거가 포함된 23개 사례로 조정한 뒤 별도의 기록 문맥에서 평가됐다.

트리거가 포함된 평가 문맥에서 모델은 무해한 표식 문자열을 최소 98.8% 예측했다. 평가한 정상 문맥에서는 해당 표식이 관찰되지 않았다. 이 수치는 표식 문자열의 예측 결과로, 파일 삭제나 파괴 명령의 실행률이 아니다.

파괴 명령을 다룬 시험은 별도로 진행됐다. 연구진은 Qwen3.6-27B의 뉴런 60개를 수정해 시험용 저장소를 삭제하는 명령을 여러 AI 에이전트의 도구 호출 형식으로 출력하도록 했다.

학습에 쓰지 않은 swe-agent 형식에서 명령 전체와 도구 호출 형식을 모두 맞힌 비율은 40%였다. 이는 특정 형식의 기록 문맥에 대해 모델이 명령을 출력하는지를 평가한 결과다.

논문은 앞선 토큰을 차례로 입력해 다음 출력을 확인한 시험과 에이전트를 처음부터 끝까지 자율 실행한 결과를 구분했다. 따라서 40%는 실제 에이전트가 파일 삭제를 수행한 비율을 뜻하지 않는다.

AI 에이전트는 모델의 출력을 받아 파일·터미널·네트워크 같은 도구를 작동시킬 수 있다. 모델이 명령을 출력해도 도구가 해당 형식을 받아들여야 실행으로 이어지며, 가능한 작업 범위는 에이전트에 부여된 권한에 달렸다.

◇ 가상자산 서비스에도 필요한 권한 관리

가상자산 서비스에서도 AI 에이전트가 지갑 접근이나 거래 실행 권한을 갖는다면 모델의 무결성과 실행 권한을 함께 살펴야 한다는 보안상 함의가 있다. 본지는 앞서 코인베이스($COIN)가 AI 에이전트의 유에스디코인(USDC) 결제를 지원한 사례를 보도했다.

이번 연구는 코인베이스 서비스나 가상자산 지갑을 대상으로 한 실험이 아니다. 실제 거래나 지갑 피해를 시험한 결과도 아니므로, 연구 결과를 가상자산 업계의 확인된 피해 사례로 볼 수는 없다.

마이크로소프트 위협 인텔리전스는 10일 보안 글에서 위협 행위자가 이 기법을 악용한 사례를 관찰하지 못했다고 밝혔다.

연구진이 별도로 진행한 가중치 탐지 시험에서는 기준 모델이 없는 조건에서 수정된 체크포인트의 91.4%를 찾아냈고, 수정되지 않은 체크포인트의 9.7%를 잘못 표시했다. 두 수치는 해당 시험 환경에서 나온 결과다.

마이크로소프트는 모델을 배포하거나 갱신할 때 체크포인트의 출처와 가중치 변경을 확인하고, 에이전트의 실행 권한을 제한하라고 권고했다. 명령 실행이나 외부 데이터 전송처럼 영향이 큰 도구 호출에는 사람의 승인을 두는 방안도 제시했다.