메타 연구진 WM-Basin, 모델 45% 검출…기존 방식 1.3%

메타($META) 연구진이 워터마크가 삽입된 답변으로 학습한 AI 모델을 내부 정보 없이 찾아내는 탐지법을 제안했다. 수학 추론 모델 실험에서 세 토큰 문맥 기준 검출률은 오탐률 0.1%일 때 45%로, 기존 토큰 빈도 방식의 1.3%를 웃돌았다.

Meta Superintelligence Labs와 FAIR 소속 연구진 13명은 10월 27일 공개한 논문에서 이 방법을 워터마크 베이슨 정렬(Watermark Basin Alignment·WM-Basin)이라고 이름 붙였다. 연구진은 의심 모델의 API에 질의를 보내 얻은 답변에서 교사 모델의 워터마크 신호를 찾는 실험을 했다.

증류는 한 모델이 만든 답변을 모아 다른 모델을 학습시키는 방식이다. 이번 실험에서는 교사 모델의 출력에 눈에 보이지 않는 워터마크를 먼저 넣고, 그 출력으로 학습한 학생 모델의 답변에도 흔적이 남는지 살폈다.

본지는 앞서 클로드가 생성한 텍스트에 보이지 않는 워터마크를 넣는다고 보도했다. 이번 논문은 생성된 글 자체의 표식에서 나아가, 그 글로 학습한 모델의 답변에서 신호를 찾는 문제를 다뤘다.

◇ 토큰 빈도 대신 답변의 학습 방향 비교

기존 방식은 의심 모델의 답변에서 워터마크가 선호하는 토큰이 얼마나 반복되는지 센다. 연구진은 워터마크가 참조하는 문맥이 길어지거나 교사 모델의 답변 생성 방식이 달라지면 같은 문맥과 토큰의 반복이 줄어 탐지가 어려워질 수 있다고 설명했다.

WM-Basin은 의심 모델의 답변과 워터마크 키를 적용한 교사 모델의 답변을 고정된 참조 모델로 분석해 각각의 그래디언트를 구한다. 그래디언트는 참조 모델이 해당 답변을 더 잘 생성하도록 조정될 방향을 뜻한다.

연구진은 일반적인 과제 학습에서 공통으로 나타나는 방향을 제거한 뒤, 남은 신호가 실제 워터마크 키와 다른 키 중 어디에 더 가까운지 비교했다. 키별 비교로 워터마크 신호를 찾는 방식이다.

이 과정에서 의심 모델의 가중치나 로짓은 열어 보지 않는다. 연구진은 이 비교가 숨겨진 가중치 변화를 복원하는 것도 아니라고 설명했다.

주 실험은 수학 추론 자료로 학습한 학생 모델 1200개를 대상으로 문맥 길이별로 진행됐다. 모델 구조는 24개, 계열은 6개였고 매개변수 규모는 1억3500만~82억개였다.

워터마크 신호가 없는 모델을 있다고 잘못 판정하는 오탐률을 0.1%로 맞췄을 때, WM-Basin의 검출률은 한 토큰 문맥에서 79%, 세 토큰 문맥에서 45%였다. 기존 방식의 검출률은 같은 조건에서 각각 29%, 1.3%였다.

여기서 문맥 길이는 워터마크가 다음 토큰을 고를 때 참고하는 앞선 토큰의 수를 뜻한다. 세 토큰 문맥에서 기존 방식의 검출률이 낮았지만, WM-Basin도 실험 대상 모델의 절반 이상에서 신호를 찾지 못했다.

◇ 검사 분야와 후속 학습에 따라 달라진 결과

검사 주제별로도 결과가 갈렸다. 수학 자료로 학습한 같은 모델 100개를 한 토큰 문맥과 오탐률 0.1% 조건에서 검사하자 OpenR1-Math에서는 96%, MATH에서는 56%, GSM8K에서는 3%가 검출됐다. 코드와 대화 분야의 검출률은 0%였다.

연구진은 한 분야에서 신호가 잡히지 않았다는 결과만으로 모델에 워터마크가 없다고 판단할 수는 없다고 설명했다. 분야별 검출률 차이는 검사 결과를 특정 모델이나 분야 밖으로 일반화하기 어렵다는 점을 보여준다.

후속 학습도 탐지 결과를 바꿨다. 워터마크가 없는 자료로 추가 지도학습(SFT)을 진행한 뒤 학생 모델의 출력에서 읽히는 신호는 약해졌지만, 연구진이 가중치를 직접 살펴본 검사에서는 신호가 남아 있었다.

이번 결과는 연구진이 직접 운영한 공개 모델 실험에 한정된다. 논문은 여러 교사 모델과 워터마크 방식도 시험했지만, 제시된 검출률이 모든 모델이나 실제 서비스에도 그대로 적용되는지는 확인되지 않았다.

워터마크 검출은 특정 키로 생성된 출력이 학습에 쓰였다는 정황을 제공할 수 있다. 검출 결과만으로 무단 복제나 법률 위반을 입증할 수는 없다.