EU AI법 시행, 생성형 AI 워터마크 경쟁 본격화

유럽연합(EU) AI법의 투명성 의무가 8월 2일부터 적용되면서 생성형 인공지능(AI) 결과물에 기계 판독 표시를 남기는 기술이 주요 AI 기업의 규제 대응 과제로 떠올랐다. 앤트로픽(Anthropic)은 워터마킹 기술을 탐색하고 있지만 클로드(Claude) 전 제품군에 이를 적용했다고 공식 발표하지는 않았다.

크립토브리핑(Crypto Briefing)은 앤트로픽이 전 세계 클로드 모델에 보이지 않는 워터마크를 삽입했다고 전했다. 그러나 앤트로픽이 1월 29일 갱신한 투명성 허브에는 워터마킹을 산업계·학계와 함께 계속 살피고 있다는 설명만 담겼다.

앤트로픽은 투명성 허브에서 “워터마킹은 현재 제공하지 않는 이미지 출력에 가장 흔히 적용된다”고 밝혔다. 공개된 설명만 보면 클로드 전 제품군에 워터마크를 배포했다는 보도는 확인되지 않았다.

이번 논란의 배경에는 EU AI법 제50조가 있다. 이 조항은 AI가 생성하거나 조작한 음성·이미지·영상·텍스트를 기계가 읽을 수 있는 형식으로 표시하도록 요구한다.

딥페이크와 일정한 공익 정보성 텍스트에는 이용자가 알아볼 수 있는 고지도 붙여야 한다. 본지가 앞서 전한 EU AI법의 투명성 의무가 실제 적용 단계에 들어가면서 콘텐츠의 출처와 제작 방식을 입증하는 문제가 기업의 준수 과제가 됐다.

유럽연합 집행위원회(European Commission)는 6월 10일 ‘AI 생성 콘텐츠 표시와 라벨링을 위한 투명성 실무규약’을 공개했다. 자율적으로 참여하는 규약이지만 기업이 AI법 제50조를 준수할 수 있도록 마련한 실무 도구다.

기업은 통상 이용자가 볼 수 있는 라벨과 파일 메타데이터, 보이지 않는 워터마크를 함께 활용할 수 있다. 워터마크는 콘텐츠 자체에 식별 신호를 넣고, 메타데이터는 생성·편집 이력과 서명 정보를 파일에 기록하는 방식이다.

구글(Google)은 7월 24일 EU AI법 투명성 실무규약에 서명한다고 밝히면서 신스ID(SynthID)를 디지털 워터마킹 기술로 제시했다. 다만 추가적인 규제 복잡성에 대한 우려도 함께 밝혔다.

오픈AI(OpenAI)는 5월 19일 챗GPT(ChatGPT)와 코덱스(Codex), API에서 생성한 이미지에 콘텐츠 출처·진위 확인 표준인 C2PA와 신스ID를 적용한다고 발표했다. 7월 31일에는 지원 오디오에도 신스ID 워터마킹을 확대했다.

두 회사의 대응은 이미지와 오디오를 중심으로 이뤄지고 있다. 해당 콘텐츠는 픽셀이나 음향 신호에 식별 정보를 넣을 수 있지만 텍스트는 번역이나 재작성 과정에서 문장 구조가 쉽게 바뀐다.

오픈AI는 2024년 공개한 설명에서 텍스트 워터마킹이 번역과 문장 재작성, 다른 생성 모델을 이용한 변환에 취약하다고 밝혔다. AI가 만든 문장에 식별 신호를 넣더라도 이용자가 표현을 바꾸면 신호가 약해질 수 있다는 의미다.

앤트로픽은 클로드 코드(Claude Code)의 숨은 표식을 둘러싼 논란도 겪었다. 6월 30일 공개된 기술 글은 클로드 코드가 시스템 프롬프트에 비공개 표식을 넣었다고 지적했고, 개발자 커뮤니티는 이를 ‘프롬프트 스테가노그래피’라고 불렀다.

더레지스터(The Register)는 앤트로픽 엔지니어가 해당 조치를 실험으로 설명하고 제거하겠다는 방향을 밝혔다고 보도했다. 규제 준수를 위한 콘텐츠 표시와 이용자에게 공개되지 않은 내부 표식을 구분하고, 적용 목적과 범위를 투명하게 설명해야 한다는 과제를 드러낸 사례다.

가상자산 업계도 거래소와 지갑, 보안 감사, 리서치 업무에 AI 에이전트를 활용할 때 결과물의 출처와 조작 여부를 검증해야 한다. AI 에이전트의 실제 인프라 접근과 권한 통제 문제와 마찬가지로 워터마크만으로는 업무 기록의 신뢰성을 완전히 보장하기 어려워 접근 권한과 실행 기록을 함께 관리할 필요가 있다.

앤트로픽의 공개 입장은 현재 워터마킹 기술을 탐색하는 단계다. 클로드에 실제로 적용할지와 적용 범위는 회사가 별도 발표를 내놓을 때 판단할 수 있다.