AI 학습 공통 신호 존중…오픈AI, 수개월 내 적용 목표

오픈AI가 웹사이트 운영자가 인공지능(AI) 학습 사용 선호를 여러 업체에 알리는 robots.txt 공통 신호를 존중하겠다고 밝혔다.

오픈AI(OpenAI)는 2026년 10월 30일 공식 발표에서 이 신호를 ‘향후 수개월 내’ 구현하는 것을 목표로 한다고 밝혔다. 구체적인 일정과 구현 방식은 추후 공개할 계획이며, 기존 크롤러별 설정도 계속 유효하다. 회사는 업체마다 별도 규칙을 관리해야 하는 운영자의 부담을 줄이기 위한 자발적 조치라고 설명했다.

공통 신호의 이름은 ‘__usage_ai-training’이다. IETF에 등록된 초안은 웹사이트 운영자가 robots.txt에서 이 신호를 사용해 여러 업체에 AI 학습 선호를 표시하는 방식을 제안한다.

사이트 운영자는 robots.txt에 ‘User-Agent: __usage_ai-training’ 그룹을 만들고 ‘Disallow: /’를 적어 사이트 전체 콘텐츠를 학습에 사용하지 말라는 선호를 나타낼 수 있다. 특정 경로만 허용하는 예외도 설정할 수 있다.

초안에서 AI 학습은 콘텐츠를 이용해 생성형 AI 모델의 학습된 매개변수를 바꾸는 행위를 뜻한다. 해당 그룹이 없으면 이 초안의 기준으로는 학습 선호가 표시되지 않은 것으로 본다.

공통 신호는 크롤러의 웹페이지 접근을 막는 명령이 아니다. 업체별 크롤링 규칙은 별도로 적용되며, 초안도 robots.txt에 새로운 크롤링 명령을 추가하지 않는다.

robots.txt는 크롤러가 규칙을 따르도록 요청하는 프로토콜이지 접근 권한을 강제하는 보안 장치가 아니다. 웹 로봇 배제 프로토콜을 규정한 RFC 9309도 이를 접근 통제 수단으로 보지 않는다.

오픈AI의 크롤러 안내에 따르면 모델 학습에 쓰일 수 있는 콘텐츠를 수집하는 GPTBot과 챗GPT 검색 노출에 쓰이는 OAI-SearchBot의 설정은 서로 독립적이다. 웹사이트 운영자는 학습용 접근을 거부하면서 검색용 크롤러는 허용할 수 있다.

따라서 학습 거부 신호만으로 검색 노출이나 AI 답변을 생성할 때의 콘텐츠 참조까지 제한된다고 해석할 수는 없다. 학습 선호와 크롤링 규칙은 별개로 다뤄진다.

본지는 앞서 검색 색인을 유지하면서 AI 학습용 접근을 제한하는 설정을 소개했다. 이번 공통 신호는 여러 AI 업체가 함께 읽을 수 있는 선호를 표시한다는 점에서 업체별 설정과 구별된다.

구글(Google)은 2026년 10월 30일 구글 검색 센트럴(Google Search Central) 블로그에서 다른 AI 제공업체와 함께 2027년 지원을 목표로 한다고 밝혔다. 이는 지원 목표이며 구체적인 적용 날짜는 제시되지 않았다.

구글은 웹사이트가 공통 신호로 학습 거부를 표시하고 Google-Extended 규칙을 별도로 지정하지 않으면, 이를 Google-Extended 차단과 같은 뜻으로 해석할 방침이다. 업체별 규칙을 명시한 경우에는 해당 설정도 계속 적용된다.

마이크로소프트(Microsoft, $MSFT)는 2026년 10월 30일 빙(Bing) 공식 블로그에서 새 선호 설정을 2027년 2월 1일부터 크롤링 과정에 반영한다고 밝혔다. 회사는 AI 학습 선호와 답변 생성 때 웹 콘텐츠를 참조하는 ‘grounding’ 선호를 별도로 다룬다.

개별 페이지에 표시한 학습 선호는 robots.txt의 사이트 단위 설정보다 우선한다. 기존 NoArchive·NoCache 규칙을 쓰는 사이트는 학습 제한을 robots.txt나 개별 페이지에 새 선호로 표시하고, grounding 제한을 유지하려면 페이지별 설정과 Bing Webmaster Tools의 임시 설정을 2027년 3월 1일까지 적용해야 한다. 이후 기존 규칙은 학습이나 grounding 선호로 읽히지 않는다.

마이크로소프트는 새 설정이 Bing 일반 검색 결과에 노출될 자격을 바꾸지 않으며, 콘텐츠 이용료나 라이선스 계약을 보장하지 않는다고 설명했다. robots.txt 선호 표시만으로 콘텐츠 이용 조건이 정해지는 것은 아니다.

IETF 문서는 개인 Internet-Draft로 등록돼 있으며, 아직 확정 표준도 IETF 승인 문서도 아니다. 문서에는 2027년 5월 3일 만료 예정일이 적혀 있다.