OpenAI, Google 등 4대 기업, AI 학습 거부 규칙 통일… 웹사이트별 개별 설정 불필요

동찰 Beating AI 속보, OpenAI, Google, 마이크로소프트, Anthropic이 합의했다: 앞으로 웹사이트는 `robots.txt`에 `User-Agent: __usage_ai-training`과 `Disallow: /` 두 규칙만 추가하면 이 여러 회사에 동시에 자신의 콘텐츠를 AI 학습에 사용하지 말라고 알릴 수 있다. 과거에는 웹사이트가 GPTBot, ClaudeBot 등 크롤러별로 각각 규칙을 설정해야 했다.

이 규칙은 AI 학습만을 겨냥하며, 크롤러의 웹사이트 수집을 함께 금지하지 않고, AI가 답변에서 웹사이트 콘텐츠를 인용하는 데 반드시 영향을 미치는 것도 아니다. 이는 Anthropic 엔지니어가 제안했으며, 현재 인터넷 엔지니어링 태스크 포스(IETF)의 기술 초안이다.

각 회사의 규칙 실행 방식은 완전히 같지 않다. 마이크로소프트는 웹사이트가 AI 학습만 개별적으로 금지하면서 콘텐츠가 AI 검색에 인용될 기회는 유지하도록 허용한다. Google은 이 규칙을 기존 Google-Extended 설정과 연동할 계획이며, Gemini가 웹사이트 콘텐츠를 인용하는 것까지 함께 제한할 수 있다.

Anthropic은 이미 도입하기 시작했고, 마이크로소프트는 2027년 2월 시행 예정이며, Google은 2027년 지원 예정이고, OpenAI도 향후 몇 달 안에 출시할 예정이다.

그러나 이러한 규칙은 이전에 이미 학습에 사용된 데이터를 되돌릴 수 없고, AI 회사들의 준수를 강제할 수도 없다.