robots.txt 공통 AI 학습 거부 신호: 한 줄로 여러 AI 회사에 '학습 금지'
무엇인가요
robots.txt의 User-Agent 자리에 크롤러 이름 대신 __usage_ai-training이라는 정책 토큰을 쓰면, 그 경로를 AI 학습에 쓰지 말라는 뜻이 돼요. 새 문법 없이 기존 robots.txt 규칙(경로·가장 긴 일치 우선)을 그대로 써요.
User-Agent: __usage_ai-training
Disallow: /
Allow: /press-kit/왜 중요한가요
지금까지는 GPTBot, Google-Extended, ClaudeBot처럼 회사별 크롤러를 하나하나 막아야 했어요. 이 신호를 따르는 회사가 늘면 줄 하나로 정리돼요. Google은 이 토큰으로 학습을 거부하면 Google-Extended를 막은 것으로 보겠다고 했고 회사별 기존 설정도 계속 존중해요. 콘텐츠 사이트나 문서 사이트를 운영한다면 robots.txt 정책을 다시 볼 때예요.
완성도
Preview아직 IETF 개인 초안이고 공식 표준이 아니에요. Google은 2027년, OpenAI는 '몇 달 안에' 적용하겠다고 해서 지금 넣어도 바로 효과가 나지 않을 수 있어요.
앞으로 이렇게 지켜보세요
- 표준화: IETF AI Preferences 작업 그룹이 이 초안을 정식 작업으로 채택하는지 datatracker에서 보세요.
- 적용 시점: OpenAI·Google의 크롤러 문서에 실제 적용 날짜가 올라오는지 확인하세요.
- 참여 회사: Microsoft·Anthropic 공식 문서에 지원 일정이 명시되는지 지켜보세요.