AI 인사이트/규제
robots.txt AI 학습 거부 표준이란? 오픈AI·구글 공동 채택 정리
진일 · 발행
오픈AI·구글·마이크로소프트·앤트로픽이 웹사이트가 AI 학습용 수집을 거부할 수 있는 공통 표준을 채택하겠다고 밝혔습니다. 더버지가 2026년 10월 30일 전한 내용으로, robots.txt에 공유 '정책 토큰(policy token)' 신호를 넣으면 여러 AI 기업에 한 번에 학습 선호를 전달할 수 있습니다. 오픈AI도 같은 날 공지에서 이 공유 robots.txt 신호를 준수하겠다고 밝혔습니다.
핵심 요약
- 오픈AI·구글·MS·앤트로픽이 공통 AI 학습 거부 표준을 채택한다.
- robots.txt의 공유 정책 토큰으로 의사를 한 번에 전달한다.
- 기업별로 따로 설정하던 AI 학습 거부 방식이 하나로 묶인다.
무슨 일이 있었나
오픈AI·구글·마이크로소프트·앤트로픽이 AI 학습 거부를 위한 새 공통 표준을 채택한다고 밝혔습니다. 더버지가 2026년 10월 30일 보도한 내용입니다.
핵심은 공유 '정책 토큰(policy token)' 신호입니다. 사이트 운영자가 robots.txt에 이 신호를 넣으면 참여 기업 전체에 AI 학습 선호가 전달됩니다.
오픈AI는 같은 날 공지에서 공유 robots.txt 신호를 준수하겠다고 밝혔습니다. 기업마다 개별 설정을 걸던 방식이 하나의 선언으로 정리되는 구조입니다.
왜 중요한가
웹사이트가 AI 학습 데이터로 쓰이는 범위를 운영자가 직접 정할 수 있게 되기 때문입니다. 지금까지는 AI 기업별 크롤러 이름을 따로 조사해 robots.txt에 하나씩 추가해야 했습니다.
보험사와 금융권 사이트에는 상품 설명, 공시 자료, 고객 안내 문서가 공개돼 있습니다. 이 콘텐츠가 외부 모델 학습에 쓰이는지 여부를 한 번의 설정으로 표시할 수 있습니다.
다만 이 표준은 참여를 선언한 기업에만 적용됩니다. 법적 강제력이 있는 규정은 아니라는 점을 전제로 운영 정책을 세워야 합니다.
우리에게 어떤 의미인가
먼저 회사가 운영 중인 도메인 목록과 각 robots.txt의 현재 내용을 확인하는 작업이 필요합니다. 마케팅 사이트, 고객 포털, 채용 페이지, 문서 다운로드 서버가 서로 다른 설정을 쓰는 경우가 많습니다.
도메인별로 AI 학습 허용 여부를 정하고, robots.txt 변경 권한을 누가 갖는지 명시합니다. CDN·WAF 접근 로그에서 AI 크롤러의 유입량을 확인해 설정이 실제로 반영되는지 봅니다.
로그인 뒤에 있는 고객 데이터는 robots.txt와 무관하므로 인증·권한 설정으로 따로 막아야 합니다. 진일은 웹서버·CDN 설정과 접근 로그 점검을 포함한 인프라 유지보수를 제공합니다.
용어
- robots.txt
- robots.txt는 웹사이트 최상위 경로에 두는 텍스트 파일로, 크롤러에게 수집 허용·거부 범위를 알리는 규약이다.
- 정책 토큰(policy token)
- 정책 토큰은 웹사이트가 AI 학습 허용 여부를 여러 AI 기업에 한 번에 전달하기 위해 robots.txt에 넣는 공유 신호다.
자주 묻는 질문
- Q. AI 학습 거부 표준을 적용하면 검색 노출도 줄어드나요?
- A. AI 학습 거부와 검색 색인은 별개 설정으로 다룹니다. 공유 정책 토큰은 AI 학습 목적의 수집에 대한 의사를 표시하는 신호이며, 검색 노출은 기존 색인 규칙을 따릅니다. 두 설정을 분리해 적용하고 적용 후 유입 로그로 확인하는 편이 안전합니다.
- Q. robots.txt에 넣기만 하면 모든 AI 기업이 지키나요?
- A. 참여를 선언한 기업에만 적용됩니다. 2026년 10월 30일 기준 오픈AI·구글·마이크로소프트·앤트로픽이 채택 의사를 밝혔고, 그 외 수집 주체에는 강제되지 않습니다. 민감한 자료는 공개 경로에서 내리고 인증 뒤로 옮기는 조치가 필요합니다.
출처
진일 코멘트 — 법적 강제가 아닌 자율 표준이므로, 공개 범위 자체를 조정하는 작업과 함께 봐야 한다.