이 태그가 붙은 글 1편.
robots.txt 설정은 AI 시대에 자영업자가 직접 쥔 몇 안 되는 스위치다. 오픈AI·앤스로픽·퍼플렉시티·구글·메타의 크롤러를 학습·색인·실시간 세 종류로 나누고, 목적별 표준안 세 가지를 그대로 복사해 쓸 수 있는 형태로 정리했다. 회사마다 다른 함정과 확인 방법까지 공식 문서 기준이다.