이 태그가 붙은 글 2편.
robots.txt 설정은 AI 시대에 자영업자가 직접 쥔 몇 안 되는 스위치다. 오픈AI·앤스로픽·퍼플렉시티·구글·메타의 크롤러를 학습·색인·실시간 세 종류로 나누고, 목적별 표준안 세 가지를 그대로 복사해 쓸 수 있는 형태로 정리했다. 회사마다 다른 함정과 확인 방법까지 공식 문서 기준이다.
AI 검색 노출을 어디까지 통제할 수 있는지는 감이 아니라 공식 문서에 적혀 있다. AI 봇 세 종류와 robots.txt 표준안, 네이버 플레이스에서 통제 가능한 유일한 변수, AI 브리핑을 끌 수 없다는 사실까지, 네 구역의 경계선을 각사 공식 문서 원문으로 그었다.