robots.txt 설정으로 AI 크롤러를 고르는 법
학습 봇, 색인 봇, 실시간 봇. 열 줄짜리 파일 하나로 갈리는 노출과 통제의 실무
robots.txt 설정은 AI 시대에 자영업자가 직접 쥔 몇 안 되는 스위치다. 오픈AI·앤스로픽·퍼플렉시티·구글·메타의 크롤러를 학습·색인·실시간 세 종류로 나누고, 목적별 표준안 세 가지를 그대로 복사해 쓸 수 있는 형태로 정리했다. 회사마다 다른 함정과 확인 방법까지 공식 문서 기준이다.
이 글은 《자영업자 SEO·GEO》 시리즈 7편이다. 2편에서 AI 봇의 세 종류를 이론으로 정리했고, 이번 편은 그 이론을 robots.txt 실물 파일로 옮긴다. 복사해 쓸 수 있는 표준안 세 가지가 결과물이다.
robots.txt는 홈페이지 주소 뒤에 /robots.txt를 붙이면 누구나 볼 수 있는 텍스트 파일이다. 어떤 로봇이 내 사이트의 어디를 가져가도 되는지 적어 두는 표지판이고, 역사가 30년 된 이 단순한 파일이 AI 시대에 갑자기 중요한 서류가 됐다. AI 회사들이 학습과 검색의 원료를 이 표지판을 보고 가져가기 때문이다.
구조를 한 줄로 복기하면, AI 봇은 학습 봇과 검색 색인 봇과 실시간 방문 봇 세 종류로 나뉘고 각각 차단의 결과가 다르다. 이번 편은 그 구조를 실제 파일로 옮긴다. 내 사이트의 robots.txt를 확인하는 법, 목적에 따라 고르는 표준안 세 가지, 그리고 회사마다 다르게 움직이는 함정들이다.
시작 전에 확인 하나. 홈페이지를 빌더나 제작 업체로 만들었다면 robots.txt를 직접 수정할 수 있는지부터 물어봐야 한다. 수정 권한이 없는 상품도 있고, 그 경우 이 편의 표준안은 업체에 전달할 요청서가 된다.
봇 명단, 이름을 알아야 고를 수 있다
각사 공식 문서에 등재된 봇을 용도별로 정리하면 아래 표가 된다. robots.txt에 쓰는 이름이 곧 User-agent 값이다.
| 용도 | 오픈AI | 앤스로픽 | 퍼플렉시티 | 구글 | 메타 |
|---|---|---|---|---|---|
| 모델 학습 | GPTBot | ClaudeBot | 없음 | Google-Extended | meta-externalagent |
| 검색 색인 | OAI-SearchBot | Claude-SearchBot | PerplexityBot | Googlebot | Meta-WebIndexer |
| 실시간 방문 | ChatGPT-User | Claude-User | Perplexity-User | 사용자 트리거 페처 | meta-externalfetcher |
표를 읽는 규칙 세 가지가 중요하다.
첫째, 차단의 결과가 열마다 다르다. 학습 봇을 막으면 향후 모델 학습에서 빠지고, 색인 봇을 막으면 그 회사 AI 검색 답변에서 빠진다. 오픈AI 문서 기준으로 챗GPT 검색 노출을 위해 권고되는 것은 OAI-SearchBot 비차단과 공개 IP 대역 허용 두 가지다.
둘째, 셋째 줄은 절반만 통제된다. 오픈AI·퍼플렉시티·구글은 사용자가 시킨 실시간 방문 봇이 robots.txt를 무시할 수 있다고 공식 문서에 명시했다. 앤스로픽만 자사 봇 전부가 robots.txt를 존중한다고 밝혀 두었다. 같은 표지판을 회사마다 다르게 읽는 셈이라, robots.txt로 확실히 걸 수 있는 자물쇠는 학습과 색인까지다.
셋째, 몇 칸은 이름표가 이상하다. Google-Extended는 별도 크롤러가 아니라 기존 구글 봇이 가져간 것의 용도를 제한하는 robots.txt 전용 토큰이고, 차단해도 검색 포함과 순위에는 영향이 없다고 구글이 명시했다. 퍼플렉시티는 기초 모델 학습용 수집을 하지 않는다는 것이 공식 입장이라 학습 칸이 비어 있다. 메타의 facebookexternalhit는 이 표에 없는데, 공유 미리보기용이라 막으면 페이스북과 인스타그램 메시지에서 내 링크 미리보기가 깨진다. AI가 싫다고 메타 봇을 몽땅 막으면 안 되는 이유다. 이 봇도 보안 점검 때는 robots.txt를 우회할 수 있다고 메타 문서에 적혀 있다.
표는 이 글과 관련된 봇만 추린 것이고 명단은 늘어나는 중이다. 오픈AI와 메타에는 광고 관련 봇이 별도로 있고, 각사 문서가 수시로 갱신되니 반년에 한 번은 원문을 다시 보는 것이 안전하다.
목적별 표준안 셋, 복사해서 쓴다
목적을 정하면 파일은 세 가지 중 하나로 수렴한다.
표준안 1. 전부 연다, 노출 최우선. 신규 고객 유입이 목적의 전부라면 AI 봇을 막을 이유가 없다. 특정 봇 이름의 항목이 없으면 모든 봇에 적용되는 별표(*) 그룹의 규칙을 따르고, 그것마저 없으면 전부 허용이 표준 규격의 기본값이다. 별표 그룹에 이상한 차단이 없는지 한번 확인하는 것 외에는 사실 아무것도 안 하는 것이 이 표준안이다. 명시적으로 적어 두고 싶다면 이렇게 쓴다.
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Allow: /
표준안 2. 학습만 거부한다, 노출은 원하되 원본 보호. 콘텐츠가 자산인 사업, 예컨대 유료 자료나 독자적인 데이터를 파는 곳이라면 학습 봇만 골라 막는다.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: meta-externalagent
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
검색 색인 봇은 열려 있으므로 AI 검색 답변 노출은 유지된다. Google-Extended 차단이 구글 검색 순위에 영향을 주지 않는다는 것은 구글이 문서로 보증한다.
표준안 3. 전부 막는다, 권장하지 않음. AI 색인 봇까지 막으면 그 회사들의 AI 검색에서 사라진다. 1편의 숫자를 기억하면 이것은 새 관문을 닫는 선택이고, 로컬 사업장이 이 표준안을 골라야 할 이유는 찾기 어렵다. 고를 경우에도 Googlebot 차단은 절대 금물이다. 일반 검색까지 통째로 사라진다.
주의 두 가지. 네이버는 이 선택지 구조가 성립하지 않는다. 네이버의 Yeti 봇은 검색 수집과 AI 브리핑 재료가 한 몸이라, 학습만 거부하는 중간 선택지가 공식적으로 존재하지 않는다. 열거나 닫거나 둘 중 하나다. 그리고 파일 수정 후 반영은 즉시가 아니다. 오픈AI와 퍼플렉시티 문서 기준으로 robots.txt 캐시 갱신에 하루 정도 걸린다.
사장다리는 표준안 1을 골랐다. 매체라서 모델이 내 글을 학습해 가는 것도 브랜드가 알려지는 경로로 보기 때문인데, 이것은 사업 성격에 따른 선택이지 정답이 아니다. 원본 판매가 사업인 곳이라면 반대로 고르는 것이 맞다.
robots.txt만 있으면 다 되는가
아니다. 이 파일이 못 하는 일과 헷갈리기 쉬운 지점이 몇 개 있고, 여기서 사고가 난다.
첫째, robots.txt는 수집 차단이지 색인 삭제가 아니다. 구글 공식 문서 기준으로 robots.txt에 막힌 페이지도 다른 곳에서 링크되면 검색 결과에 주소만 뜨는 형태로 색인될 수 있다. 특정 페이지를 검색에서 확실히 빼려면 robots 차단이 아니라 noindex 설정을 쓰는 것이 맞다. 둘을 겹쳐 쓰면 오히려 noindex를 로봇이 못 읽는 모순이 생긴다.
둘째, 표지판을 읽는 쪽의 재량이 있다. 실시간 방문 봇은 오픈AI·퍼플렉시티·구글이 무시할 수 있다고 명시했고, 표지판을 아예 안 읽는 무명 크롤러도 많다. robots.txt는 신사협정이지 방화벽이 아니다. 완전 차단이 필요한 자료라면 애초에 공개 웹에 올리지 않거나 로그인 뒤에 두는 것이 맞다.
셋째, 서버 오류가 표지판을 오염시킨다. 네이버 공식 가이드는 robots.txt 요청에 서버가 오류(5xx)를 돌려주면 전부 수집 금지로 해석한다고 안내한다. 파일을 잘 써 놔도 서버가 아프면 잘못된 표지판이 걸리는 셈이다. 3편에서 말한 대로 사이트 장애는 검색 장애를 겸한다.
넷째, 반영은 하루 단위다. 오픈AI와 퍼플렉시티 문서 기준으로 robots.txt 캐시 갱신에 최대 하루가 걸린다. 고치고 바로 결과를 기대하면 안 된다.
다섯째, 이름을 사칭하는 가짜 봇이 있다. 서버 기록에 GPTBot이라고 찍혔다고 다 진짜가 아니다. 각사는 공식 IP 목록을 공개하고, 네이버는 역DNS 조회로 Yeti 진위를 확인하는 방법을 안내한다. 이상 트래픽이 보이면 이름이 아니라 IP로 판별해야 한다.
사장다리의 선택과 확인 루틴
사장다리는 이 시리즈를 시작하며 robots.txt에 표준안 1을 적용했다. AI 봇 9종을 명시적으로 허용하는 형태다. 산업 분석 매체라서 글이 모델에 학습되고 답변에 인용되는 것 자체가 자산이라고 판단했고, 이 판단이 맞는지는 측정 편에서 다룰 방법으로 추적할 예정이다. 원본 콘텐츠 판매가 사업인 곳이라면 같은 논리로 표준안 2가 맞다. 선택의 기준은 남의 정답이 아니라 내 사업에서 콘텐츠가 하는 역할이다.
마지막으로 확인 루틴이다. 분기에 한 번, 다음 세 가지를 본다.
| 확인 | 방법 |
|---|---|
| 내 파일이 의도대로인가 | 내사이트주소/robots.txt를 열어 눈으로 확인 |
| 봇이 실제로 오는가 | 서버 접속 기록에서 GPTBot·ClaudeBot 등 이름 검색, 의심되면 공식 IP 대조 |
| 명단이 바뀌었는가 | 각사 크롤러 문서 재방문 (봇 추가·정책 변경 잦음) |
이 세 줄이면 AI 크롤러 관리는 끝이다. 다음 편은 봇에게 보여줄 내용의 형식 쪽으로 넘어간다. 스키마 마크업에서 아직 유효한 것과 이미 끝난 것, 그리고 카톡 공유 미리보기까지 해결하는 태그 네 줄이다.
이 시리즈는 적용 기록이 쌓이는 순서대로 나간다. 정비업 사장의 협업과 보험 설계사 제휴는 문의로, 시리즈 전체를 따라 읽으려면 뉴스레터로 받아보면 된다.
워크북. 이 편을 AI에게 시키기
7편의 숙제는 robots.txt를 실제로 결정하고 배포 준비까지 끝내는 것이다. 클로드 코드처럼 파일을 직접 읽고 쓰는 AI 도구라면 이 작업의 거의 전부가 위임된다.
내 사이트의 robots.txt를 정비하자. 홈페이지는 [주소]야.
1. 지금 파일을 읽고 한 줄씩 해설해줘. 별표(*) 그룹에 이상한 차단이 있는지,
Googlebot이나 Yeti를 막는 줄이 있는지 먼저 봐줘.
2. 나에게 세 가지를 물어봐. 콘텐츠가 자산인 사업인지, AI 검색 노출이
우선인지, 막고 싶은 영역(관리자 페이지 등)이 있는지.
3. 내 답에 맞는 표준안을 골라 새 robots.txt 초안을 만들어줘.
바꾸는 줄마다 이유를 주석 대신 별도 표로 정리해줘.
4. 배포 전 점검 목록을 만들어줘: 검색 봇 차단 없음, noindex와 충돌 없음,
반영 시차 안내.
검수 포인트는 세 번째 결과물에서 단 하나, Googlebot과 Yeti가 차단 목록에 없는지 눈으로 확인하는 것이다. AI가 실수할 확률은 낮지만 이 한 줄의 대가는 검색 전체라서, 이 확인만큼은 표준안이 무엇이든 사람이 한다. 배포 후 하루 뒤에 "[주소]/robots.txt 다시 읽고 의도대로 반영됐는지 확인해줘"로 마무리 회전을 돌린다.
출처
이 글의 봇 명단·정책 서술은 전부 각사 공식 크롤러 문서를 근거로 한다. 2026년 8월 접속을 확인했다. 크롤러 문서는 개정이 잦으므로 적용 전 원문 재확인을 권한다.
출처 전체(10건) 펼치기
AI 회사 크롤러 공식 문서
- Overview of OpenAI Crawlers — OpenAI Developer Docs
- Does Anthropic crawl data from the web — Claude Help Center
- Perplexity Crawlers — Perplexity Docs
- Google's common crawlers(Google-Extended) — Google
- Google user-triggered fetchers — Google
- Meta Web Crawlers — Meta for Developers
robots.txt 동작·확인