AI 크롤러 robots.txt 설정 — 학습 봇과 답변 봇 가르는 법

AI 봇은 세 갈래 — 학습 · 검색 · 사용자 요청

가장 분명하게 나눠 적은 곳은 OpenAI 문서다. OpenAI는 robots.txt에서 OAI-SearchBot과 GPTBot 두 이름으로 사이트 주인의 선택을 받는다고 적었고, 두 설정은 서로 독립이라고 못 박았다. GPTBot은 생성형 AI 기반 모델 학습에 쓰일 수 있는 글을 모으는 봇이고, GPTBot을 막는 것은 «이 사이트 글을 학습에 쓰지 말라»는 표시다. OAI-SearchBot은 ChatGPT 검색 기능에 사이트를 띄우는 봇이라, 이것을 막으면 ChatGPT 검색 답변에는 나오지 않고 이동용 링크로만 나올 수 있다.

Anthropic도 같은 틀이다. 학습 데이터를 모으는 ClaudeBot, 검색 품질을 높이려고 페이지를 살피는 Claude-SearchBot, 사용자가 Claude에게 질문할 때 페이지를 여는 Claude-User 세 이름을 쓰고, 세 봇 모두 robots.txt 지시를 따른다고 적었다. Claude-User를 막으면 사용자 질문에 맞춰 이 사이트 글을 가져오지 못하므로, 사용자 주도 검색에서 보이는 정도가 줄 수 있다는 설명이 붙어 있다. Claude가 웹 검색으로 출처를 붙이는 모습은 클로드 웹 검색과 리서치 편에 따로 정리했다.

다른 회사도 이름만 다를 뿐 갈래는 비슷하다. Amazon은 AI 모델 학습에 쓰일 수 있는 Amazonbot과, 학습에 쓰지 않는 검색용 Amzn-SearchBot을 나눴다. Perplexity의 PerplexityBot은 검색 결과에 사이트를 띄우는 봇이고 기반 모델 학습용이 아니라고 적혀 있다. Common Crawl의 CCBot은 누구나 내려받는 공개 웹 수집 데이터를 만드는 봇이라, 학습 데이터의 출발점으로 자주 거론된다.

사용자 요청 봇은 robots.txt 밖에 있을 수 있다

세 번째 갈래는 따로 봐야 한다. 사람이 챗봇에게 «이 페이지 읽어 줘»라고 하면 그 순간 페이지를 여는 봇이다. OpenAI는 ChatGPT-User가 자동으로 웹을 훑지 않으며, 사용자가 시작한 동작이라 robots.txt 규칙이 적용되지 않을 수 있다고 적었다. Perplexity-User는 «사용자가 요청한 가져오기라 대체로 robots.txt를 무시한다»고 더 분명하게 적었고, Amazon의 Amzn-User도 robots.txt 지시를 다 따르지 않을 수 있다고 했다. 사람 대신 페이지를 여는 에이전트를 어디까지 믿을지는 브라우저 에이전트가 멈춰야 할 곳 편과 이어지는 이야기다.

그래서 «robots.txt로 AI를 다 막는다»는 말은 정확하지 않다. robots.txt는 스스로 지키겠다고 밝힌 자동 수집 봇과의 약속이고, 사용자 요청 봇은 회사마다 지키는 정도가 다르다. 아래 그림은 2026년 10월 21일 각 회사 공식 문서에 적힌 이름을 세 갈래로 다시 묶은 것이다.

Google-Extended · Applebot-Extended는 크롤러가 아니다

구글과 애플은 다른 방식을 쓴다. 학습용 봇을 따로 보내지 않고, 이미 검색용으로 긁은 글을 학습에 써도 되는지를 robots.txt의 이름 하나로 묻는다. 구글 문서는 Google-Extended에 별도 HTTP 사용자 에이전트가 없고, 크롤은 기존 구글 사용자 에이전트로 하며, robots.txt의 이 이름은 «통제용»으로만 쓴다고 적었다. 그래서 서버 접속 기록을 아무리 뒤져도 Google-Extended라는 방문자는 나오지 않는다.

Google-Extended가 다루는 범위도 문장 그대로 읽어야 한다. 구글은 이 이름으로 Gemini 모델 학습에 쓸지와 함께, Gemini 앱과 Vertex AI에서 답을 만들 때 구글 검색 색인의 글을 근거로 붙이는 그라운딩에 쓸지를 함께 정한다고 적었다. 그리고 Google-Extended는 구글 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰지 않는다고 밝혔다. 애플의 Applebot-Extended도 비슷하다. 이 이름은 웹페이지를 크롤하지 않고, Applebot이 모은 글을 애플 기반 모델 학습에 쓸지만 정하며, 막아도 검색 결과에는 그대로 나온다.

구글 검색의 AI 개요는 Googlebot 규칙으로 다룬다

여기서 많이 헷갈리는 것이 구글 검색 안의 AI 기능이다. 구글은 AI가 검색에 들어가 있는 기능이라 Googlebot용 robots.txt 지시가 검색 크롤을 다루는 통제 수단이라고 적었다. 검색의 AI 기능에 내 글이 보이는 정도를 줄이려면 nosnippet · data-nosnippet · max-snippet · noindex 같은 표시 제한을 쓰라고 안내하고, Google-Extended는 «다른 시스템»의 학습과 그라운딩을 다루는 이름으로 따로 가리킨다. 정리하면 Google-Extended를 막아도 AI 개요에서 빠지지 않고, AI 개요에서 빼려고 표시 제한을 걸면 일반 검색 결과의 설명 글도 함께 줄어든다.

이 사이트도 처음 판에서는 Google-Extended를 학습 봇 묶음에 넣었다. 그 뒤 구글 문서에서 «그라운딩»이라는 낱말을 다시 읽고, Gemini 앱이 답변 근거로 이 사이트 글을 붙이는 길까지 함께 닫힌다는 것을 확인해 몇 분 만에 그 두 줄만 뺐다. 애플 쪽은 반대로 Applebot이라는 이름이 robots.txt에 없으면 Googlebot 규칙을 따른다는 점이 눈에 띈다. 아래 그림은 두 회사의 «한 번 긁고 쓰임새는 이름으로 가르는» 구조를 그린 것이다.

인용 — RFC 9309 로봇 배제 표준

«These rules are not a form of access authorization.» — 이 규칙은 접근을 허가하는 수단이 아니다.

robots.txt 표준 문서는 첫머리에서 이렇게 선을 긋는다. 지키겠다고 약속한 봇에게 하는 부탁일 뿐, 정말 막아야 할 페이지는 로그인이나 인증으로 막아야 한다.

robots.txt 묶음 규칙 — 봇마다 한 묶음만 따른다

AI 봇 이름을 알았으면, 다음은 그 이름을 적은 줄이 어떻게 읽히는지다. 표준 문서(RFC 9309)는 robots.txt를 «묶음»의 모음으로 정의한다. 묶음은 user-agent 줄 하나 이상과 그 아래 허용 · 금지 규칙으로 이뤄지고, 다음 user-agent 줄이 나오면 끝난다. 봇은 대소문자를 가리지 않고 자기 이름과 맞는 묶음을 찾아 그 묶음의 규칙만 따르며, 같은 이름의 묶음이 여러 개면 하나로 합친다. 이름이 맞는 묶음이 없을 때만 «*» 묶음을 따른다.

구글 문서는 같은 내용을 더 직접적으로 적었다. 한 크롤러에게 유효한 묶음은 하나뿐이고, 가장 구체적으로 이름이 맞는 묶음을 고르며, 나머지 묶음은 무시한다. 특히 «특정 이름 묶음과 «*» 묶음은 합치지 않는다»는 문장이 핵심이다. 묶음이 파일 안 어디에 있든 순서는 상관없다. 한 묶음 안에서 경로가 겹치면 더 긴 규칙이 이기고, 길이가 같으면 허용 쪽을 쓴다.

검색 봇에 묶음을 따로 만들면 생기는 일

이 규칙에서 실제로 걸리기 쉬운 함정이 있다. «학습 봇은 막고 검색 봇은 확실히 열어 두자»는 마음에 검색 봇 이름으로 Allow: / 묶음을 따로 만들면, 그 봇은 더 이상 «*» 묶음을 읽지 않는다. «*» 묶음에 적어 둔 관리 폴더 · 백업 폴더 금지가 그 봇에게만 통째로 풀리는 것이다.

2026년 10월 21일 서버의 Python 3.14.8 표준 판정기(urllib.robotparser의 can_fetch)로 세 판을 직접 돌려 확인했다. A판은 «*»에서 /private/만 막고 GPTBot 묶음으로 전체를 막은 판이다. GPTBot은 글과 /private/ 모두 막히고, OAI-SearchBot은 글은 허용 · /private/는 막힘으로 나왔다. B판은 같은 «*» 묶음에 OAI-SearchBot 묶음을 따로 만들고 Allow: / 한 줄만 둔 판이다. 이때 OAI-SearchBot의 /private/ 판정이 «허용»으로 바뀌었다. C판처럼 따로 만든 묶음 안에 막을 경로를 다시 적어 주어야 원래대로 막혔다. 이 사이트가 첫 판을 만들 때 검색 · 답변 봇 묶음을 따로 만들지 않고 «*»를 따르게 둔 이유가 이것이다.

목적별 robots.txt 세 가지 판

이름과 묶음 규칙을 알면 남는 것은 «무엇을 원하나»를 고르는 일이다. 이 사이트가 하루 동안 거친 세 판을 목적별로 정리하면 다음과 같다. 아래 예시의 «*» 묶음은 각자 사이트에 원래 있던 규칙을 그대로 두는 자리다.

첫째, 모두 허용하는 판이다. AI 답변에 인용되고 학습에도 쓰여 이름이 알려지는 쪽을 고르는 경우로, 이 사이트의 현재 판이 이것이다. AI 봇 묶음을 따로 두지 않으면 모든 봇이 «*» 규칙을 따른다.

User-agent: *
Disallow: /admin/
Disallow: /backup/

Sitemap: https://example.com/sitemap.xml

둘째, 학습만 막고 검색 · 답변은 여는 판이다. 학습용 이름만 묶어 전체를 막고, 검색 · 답변 봇은 «*»를 따르게 둔다. Google-Extended를 넣을지는 따로 정한다. 넣으면 Gemini 학습과 함께 Gemini 앱 그라운딩도 닫힌다. Meta의 크롤러 문서는 2026년 10월 21일 서버에서 열리지 않아 이 목록에는 넣지 않았다.

User-agent: *
Disallow: /admin/
Disallow: /backup/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: CCBot
User-agent: Amazonbot
User-agent: Applebot-Extended
Disallow: /

셋째, AI 답변 노출까지 막는 판이다. 둘째 판에 OAI-SearchBot · Claude-SearchBot · PerplexityBot · Claude-User를 더한다. 이 경우 ChatGPT 검색 답변에 이 사이트가 나오지 않게 되고, Claude의 사용자 주도 검색에서 보이는 정도도 줄 수 있다. 그래도 ChatGPT-User · Perplexity-User처럼 사용자 요청 봇은 이 줄을 따르지 않을 수 있다는 점은 남는다. AI 검색끼리의 차이는 Perplexity와 ChatGPT 검색 비교 편에 있다.

고친 뒤 확인하는 순서

어느 판을 고르든 올리기 전과 뒤에 같은 확인을 거치는 것이 안전하다. 이 사이트가 세 번 고칠 때 쓴 순서는 다음과 같다.

1. 올리기 전에 판정기로 «봇 × 주소» 표를 만든다. 홈 · 글 · 막아야 할 폴더 주소를 봇 이름마다 can_fetch로 돌려, 옛 판과 새 판의 결과를 나란히 놓는다.
2. 올린 뒤 실제 사이트의 /robots.txt를 다시 받아 같은 표를 한 번 더 만든다. 올린 파일과 받은 파일이 바이트까지 같은지도 본다.
3. 반영을 기다린다. 구글은 robots.txt를 보통 24시간까지 캐시하고, OpenAI는 검색 쪽 반영에 약 24시간, Perplexity는 최대 24시간, Amazon은 약 24시간이 걸린다고 적었다.
4. 응답 코드를 확인한다. 구글은 robots.txt가 4xx(429 제외)면 제한이 없는 것으로 보고, 5xx면 처음 12시간 동안 크롤을 멈춘다.

자주 묻는 것

GPTBot을 막으면 ChatGPT 검색에서도 빠지나요?

아니다. OpenAI는 GPTBot과 OAI-SearchBot 설정이 서로 독립이라고 적었다. GPTBot을 막아도 OAI-SearchBot을 열어 두면 ChatGPT 검색 답변에 나올 수 있고, 반대로 OAI-SearchBot을 막으면 학습과 상관없이 검색 답변에서 빠진다.

Google-Extended를 막으면 구글 검색 순위가 떨어지나요?

구글 문서는 Google-Extended가 구글 검색 포함 여부에 영향을 주지 않고 순위 신호로도 쓰지 않는다고 적었다. 다만 Gemini 학습뿐 아니라 Gemini 앱 · Vertex AI의 그라운딩에도 함께 적용된다는 점은 알고 막는 것이 좋다.

robots.txt로 막으면 AI가 내 글을 전혀 못 보나요?

그렇지 않다. 표준 문서는 robots.txt 규칙이 접근 허가 수단이 아니라고 적었고, 사용자 요청 봇은 robots.txt를 따르지 않을 수 있다. CCBot처럼 이름을 사칭하는 크롤러도 있어서, Common Crawl은 역방향 DNS로 진짜인지 확인하라고 안내한다.

llms.txt를 두면 robots.txt는 필요 없나요?

둘은 하는 일이 다르다. llms.txt는 에이전트가 사이트를 쓰도록 돕는 안내와 링크를 마크다운 파일로 두자는 제안이고, 허용 · 금지 규칙을 정하는 파일이 아니다. 이 사이트는 robots.txt로 규칙을 정하고, llms.txt에는 대표 글 목록과 소개를 따로 둔다.

Crawl-delay를 넣으면 AI 봇이 천천히 오나요?

봇마다 다르다. Anthropic은 비표준 Crawl-delay를 지원한다고 적었지만, 구글은 crawl-delay를 지원하지 않고, Applebot과 Amazon의 봇도 따르지 않는다고 적었다.

정리 — 이 사이트가 고른 판

AI 봇을 robots.txt로 다룰 때 기억할 것은 세 가지다. 봇은 학습 · 검색 답변 · 사용자 요청 세 갈래로 나뉘고 이름이 다르다. Google-Extended와 Applebot-Extended는 방문자가 아니라 쓰임새를 정하는 이름이라, 막아도 검색 포함과 순위는 그대로다. 그리고 봇은 자기 이름에 맞는 묶음 하나만 읽기 때문에, 검색 봇을 위해 따로 만든 묶음은 «*»에 적어 둔 금지를 그 봇에게만 풀어 버린다.

이 사이트는 하루에 세 판을 거친 끝에, AI 답변과 학습에 글이 쓰여 이름이 알려지는 쪽을 골라 모두 허용으로 정했다. 대신 남에게 보이면 안 되는 자료는 애초에 사이트에 올리지 않는 쪽으로 선을 그었다. 학습만 막고 싶다면 둘째 판, AI 검색 답변까지 빼고 싶다면 셋째 판을 쓰되, 어느 쪽이든 올리기 전과 뒤에 같은 판정표로 한 번씩 확인하면 묶음 규칙의 함정은 피할 수 있다.

참고 자료

1. IETF. RFC 9309 Robots Exclusion Protocol — 묶음 = user-agent 줄과 규칙, 이름이 맞는 묶음을 따르고 같은 이름 묶음은 합침, 맞는 묶음이 없을 때만 «*», 가장 긴 규칙이 이기고 같으면 allow, «접근 허가 수단이 아니다», 4xx면 아무 곳이나 접근 가능 · 5xx면 전부 막힘으로 봄, 캐시는 24시간 넘게 쓰지 않기 권고, 파싱 한도 최소 500 KiB(2026-10-21 확인). rfc-editor.org
2. OpenAI. Overview of OpenAI Crawlers — OAI-SearchBot과 GPTBot 설정은 서로 독립, GPTBot = 생성형 AI 기반 모델 학습용, OAI-SearchBot을 막으면 ChatGPT 검색 답변에 안 나옴(이동 링크로는 나올 수 있음), ChatGPT-User는 사용자가 시작한 동작이라 robots.txt가 적용되지 않을 수 있음, 검색 반영 약 24시간, OAI-AdsBot은 광고로 제출된 페이지만(2026-10-21 확인). developers.openai.com
3. Anthropic Help Center. Does Anthropic crawl data from the web, and how can site owners block the crawler? — ClaudeBot = 학습 데이터 수집, Claude-User = 사용자 질문 때 접근, Claude-SearchBot = 검색 품질, robots.txt 지시를 따름, 비표준 Crawl-delay 지원, 서브도메인마다 robots.txt, IP 차단은 robots.txt를 못 읽게 해 거부 보장이 안 될 수 있음(문서 2026-04-07 · 2026-10-21 확인). support.claude.com
4. Google. Google's common crawlers — Google-Extended — 별도 HTTP 사용자 에이전트 없음(기존 구글 에이전트로 크롤 · 토큰은 통제용), Gemini 모델 학습과 Gemini 앱 · Vertex AI 그라운딩 사용 여부, 구글 검색 포함과 순위 신호에 영향 없음(2026-10-21 확인). developers.google.com
5. Google. How Google interprets the robots.txt specification — 크롤러마다 유효한 묶음은 하나, 가장 구체적인 사용자 에이전트 묶음, 특정 묶음과 «*» 묶음은 합치지 않음, 묶음 순서 무관, 4xx(429 제외)는 제한 없음으로, 5xx는 처음 12시간 크롤 멈춤, 캐시 보통 24시간, 크기 한도 500 KiB, crawl-delay 미지원(2026-10-21 확인). developers.google.com
6. Google Search Central. AI features and your website — 검색의 AI 기능은 Googlebot용 robots.txt가 통제, 표시 제한은 nosnippet · data-nosnippet · max-snippet · noindex, 다른 시스템의 학습 · 그라운딩은 Google-Extended(2026-10-21 확인). developers.google.com
7. Apple Support. About Applebot — Applebot = Spotlight · Siri · Safari 검색, Applebot-Extended를 막으면 기반 모델 학습에서 빠짐, Applebot-Extended는 크롤하지 않고 검색 결과 포함 · 순위와 무관, Applebot 언급이 없으면 Googlebot 규칙을 따름, crawl-delay 안 따름(2026-10-21 확인). support.apple.com
8. Common Crawl. CCBot — 사용자 에이전트 CCBot/2.0, 막는 robots.txt 예, CCBot을 사칭하는 크롤러가 있다는 경고, 역방향 DNS로 진짜 확인(2026-10-21 확인). commoncrawl.org
9. Amazon. About Amazonbot — Amazonbot은 Amazon AI 모델 학습에 쓰일 수 있음, Amzn-SearchBot은 학습용 아님 · 언급이 없으면 다른 검색 봇 규칙을 따름, Amzn-User는 robots.txt를 다 따르지 않을 수 있음, 반영 약 24시간, 마지막 30일 안 캐시, crawl-delay 미지원, noarchive = 학습에 쓰지 말라는 뜻(2026-10-21 확인). developer.amazon.com
10. Perplexity. Perplexity Crawlers — PerplexityBot = 검색 결과 노출용 · 기반 모델 학습용 아님, Perplexity-User는 사용자 요청이라 대체로 robots.txt를 무시, 반영 최대 24시간(2026-10-21 확인). docs.perplexity.ai
11. Python. urllib.robotparser — Parser for robots.txt — RobotFileParser · can_fetch로 사용자 에이전트별 허용 여부 판정, RFC 9309 참조(2026-10-21 확인). docs.python.org
12. llms.txt. The /llms.txt file — 에이전트가 사이트를 쓰도록 돕는 정보를 /llms.txt 마크다운 파일로 두자는 제안(2026-10-21 확인). llmstxt.org