콘텐츠·기술
AI 크롤러
영문AI Crawler비슷한 말AI 봇
AI 크롤러는 AI 서비스가 답변 작성이나 모델 학습에 쓰려고 웹페이지를 수집하는 프로그램입니다.
- 용도검색 답변용과 모델 학습용이 따로 있음
- 설정robots.txt 에서 크롤러 이름별로 허용·차단
- llms.txtAI에게 사이트를 안내하려는 제안 형식 — 필수 아님
주요 AI 크롤러
AI 크롤러는 회사마다, 용도마다 이름이 다릅니다. 같은 회사라도 검색 답변용과 학습용이 따로 있습니다.
| 이름 | 회사 | 하는 일 |
|---|---|---|
| OAI-SearchBot | OpenAI | ChatGPT 검색 답변에 사이트를 표시하는 데 사용 |
| GPTBot | OpenAI | AI 모델 학습에 쓸 수 있는 콘텐츠 수집 |
| ChatGPT-User | OpenAI | 사용자가 ChatGPT에서 요청할 때 페이지 방문(자동 수집 아님) |
| Google-Extended | 별도 크롤러가 아닌 표기 — 구글이 수집한 콘텐츠를 제미나이 학습·그라운딩에 쓸지 정함 |
robots.txt로 AI 크롤러를 허용·차단하는 방법
AI 크롤러의 수집 허용 여부는 사이트의 robots.txt 파일에서 크롤러 이름별로 정합니다. OpenAI는 각 크롤러의 설정이 서로 독립적이라고 설명합니다. 예를 들어 검색 답변용은 허용하고 학습용은 막을 수 있습니다.
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /OpenAI 문서에 따르면 GPTBot을 막아도 ChatGPT 검색 결과 노출에는 영향이 없고, 검색 노출은 OAI-SearchBot 설정을 따릅니다. 구글 문서에 따르면 Google-Extended를 막아도 구글 검색 노출과 순위에는 영향이 없습니다. 구글 문서는 이 설정이 AI 개요에 주는 영향은 따로 설명하지 않습니다.
AI 크롤러와 GEO의 관계
AI 검색 답변에 사이트가 출처로 나오려면 검색 답변용 크롤러를 막지 않는 것이 출발점입니다. 모델 학습용 크롤러를 허용할지는 별도로 정할 수 있습니다. 사이트 운영 방침과 콘텐츠 권리를 함께 고려해 정합니다.
llms.txt
llms.txt는 웹사이트의 주요 내용과 안내를 AI에게 전달하려는 목적으로 제안된 텍스트 파일 형식입니다. 2024년 9월 3일 제러미 하워드(Jeremy Howard)가 제안했으며, 사이트 루트(/llms.txt)에 두는 방식을 기본으로 합니다.
구글은 AI 개요와 AI 모드에 나오기 위해 AI용 텍스트 파일이 필요 없다고 밝히고 있습니다. 다른 AI 검색 서비스가 llms.txt를 실제로 쓰는지는 브레인드가 확인하지 못했습니다. 만들어도 손해는 없지만, robots.txt 설정과 콘텐츠보다 먼저 할 일은 아닙니다.