Följer alla AI-crawlers robots.txt?

De från OpenAI, Anthropic, Google och Perplexity dokumenterar att deras crawlers respekterar den. Hämtare som startas av en användare, som ChatGPT-User och Claude-User, hämtar en sida någon har bett om och styrs av egna regler. Botar som struntar i robots.txt är ett annat problem, som hanteras i CDN:et.

Kan jag tillåta hämtning men blockera träning?

Ja. Tillåt OAI-SearchBot, ChatGPT-User, Claude-User och PerplexityBot; blockera GPTBot, ClaudeBot, Google-Extended och CCBot. Kontrollen bedömer varje grupp för sig och visar vilken sida varje crawler hamnar på.

Varför säger kontrollen "avvisad" när det inte finns någon AI-regel?

En User-agent: * -grupp gäller alla crawlers som inte namnges någon annanstans. En Disallow där täcker även AI-crawlerna.

Släpper din robots.txt in AI-crawlers?

kontroll 0.1Åtkomst för crawlersagenten switchar den

Vad kontrollen tittar på

Kontrollen läser din robots.txt och bedömer den separat för varje AI-user-agent, precis som crawlerna själva gör. Den täcker GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, Claude-User, PerplexityBot och Google-Extended: den mest specifika agentgruppen vinner, den längsta matchande regeln vinner och vid lika väger Allow tyngst.

Varför det spelar roll

En crawler som respekterar robots.txt stannar vid en Disallow. En sida den inte får hämta kan inte läsas, citeras eller rekommenderas — regeln är den första dörren, och alla andra kontroller ligger bakom den. Många webbplatser lade in en total blockering 2023 för att hålla tränings-crawlers ute och märkte aldrig att den också stänger ute hämtnings-crawlerna, de som hämtar en sida för att svara på en fråga i stunden.

Så ser du det på din egen webbplats

Öppna /robots.txt på din domän och leta efter en grupp som namnger en AI-user-agent, eller en User-agent: *-grupp med en Disallow som täcker dina sidor. Verktyget för crawler-åtkomst gör detta per bot och hämtar dessutom din startsida med varje bots riktiga user-agent-sträng.

AI Crawler Access Check → — gratis, ingen registrering.

Så åtgärdar du det

Bestäm per crawler, inte med en enda rad: tränings-crawlers (GPTBot, ClaudeBot, Google-Extended, CCBot) och hämtnings-crawlers (OAI-SearchBot, ChatGPT-User, Claude-User, PerplexityBot) är olika botar med olika user-agents.
Lägg till en grupp för varje crawler du vill släppa in — User-agent: OAI-SearchBot följt av Allow: / — eller ta bort den Disallow som fångar den.
Håll filen i roten av värdnamnet, levererad som text/plain med HTTP 200; en redirect eller en 404 läses som "inga regler".

Det här gör agenten: agenten lägger till AI-crawler-grupperna i robots.txt inifrån webbplatsen — ett klick, det går att ångra, och inget annat i filen rörs.

Relaterade kontroller

Del av de 23 kontrollerna · grupp: Åtkomst för crawlers — robots.txt, CDN/bot-filter, inloggningsväggar, noindex, HTTP-status, sitemap, canonical.