Min robots.txt tillåter alla — kan jag ändå bli underkänd här?

Ja, och det är det vanliga fallet. robots.txt läses av crawlern; utmaningen skickas av CDN:et innan crawlern ser något alls. De två är oberoende av varandra.

Hur vet jag att anropet verkligen kom från OpenAI?

Jämför käll-IP:t med de publicerade intervallen (openai.com/gptbot.json, searchbot.json, chatgpt-user.json). Verktyget för botverifiering gör det och lägger till omvänd DNS med framåtbekräftelse.

Släpper jag in skrapare om jag tillåter verifierade botar?

Nej. Tillåtlistan gäller crawlers som verifieras mot IP-intervall. En skrapare som fejkar user-agenten faller på IP-kontrollen och hanteras som tidigare.

Ger ditt CDN eller botfilter AI-crawlers en utmaning?

kontroll 0.2Åtkomst för crawlersen människa gör den

Vad kontrollen tittar på

Kontrollen hämtar din startsida med varje AI-crawlers riktiga user-agent och tittar på vad som kommer tillbaka. En 403, en 503, en Cloudflare-sida av typen "just a moment" eller en header om managed challenge betyder att crawlern får en vägg i stället för webbplatsen.

Varför det spelar roll

robots.txt kan säga "välkommen" samtidigt som bothanteringen framför webbplatsen säger "bevisa att du är människa". AI-crawlers kan inte lösa en utmaning. För dem är webbplatsen en felsida, och hämtningen går vidare till en konkurrent som svarar. Från en vanlig webbläsare syns ingenting av detta, och därför går det obemärkt i månader.

Så ser du det på din egen webbplats

Hämta din startsida med curl -A "<botens user-agent>" och jämför status och innehåll med ett vanligt anrop. Verktyget för crawler-åtkomst kör detta för åtta AI-user-agents och känner igen utmaningssidor på deras markörer.

AI Crawler Access Check → — gratis, ingen registrering.

Så åtgärdar du det

Lägg till AI-crawlerna i tillåtlistan i ditt CDN:s bothantering — de flesta leverantörer (Cloudflare, Akamai, Fastly, AWS WAF) har en kategori för verifierade botar som redan innehåller OpenAI:s, Googles och Perplexitys crawlers; kontrollera att den är på.
Verifiera på IP, inte bara på user-agent: OpenAI, Google och Perplexity publicerar sina IP-intervall och Anthropic dokumenterar sitt — verktyget för botverifiering jämför en adress mot dem.
Skicka aldrig en JavaScript-utmaning till en verifierad crawler: den kan inte köra den.

Det här gör agenten: botfiltret sitter framför webbplatsen, utanför allt som något på själva webbplatsen kan ändra; agenten pekar ut regeln och leverantören, och du slår om den i CDN:et.

Relaterade kontroller

Del av de 23 kontrollerna · grupp: Åtkomst för crawlers — robots.txt, CDN/bot-filter, inloggningsväggar, noindex, HTTP-status, sitemap, canonical.