Svarar dina viktigaste sidor med HTTP 200?

kontroll 0.7Åtkomst för crawlersen människa gör den

Vad kontrollen tittar på

Kontrollen hämtar varje prioriterad sida och registrerar den slutliga statusen efter omdirigeringar. 200 är en sida, 404 är en sida som saknas, 429 är rate limiting och 5xx är ett serverfel. Allt utom 200 är en sida som crawlern inte fick.

Varför det spelar roll

En crawler som möter rate limiting eller ett felsvar försöker inte igen med tålamod. Den noterar misslyckandet och går vidare; sidan finns inte i indexet förrän nästa besök, om det kommer något. Rate limiting (429) är den vanliga varianten på sajter som skyddar sig mot skrapning.

Så ser du det på din egen webbplats

Hämta varje sida med curl -I och läs statusraden. Testa sidorna i din sitemap, inte bara startsidan.

Så åtgärdar du det

Åtgärda 404 genom att återställa sidan eller omdirigera den (301) till det som ersatt den.
Vid 429: höj gränsen eller gör undantag för verifierade crawlers — de hämtar i skurar.
Vid 5xx: läs serverloggen; en sida som felar för en crawler felar oftast för någon annan också.

Det här gör agenten: agenten listar sidorna som felar och deras status; orsaken sitter i din server eller hos ditt webbhotell.

Relaterade kontroller

Del av de 23 kontrollerna · grupp: Åtkomst för crawlers — robots.txt, CDN/bot-filter, inloggningsväggar, noindex, HTTP-status, sitemap, canonical.

Vanliga frågor

Räknas en omdirigering som ett fel?

Nej — kontrollen följer omdirigeringar och bedömer det slutliga svaret. En kedja av flera omdirigeringar är långsam men inte felaktig.

Varför "prioriterade sidor"?

Kontrollen läser startsidan och de få sidor den hämtar vid varje körning. Agenten, när den är på plats på sajten, ser statusen för varje förfrågan.