Slovník
Cloudflare
Služba pro doručování a ochranu webů. Její pravidla mohou ovlivnit, které požadavky robotů se dostanou k obsahu.
Cloudflare poskytuje služby pro doručování a ochranu webů včetně řízení přístupu robotů. Při kontrole SEO je důležité rozlišit dostupnost stránky pro člověka a pro konkrétního vyhledávacího robota. Cloudflare: správa robotů
Co znamenají AI bot policies
Cloudflare rozlišuje kategorie Search, Agent a Training podle účelu automatizovaného přístupu. Politiky umožňují nastavit přístup pro vyhledávání, úlohy prováděné jménem člověka a trénink modelů. U robota s více účely je potřeba prověřit všechny příslušné kategorie. Nastavení AI bot policies
Proč nestačí zkontrolovat robots.txt
robots.txt dává robotům pokyny. Bezpečnostní pravidlo může požadavek přímo odmítnout. Při podezření na blokování proto doporučuji spojit konkrétní URL, ověřenou identitu robota a záznam pravidla, které zasáhlo.
Co předat správci při blokování
Místo zprávy "Google nevidí web" pošlete konkrétní URL, čas požadavku, odpověď serveru a záznam bezpečnostního pravidla, pokud je dostupný. Správce tak může rozlišit pravidlo firewallu od chyby aplikace. Po opravě zopakujte stejnou kontrolu. Nevypínejte ochranu celé domény kvůli jednomu neověřenému požadavku.