Cloudflare a Googlebot: jak ověřit přístup po změně AI pravidel

Web se vám otevře. Dostane se na něj i Googlebot?

Po změně pravidel pro roboty bych začal touto otázkou. Funkční web v prohlížeči ještě neukazuje, jakou odpověď dostává vyhledávací robot. Pokud používáte Cloudflare a blokování AI tréninku, vyplatí se prověřit konkrétní nastavení i požadavky robotů, zejména Googlebota.

Cloudflare oznámil na 15. září 2026 změnu posuzování robotů, kteří používají obsah k vyhledávání i tréninku. Datum už uplynulo, ale z oznámení nelze odvodit, že je váš web zablokovaný. To je potřeba zjistit v účtu a v záznamech požadavků. Oznámení Cloudflare

Dvě změny, které se týkají odlišných situací

První změna se týká výchozího nastavení nových domén přidávaných do Cloudflare. Na stránkách zobrazujících reklamu mají být kategorie Training a Agent blokované, zatímco Search zůstává povolený.

Druhá se týká víceúčelových robotů. Pokud robot patří do Search i Training, Cloudflare na něj má podle oznámení od 15. září uplatňovat nejpřísnější příslušné pravidlo. Ve svém oznámení mezi tyto roboty řadí Googlebot, BingBot a Applebot. Blokování Training tak může zasáhnout i jejich přístup pro vyhledávání. Oznámení zahrnuje také původní volbu "Block AI bots". Rozsah a termín změn

Podmínku "na stránkách s reklamou" proto nepřenášejte na každé stávající nastavení. Cloudflare nabízí blokování na všech stránkách, pouze na stránkách s reklamou nebo povolení dané kategorie. Rozhoduje zvolený rozsah. Dokumentace AI bot policies

Google-Extended není blokování Googlebota

Google-Extended je řídicí token v robots.txt. Google jím umožňuje upravit použití obsahu pro trénink budoucích modelů Gemini a pro vybrané funkce, které při odpovědi využívají obsah z vyhledávání. Nemá vlastní HTTP user-agent a podle Googlu neovlivňuje zařazení webu ani hodnocení v Google Search. Dokumentace Google-Extended

Pravidlo v robots.txt a odmítnutí požadavku v Cloudflare jsou odlišné zásahy. Pokud Cloudflare nepustí Googlebot ke stránce, samotná úprava tokenu Google-Extended tuto překážku neodstraní. Stejně tak z názvu kategorie Training v Cloudflare neodvozujte, že Google-Extended začal řídit indexaci.

Co zkontrolovat v účtu a na webu

1. Zapište si nastavení i jeho rozsah

V Cloudflare otevřete Security Settings > Configure AI bot policies. Zaznamenejte volby pro Search, Agent a Training, případně používání starší volby Block AI bots. Uložte také původní stav a čas kontroly, abyste mohli porovnat chování před úpravou a po ní. Cestu k nastavením uvádí Cloudflare v dokumentaci.

Samotný údaj Search = Allow nemusí u víceúčelového robota stačit. Prověřte také pravidlo Training a případné další bezpečnostní pravidlo, které požadavek odmítlo. Nastavení posuzujte společně se správcem webu, který dokáže určit příčinu konkrétního blokování.

2. Najděte konkrétní odmítnutý požadavek

Doporučuji začít důležitou produktovou stránkou, kategorií nebo stránkou služby. V dostupných záznamech Cloudflare a serveru hledejte její URL, čas požadavku, identitu robota, výsledný stav a pravidlo, které zasáhlo. Dostupnost a podrobnost záznamů se mohou lišit podle používaného produktu a tarifu.

Řetězec Googlebot v user-agentu není důkaz původu. Google doporučuje ověření IP adresy vůči zveřejněným rozsahům nebo kontrolu zpětného a následně dopředného DNS překladu. Proto ani vlastní test s ručně nastaveným user-agentem Googlebot nedokazuje, co dostává skutečný robot. Jak ověřit požadavky Googlu

3. Porovnejte živý test s posledním procházením

V Search Console použijte kontrolu konkrétní URL. Podívejte se na informace o posledním procházení a spusťte také živý test. Jde o dvě odlišné informace: uložený stav může pocházet z doby před změnou, živý test prověřuje aktuální přístup nástroje Google-InspectionTool.

Úspěšný živý test je užitečný, ale nenahrazuje záznamy běžného Googlebota a nezaručuje indexování. Při kontrole proto kombinujte výsledek testu se skutečnými požadavky robota. Co ověřuje kontrola URL

4. Opravte potvrzenou příčinu a zopakujte kontrolu

Pokud najdete pravidlo odmítající požadovaného vyhledávacího robota, upravte konkrétní politiku podle cíle webu. Plošné vypnutí ochrany bych nepoužil jako první krok. Se správcem si určete, který přístup chcete zachovat a které použití obsahu chcete omezit.

Po úpravě zaznamenejte čas, zopakujte test URL a sledujte další ověřené požadavky Googlebota. Úspěšná kontrola jedné adresy nevypovídá o všech šablonách webu. Vyzkoušejte proto i další typ stránky, zejména pokud má odlišná pravidla nebo zobrazuje reklamu.

Jak vyhodnotit tři běžné výsledky

• Potvrzený Googlebot dostává odmítnutí a vidíte zasahující pravidlo: máte konkrétní technický problém k opravě. Uložte požadavek i původní konfiguraci.
• Živý test prošel, ale chybějí nové záznamy Googlebota: máte potvrzený výsledek testovacího nástroje. Přístup běžného robota zbývá ověřit.
• Googlebot načte obsah, ale URL není indexovaná: pokračujte diagnostikou indexace. Samotná dostupnost stránky nezaručuje zařazení do výsledků.

Google mezi technickými podmínkami uvádí přístup Googlebota, úspěšnou HTTP odpověď a indexovatelný obsah. Ani splnění těchto podmínek není zárukou indexace. Technické požadavky Google Search

Co bych prověřil jako první

Vybral bych jednu obchodně důležitou URL a spojil tři údaje: aktuální nastavení Cloudflare, ověřený požadavek Googlebota a výsledek kontroly v Search Console. Teprve potom bych rozhodl, které pravidlo upravit. Pokles návštěvnosti bez těchto podkladů bych automaticky nepřipsal zářijové změně.

Širší rozhodování o přístupu jednotlivých robotů rozebírám v článku Pustit AI boty na web, nebo ne?. Při této kontrole si nejprve ověřte, zda zamýšlené omezení tréninku nezasáhlo i vyhledávání.