Jak zkontrolovat přístup AI vyhledávačů k webu

U AI vyhledávání oddělte povolení přístupu, skutečné načtení stránky a její použití ve výsledku. Každé z těchto tvrzení potřebuje jiný důkaz. Tento návod kontroluje technický přístup.

Vyberte jednu URL a projděte pravidla

Začněte konkrétní veřejnou stránkou. Zapište adresu a čas kontroly. V robots.txt na stejném hostiteli vyhledejte skupinu daného crawleru a pravidla pro cestu stránky. Rozhodnutí, komu přístup povolit, i modelové nastavení popisuje článek AI crawlery na webu.

Uložte odpověď serveru

Technik může použít tento příkaz. Modelovou adresu https://example.com/clanok/ nahraďte kontrolovanou URL. Hlavičky a HTML se uloží do dvou místních souborů.

curl --silent --show-error --location \
  --user-agent "OAI-SearchBot" \
  --dump-header hlavicky.txt \
  --output stranka.html \
  "https://example.com/clanok/"

Curl odešle požadavek s uvedeným user-agentem a následuje přesměrování. Není to návštěva skutečného OAI-SearchBotu a příkaz sám neuplatňuje robots.txt. Ukazuje odpověď na váš požadavek z vaší IP adresy.

• 200: otevřete i uložené HTML. Má obsahovat očekávaný článek, nikoli přihlášení, bezpečnostní výzvu nebo chybovou zprávu.
• Přesměrování: zkontrolujte cílovou adresu a konečnou odpověď. Nesmí jít o nesouvisející obsah.
• 403 nebo bezpečnostní výzva: vyhledejte stejnou událost v CDN či bezpečnostním nástroji. Porovnejte čas, cestu a blokující pravidlo.
• 5xx: řešte serverovou chybu. Přepis článku ji neodstraní.

Ověřte skutečnou návštěvu v logu

V přístupovém logu nebo logu CDN vyhledejte konkrétní cestu. Zaznamenejte čas, zdrojovou IP adresu, user-agent a výsledný stav. Název bota lze napodobit. U OpenAI porovnejte IP s aktuálními rozsahy uvedenými v dokumentaci crawlerů; u další služby použijte její způsob ověření.

Modelová situace: místní test vrátí 200, ale ověřený požadavek crawleru skončil v CDN logu stavem 403. První úpravou má být kontrola konkrétního blokujícího pravidla, nikoli přepis obsahu. Po zásahu správce ověří novou odpověď. Pokud záznam skutečného crawleru nemáte, návštěva zůstává nepotvrzená.

Indexace a citace jsou další kontroly

Po opravě zopakujte test stejné URL. Bing Webmaster Tools pak použijte ke kontrole indexace Bingu; Google Search Console ukazuje Google. Úspěšná odpověď serveru sama neprokazuje zařazení do indexu ani citaci.

Llms.txt ani strukturovaná data nenahrazují kontrolu blokované URL. Od správce si vyžádejte adresu, čas, výsledek před opravou a po ní a rozlišení simulovaného a ověřeného požadavku. Budete vědět, co se skutečně podařilo opravit.

Časté otázky