Slovník
robots.txt
Textový soubor v kořeni webu, který robotům říká, kam smí a kam ne. Pokyny jsou určené i AI crawlerům, které tento soubor respektují.
robots.txt je obyčejný textový soubor umístěný v kořeni domény (například svaton.cz/robots.txt), který robotům dává pokyny, které části webu smí procházet a které ne. Soubor však technicky nezabrání přístupu robotovi, který jeho pravidla nerespektuje.
Jak funguje
Pracuje s pravidly User-agent (pro kterého robota platí), Disallow (kam nesmí) a Allow (výjimka). Klasicky se jím řešilo, aby roboty nemrhaly kapacitou na nesmyslné stránky - filtry, košík, interní vyhledávání.
Nová role v éře AI
Tentýž soubor dnes řídí i AI crawlery. Každý user-agent ale může mít jiný účel. U OpenAI například OAI-SearchBot souvisí s vyhledáváním, zatímco GPTBot s možným zlepšováním modelů. Pravidla proto nastavujte po jednotlivých crawlerech, ne jedním zákazem pro všechny.
Co zkontrolovat: při nálezu blokování v robots.txt nejprve zjistěte, kterých URL se pravidlo týká. Blokování filtrů či interního vyhledávání může být záměrné; důležité obsahové stránky je třeba posoudit samostatně.
Dokumentace k definici a ověření.
Když chcete stránku odstranit z výsledků
Zákaz procházení a vyřazení z indexu jsou odlišné požadavky. Pokud používáte noindex, Google musí mít možnost stránku načíst, aby pokyn viděl. U soukromého dokumentu řešte řízení přístupu, například přihlášení; robots.txt není ochrana důvěrných údajů. Před zásahem si proto přesně určete, který z těchto problémů řešíte.
Časté otázky
Zabrání robots.txt indexaci nebo přístupu k soukromým datům?
Ne spolehlivě. Řídí procházení roboty, kteří ho respektují. Google musí stránku načíst, aby viděl noindex. Důvěrné údaje chraňte řízením přístupu, nikoli pouze robots.txt.