Slovník
GPTBot a AI crawlery
Roboty, kterými AI služby stahují obsah pro různé účely. Vyhledávací a tréninkové crawlery je třeba rozlišovat a nastavit podle cíle.
AI crawlery jsou roboty, kterými společnosti procházejí web pro různé účely, například vyhledávání nebo možné zlepšování modelů. Funkčně se podobají Googlebotu, ale každý user-agent má vlastní roli a pravidla. Proto je nelze posuzovat jako jednu skupinu.
Kdo je kdo
- OAI-SearchBot - crawler OpenAI pro vyhledávání a citace v ChatGPT.
- GPTBot - crawler OpenAI pro sběr obsahu k možnému zlepšování modelů.
- ClaudeBot - crawler Anthropic pro sběr obsahu, který může být použit k trénování modelů.
- Claude-SearchBot - crawler Anthropic pro vyhledávání ve službě Claude.
- PerplexityBot - crawler vyhledávače Perplexity.
- Google-Extended - přepínač, kterým Google odděluje použití obsahu pro vybrané funkce Gemini od použití pro Google Search; AI Overviews a AI Mode ve Vyhledávání řídí Googlebot.
Proč to marketér řeší
Každého user-agenta můžete povolit nebo zablokovat v souboru robots.txt. Rozhodujte podle účelu. Vyhledávání v ChatGPT a možné použití obsahu ke zlepšování modelů jsou dvě odlišná nastavení.
Časté nedopatření: některé weby zdědily blokování AI botů z univerzální šablony nebo bezpečnostního pluginu a ani o tom nevědí. Vyplatí se otevřít si vlastní robots.txt a podívat se, co tam reálně je.
Zdroj: Anthropic, účel crawlerů, 10. 9. 2026.
Časté otázky
Mám blokovat GPTBot a ostatní AI crawlery?
Záleží na konkrétním user-agentu. OAI-SearchBot souvisí s vyhledáváním v ChatGPT, zatímco GPTBot s možným zlepšováním modelů. Nastavte je odděleně podle cíle.
Liší se AI crawler od Googlebota?
Ano. Jsou to samostatné roboty od OpenAI, Anthropic, Perplexity a dalších. To, že vás vidí Googlebot, neznamená, že vás vidí i ony - každý se řídí vlastními pravidly v robots.txt.
Nezávislý audit
Zjistěte, co ve vašem marketingu zlepšit.
Podle potřeb vašeho webu vybereme oblast auditu: SEO, PPC, měření, obsah nebo AI Search. Dostanete až 10 doporučení podle dopadu a plán na 30 dní.