Slovník
GPTBot a AI crawlery
Roboty, kterými si AI nástroje stahují obsah z webu. Jestli je pustíte dovnitř, rozhoduje o tom, zda vás AI nástroje můžou přečíst a citovat.
AI crawlery jsou roboty, kterými společnosti za AI nástroji procházejí web a stahují obsah - ať už na trénink modelů, nebo na živé vyhledávání v odpovědích. Fungují podobně jako Googlebot, ale patří jiným hráčům a řídí se vlastními pravidly. A právě tady je nová dělicí čára: web, který je nepustí dovnitř, pro AI prakticky neexistuje.
Kdo je kdo
- GPTBot - crawler OpenAI (ChatGPT). Stahuje obsah pro trénink i pro vyhledávání.
- OAI-SearchBot - crawler OpenAI specificky pro vyhledávání a citace v ChatGPT.
- ClaudeBot - crawler Anthropic (Claude).
- PerplexityBot - crawler vyhledávače Perplexity.
- Google-Extended - přepínač, kterým Google odděluje použití obsahu pro Gemini a AI funkce od běžného indexování v Search.
Proč to marketér řeší
Každého z těchhle botů umíte pustit nebo zablokovat v souboru robots.txt. Je to legitimní rozhodnutí oběma směry: pokud obsah nechcete dát modelům k dispozici, blokování dává smysl. Pokud ale chcete být v AI odpovědích a boty zároveň blokujete, sami se z nich vymazáváte.
Časté nedopatření: některé weby zdědily blokování AI botů z univerzální šablony nebo bezpečnostního pluginu a ani o tom nevědí. Vyplatí se otevřít si vlastní robots.txt a podívat se, co tam reálně je.
Časté otázky
Mám blokovat GPTBot a ostatní AI crawlery?
Záleží na cíli. Pokud chcete být v AI odpovědích, blokovat je nesmíte. Pokud obsah nechcete dát modelům (např. prémiový nebo citlivý), blokování je legitimní - jen je třeba vědět, že tím mizíte z AI citací.
Liší se AI crawler od Googlebota?
Ano. Jsou to samostatné roboty od OpenAI, Anthropic, Perplexity a dalších. To, že vás vidí Googlebot, neznamená, že vás vidí i ony - každý se řídí vlastními pravidly v robots.txt.
Chcete vědět, jestli vás v tomhle vidět?
Pošlete mi web nebo otázku. Podívám se prakticky na to, kde se ztrácí viditelnost a co řešit jako první.