Slovník
GPTBot a AI crawlery
Roboty, kterými AI služby stahují obsah pro různé účely. Vyhledávací a tréninkové crawlery je třeba rozlišovat a nastavit podle cíle.
AI crawlery jsou roboty, kterými společnosti procházejí web pro různé účely, například vyhledávání nebo možné zlepšování modelů. Funkčně se podobají Googlebotu, ale každý user-agent má vlastní roli a pravidla. Proto je nelze posuzovat jako jednu skupinu.
Kdo je kdo
- OAI-SearchBot - crawler OpenAI pro vyhledávání a citace v ChatGPT.
- GPTBot - crawler OpenAI pro sběr obsahu k možnému zlepšování modelů.
- ClaudeBot - crawler Anthropic (Claude).
- PerplexityBot - crawler vyhledávače Perplexity.
- Google-Extended - přepínač, kterým Google odděluje použití obsahu pro Gemini a AI funkce od běžného indexování v Search.
Proč to marketér řeší
Každého user-agenta můžete povolit nebo zablokovat v souboru robots.txt. Rozhodujte podle účelu. Vyhledávání v ChatGPT a možné použití obsahu ke zlepšování modelů jsou dvě odlišná nastavení.
Časté nedopatření: některé weby zdědily blokování AI botů z univerzální šablony nebo bezpečnostního pluginu a ani o tom nevědí. Vyplatí se otevřít si vlastní robots.txt a podívat se, co tam reálně je.
Časté otázky
Mám blokovat GPTBot a ostatní AI crawlery?
Záleží na konkrétním user-agentu. OAI-SearchBot souvisí s vyhledáváním v ChatGPT, zatímco GPTBot s možným zlepšováním modelů. Nastavte je odděleně podle cíle.
Liší se AI crawler od Googlebota?
Ano. Jsou to samostatné roboty od OpenAI, Anthropic, Perplexity a dalších. To, že vás vidí Googlebot, neznamená, že vás vidí i ony - každý se řídí vlastními pravidly v robots.txt.
Pojem už znáte. Pracuje pro vás?
V auditu výkonu zjistíte, jestli vás Google a AI odpovědi citují nebo ignorují - a kde se napříč SEO, PPC a měřením ztrácí výkon. Až 10 doporučení podle dopadu a roadmapa na 30 dní.