Pustit AI boty na web, nebo ne? Rozhodnutí, které je třeba udělat vědomě
Existuje jeden soubor, který dnes rozhoduje o vaší viditelnosti v AI odpovědích dřív, než napíšete jediné slovo obsahu. Je to robots.txt. A většina firem v něm má nastavení, které nikdy vědomě neudělala.
Když se dívám na firmu optikou AI vyhledávání, jedna z prvních věcí, které otevřu, je robots.txt. Ne obsah, ne klíčová slova - obyčejný textový soubor v kořeni webu. Protože právě tam se rozhoduje, jestli vás AI crawlery vůbec smí přečíst. A překvapivě často tam najdu rozhodnutí, které firma nikdy vědomě neudělala.
O jakých botech je řeč
AI nástroje nečtou web přes Googlebota. Mají vlastní roboty a každého z nich umíte v robots.txt pustit nebo zablokovat:
- GPTBot a OAI-SearchBot - OpenAI, tedy ChatGPT.
- ClaudeBot - Anthropic, tedy Claude.
- PerplexityBot - vyhledávač Perplexity.
- Google-Extended - přepínač, kterým Google odděluje použití obsahu pro Gemini od běžného indexování v Search.
Proč to většina firem nemá rozhodnuté
Blokování AI botů se na weby dostává potichu - přes univerzální šablonu robots.txt, bezpečnostní plugin nebo radu "ochraň si obsah před AI", která kolovala internetem. Výsledek: web, který chce být v AI odpovědích, ale zároveň boty blokuje a ani o tom neví. Střílí si do vlastní nohy a netuší to.
Udělejte si test za minutu: otevřete si vasedomena.cz/robots.txt a hledejte řádky Disallow u GPTBot, ClaudeBot nebo PerplexityBot. Pokud tam jsou a chcete být v AI odpovědích, je třeba je odblokovat. Pokud tam nejsou, máte otevřeno - což je ve většině případů to, co chcete.
Kdy má blokování smysl
Není to černobílé. Jsou dobré důvody boty nepustit: prémiový nebo placený obsah, který nechcete dát zadarmo do tréninku modelů, citlivá data, nebo principiální postoj k tomu, jak se s vaším obsahem zachází. To je legitimní rozhodnutí. Důležité je, aby bylo vědomé - abyste věděli, čím za to platíte: mizíte z AI citací.
A když je pustím, co dál
Pustit boty dovnitř je nutná podmínka, ne postačující. Když web vidí, je třeba jim usnadnit práci: psát obsah jako jasnou odpověď, doplnit strukturovaná data, přidat llms.txt a budovat důvěryhodnost přes reálného autora. Ale v tomhle pořadí. Zpřístupnění jde první, protože bez něj je všechno ostatní neviditelné. Je to nudná infrastruktura, kterou většina firem přeskočí - a přesně proto má náskok ten, kdo si ji vědomě udělá.
Časté otázky
Jak zjistím, jestli blokuju AI boty?
Otevřete si vasedomena.cz/robots.txt a hledejte řádky Disallow u GPTBot, ClaudeBot, PerplexityBot nebo Google-Extended. Pokud tam jsou, dané boty blokujete.
Mám AI boty pustit, nebo zablokovat?
Pokud chcete být v AI odpovědích, pusťte je. Blokování dává smysl jen u prémiového či citlivého obsahu, který vědomě nechcete dát modelům - tehdy ale přijímáte, že mizíte z AI citací.
Stačí pustit boty dovnitř, aby mě AI citovala?
Ne, je to jen nutná podmínka. Když web vidí, rozhoduje kvalita a struktura obsahu, strukturovaná data a důvěryhodnost. Zpřístupnění je první krok, ne celá práce.
Sedí vám to na vlastní firmu?
Pošlete mi web nebo jednu větu, kde se to zaseklo. Podívám se prakticky - ne přes seznam služeb, ale přes otázku, co řešit jako první.