Jak řídit AI crawlery přes robots.txt a llms.txt: ochrana dat vs. viditelnost
Návštěvnost webu už neřídí jen Googlebot. Obsah dnes čtou také roboty provozovatelů AI nástrojů. Některé z nich sbírají data pro trénování modelů a jiné vyhledávají zdroje pro odpověď na konkrétní dotaz uživatele.
Z toho plyne praktická otázka: chcete, aby AI četla váš web? Správná odpověď není vždy „ano“ ani „ne“. Rozhoduje, co s obsahem děláte a co od něj čekáte.
Tři typy AI robotů
Neblokujte všechno naráz. Roboty se liší účelem:
| Typ | K čemu slouží | Příklady user-agentů | Dopad blokace |
|---|---|---|---|
| Trénování modelů | Sběr obsahu pro trénování jazykových modelů. | GPTBot, ClaudeBot, CCBot, Google-Extended, Applebot-Extended |
Obsah se nepoužije pro trénování. Na viditelnost v odpovědích to zpravidla nemá přímý vliv. |
| AI vyhledávání | Indexace stránek pro odpovědi s odkazy na zdroje. | OAI-SearchBot, PerplexityBot, Claude-SearchBot |
Web se může přestat objevovat jako zdroj v AI odpovědích. |
| Načtení na žádost uživatele | Robot otevře konkrétní stránku, protože o to uživatel požádal. | ChatGPT-User, Claude-User, Perplexity-User |
AI nástroj nedokáže stránku přečíst, když na ni uživatel odkáže. |
Poznámka: Názvy robotů a jejich chování se mění. Před nasazením pravidel je vždy ověřte v aktuální dokumentaci jednotlivých provozovatelů.
Co robots.txt umí a co ne
robots.txt je soubor v kořenovém adresáři webu (https://vasedomena.cz/robots.txt). Říká robotům, kam smějí a kam ne.
Je to ale doporučení, ne technická ochrana. Seriózní roboty ho respektují, jiné ho mohou ignorovat. Pokud potřebujete obsah skutečně chránit (placený obsah, interní dokumenty), použijte přihlášení, firewall nebo omezení na úrovni serveru či CDN.
Další omezení: robots.txt řídí procházení, ne to, zda se URL objeví ve výsledcích. Pro vyhledávače se k tomu používá meta tag noindex.
Tři typické strategie
1. Plná viditelnost
Hodí se pro firemní weby, blogy a e-shopy, které chtějí být zdrojem v AI odpovědích.
User-agent: *
Allow: /
Sitemap: https://vasedomena.cz/sitemap.xml
2. Povolit vyhledávání, zakázat trénování
Kompromis pro vydavatele a tvůrce obsahu. Roboty pro vyhledávání a odpovědi zůstanou povolené, sběr pro trénování se zakáže.
User-agent: GPTBot
Disallow: /
User-agent: ClaudeBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: CCBot
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: PerplexityBot
Allow: /
User-agent: *
Allow: /
Google-Extended neovlivňuje pozice v klasickém vyhledávání Google. Řídí použití obsahu pro generativní modely Googlu.
3. Částečné omezení
Otevřete veřejný obsah a uzavřete citlivé části.
User-agent: GPTBot
Disallow: /klientska-zona/
Disallow: /interni/
Allow: /blog/
Co je llms.txt
llms.txt je navrhovaný standard. Jde o textový soubor ve formátu Markdown v kořenovém adresáři, který shrnuje, o čem web je, a odkazuje na nejdůležitější stránky.
# Název webu
> Krátký popis toho, co web nabízí.
## Klíčové stránky
- [Služby](https://vasedomena.cz/sluzby/): přehled nabídky
- [Ceník](https://vasedomena.cz/cenik/): ceny a balíčky
## Blog
- [Průvodce SPF, DKIM a DMARC](https://vasedomena.cz/blog/spf-dkim-dmarc/)
Důležité je nastavit realistická očekávání. Zatím neexistuje spolehlivě potvrzené, že by hlavní AI vyhledávače llms.txt systematicky využívaly. Soubor je levný na vytvoření a může pomoci nástrojům, které ho podporují. Neberte ho ale jako náhradu kvalitního obsahu, čistého HTML a správné struktury.
5 nejčastějších chyb
- Plošné
Disallow: /pro všechny roboty. Web zmizí i z klasických vyhledávačů. - Blokace přes CDN nebo firewall bez vědomí majitele webu. Některé služby blokují AI roboty ve výchozím nastavení.
- Záměna trénovacích a vyhledávacích robotů. Zakážete trénování, ale omylem tím i zdroj v AI odpovědích.
- Zastaralé názvy user-agentů. Pravidla pro roboty, které už se nepoužívají.
- Spoléhání na robots.txt jako na zabezpečení. Citlivý obsah musí být chráněný jinak.
Checklist
- Rozhodněte, jestli chcete AI viditelnost, ochranu proti trénování, nebo kombinaci.
- Zkontrolujte
https://vasedomena.cz/robots.txt, zda neobsahuje nechtěné blokace. - Ověřte, že pravidla nepřepisuje CDN, WAF nebo bezpečnostní plugin.
- Přidejte do robots.txt odkaz na sitemapu.
- Volitelně vytvořte
llms.txts přehledem klíčových stránek. - V logu serveru sledujte, které AI roboty web skutečně navštěvují.
- Pravidla revidujte alespoň jednou za půl roku.
Zkontrolujte, co vidí AI roboty na vašem webu
Chyba v robots.txt nebo zablokování na úrovni CDN často zůstane měsíce nepovšimnuté. Pinsero Radar prověří, zda je obsah dostupný vyhledávačům i AI robotům, a upozorní na blokace, které mohou omezovat viditelnost vašeho webu.
Spusťte si kontrolu a ověřte, že AI vidí to, co vidět má, a nic navíc.