Roboty umělé inteligence nejsou jeden druh návštěvníků. Velké platformy mají podle oficiálních stránek zvláštní označení pro trénování modelů, pro vyhledávání a zobrazení v odpovědích a pro stažení stránky na žádost uživatele. Pravidla pro ně se zapisují do souboru robots.txt v kořeni každé domény i subdomény a lze je nastavit samostatně.

Říjen 2026 přinesl novinku: Google, Microsoft i Anthropic 30. října 2026 zveřejnily, že podpoří sdílený signál pro odmítnutí trénování, který vychází z práce IETF, organizace pro internetové standardy. Google a Microsoft ho začnou uplatňovat v roce 2027, Anthropic ho zavádí postupně.

Údaje jsou k 11. listopadu 2026 a jde o tvrzení provozovatelů z jejich dokumentace; skutečný provoz ukážou jen záznamy vlastního serveru.

Které roboty AI existují a řídí se robots.txt?

Roboty pro trénování a vyhledávání se podle dokumentace robots.txt řídí; výjimkou jsou stahování na žádost uživatele u OpenAI a Googlu:

  • OpenAI: OAI-SearchBot zobrazuje weby ve vyhledávání ChatGPT, GPTBot stahuje obsah, který může sloužit k trénování, ChatGPT-User se spouští akcí uživatele (robots.txt u něj podle dokumentace nemusí platit) a OAI-AdsBot kontroluje stránky odeslané jako reklamy (robots.txt dokumentace neuvádí).
  • Anthropic: ClaudeBot sbírá obsah, který může přispět k trénování, Claude-SearchBot zlepšuje výsledky vyhledávání a Claude-User přistupuje na weby, když se na ně uživatel ptá Clauda. Roboty podle nápovědy Anthropicu respektují robots.txt, rozdíly mezi nimi nápověda nedělá.
  • Google: Googlebot je robot vyhledávání. Google-Extended je jen označení pro robots.txt, bez vlastního robota a identifikačního řetězce; řídí trénování budoucích modelů Gemini a podkládání odpovědí obsahem z vyhledávání v aplikacích Gemini a ve Vertex AI. Google-CloudVertexBot chodí na žádost majitelů webů, kteří ve Vertex AI staví agenty, GoogleOther je obecný robot pro výzkum a vývoj.
  • Google, stahování na žádost uživatele: fetchery, například Google-Agent a Google-GeminiNotebook (dříve Google-NotebookLM), podle dokumentace robots.txt obecně ignorují.
  • Microsoft: robot vyhledávání Bingbot; pravidla pro trénování a podkládání odpovědí viz níže.

Co zablokování jednotlivých robotů změní pro viditelnost?

Zákaz trénování podle dokumentace web z vyhledávání nevyřadí, zákaz robota vyhledávání ho z odpovědí vyřadí nebo omezí a zákaz robota spouštěného uživatelem se u OpenAI a Googlu nemusí uplatnit; Anthropic výjimku pro Claude-User neuvádí.

OpenAI výslovně píše, že nastavení jsou nezávislá: web může být ve vyhledávání ChatGPT a zároveň zakázat GPTBot. Google o Google-Extended uvádí, že neovlivňuje zařazení do vyhledávání ani pořadí, jenže stejné pravidlo řídí i podkládání odpovědí v aplikacích Gemini, takže zákaz není čistě tréninkový. Microsoft uvádí, že jeho preference nemění způsobilost k zobrazení v Bingu.

U robotů vyhledávání je dopad přímý. Zablokovaný web se podle OpenAI neobjeví v odpovědích vyhledávání ChatGPT, může se ale ukázat jako odkaz. Anthropic uvádí, že zákaz Claude-SearchBot může snížit viditelnost a přesnost výsledků. AI Overviews a AI Mode jsou součástí vyhledávání Google: stránka má být zaindexovaná a způsobilá k zobrazení s úryvkem, další požadavky dokumentace neuvádí.

Co platí pro Google a co se mění od října 2026?

Google-Extended zůstává k 11. listopadu 2026 ovládáním trénování, které Google nabízí od roku 2023, a sdílený signál teprve plánuje podpořit.

Blog Google Search Central z 30. října 2026 oznamuje záměr podpořit sdílené pravidlo pro trénování u více provozovatelů najednou. Google cílí na rok 2027, dokumentace robotů upřesňuje začátek roku. Dosavadní nastavení fungují dál. Pokud web odmítne trénování sdíleným pravidlem a Google-Extended neuvede, Google to zamýšlí číst jako zákaz Google-Extended; do té doby je nutné zákaz napsat přímo na něj.

Podle návrhu z 30. října 2026 je sdílené pravidlo obyčejná skupina v robots.txt s označením __usage_ai-training na řádku User-agent. Skupina pro všechny roboty (hvězdička) se za ni nepočítá, bez skupiny s tímto označením se žádná preference nevyjadřuje a pravidlo neřídí procházení, jen využití obsahu k trénování. Je to individuální návrh Kevina Kelleyho z Anthropicu, který IETF neschválila.

Microsoft používá stejné označení, rozšiřuje preferenci na jednotlivé stránky (kde má přednost před robots.txt) a od 1. února 2027 ji začne při procházení respektovat. Anthropic od 30. října 2026 rozpoznává signál preferencí trénování podle návrhu IETF, nápověda však jeho označení nejmenuje; pravidlo jmenující ClaudeBot má přednost před obecným nastavením. OpenAI sdílený signál ve své dokumentaci robotů nezmiňuje.

Standard zatím neexistuje: návrh draft-ietf-aipref-attach pracovní skupiny IETF je v revizi 05 ze srpna 2026 stále jen aktivním návrhem a počítá s pravidlem Content-Usage v robots.txt i v hlavičce HTTP.

Co robots.txt nezaručí a čím ho doplnit?

Robots.txt je žádost, ne zámek: RFC 9309 uvádí, že jeho pravidla nejsou formou autorizace přístupu a nenahrazují zabezpečení obsahu. Google dodává, že dodržování závisí na robotu a zakázaná adresa se může objevit ve výsledcích bez popisu.

RFC 9309 popisuje i tři technické pasti: chyba 4xx při načtení robots.txt znamená, že robot smí všude, chyba 5xx úplný zákaz, a roboty mají zpracovat nejméně 500 kibibajtů souboru, delší soubor nemusí být přečten celý. Podle cíle se hodí různé nástroje:

  • Obsah nemá být veřejný: přihlášení nebo heslo na serveru, které Google pro citlivý obsah doporučuje.
  • Stránka nemá být ve výsledcích vyhledávání: noindex v meta značce, u PDF a jiných souborů mimo HTML hlavička X-Robots-Tag, kterou lze nastavit pro celý web v konfiguraci serveru (Apache, NGINX). Robots.txt takovou stránku zakazovat nesmí, jinak Google značku ani hlavičku nepřečte.
  • Úryvky a funkce AI v Googlu: nosnippet, max-snippet nebo atribut data-nosnippet u vybraného textu; nosnippet podle Googlu brání i použití obsahu jako přímého vstupu pro AI Overviews a AI Mode.
  • Microsoft: meta značka Bingbot s hodnotou ai-training:disallow nebo ai-grounding:disallow, případně stejné hodnoty v hlavičce X-Robots-Tag; podkládání odpovědí se v robots.txt pro celý web nenastavuje, jen na úrovni stránky.
  • Roboty, které pravidla nedodržují: omezení na serveru nebo firewallu podle zveřejněných rozsahů IP adres; název robota lze podvrhnout. Roboty, které robots.txt čtou, takhle neblokovat: Anthropic upozorňuje, že pak robots.txt nepřečtou a zákaz nemusí spolehlivě platit.

Jaké výchozí nastavení zvolit a jak změnu ověřit?

Firmě, která chce být nalezena a zároveň nechce poskytovat obsah k trénování, dává smysl povolit roboty vyhledávání a zakázat trénování; jde o doporučení tohoto textu, ne o pokyn provozovatelů.

Modelový příklad robots.txt: Disallow: / pro skupiny GPTBot, ClaudeBot a Google-Extended, volitelně i pro skupinu __usage_ai-training; OAI-SearchBot, Claude-SearchBot, Googlebot a Bingbot zůstanou bez zákazu. Pokud trénování nevadí, nic se zakazovat nemusí: Microsoft uvádí, že bez zveřejněného nastavení platí povolení. Hlavičky a pravidla na serveru obvykle řeší technické SEO.

U Googlu jde o kompromis: weby s výslovně povoleným Google-Extended se podle blogu z 30. října 2026 mohou v aplikacích Gemini objevit a získat prokliky, zákaz tuto možnost podle dokumentace zruší.

Podle návrhu IETF se změna robots.txt nevztahuje zpětně na zdroje, které robot už stáhl. Google-Extended se v záznamech serveru neobjeví, protože nemá vlastní identifikační řetězec. Nástrojem pro kontrolu adres URL v Google Search Console lze ověřit, zda Googlebot pravidla pro úryvky vidí; opětovné zpracování trvá podle Googlu dny až měsíce.

Ověření změny v robots.txt krok za krokem

Zkontrolovat soubor
Na hlavní doméně i na každé subdoméně musí robots.txt vracet běžnou odpověď, ne chybu 4xx ani 5xx.
Počkat na přečtení
Podle RFC 9309 by roboty neměly používat uloženou kopii souboru déle než 24 hodin; OpenAI pro vyhledávání uvádí zhruba stejnou dobu.
Projít záznamy serveru
Hledat názvy GPTBot, OAI-SearchBot, ClaudeBot, Claude-SearchBot a další v identifikačním řetězci; Google-Extended se tu neobjeví.
Ověřit původ návštěvy
IP adresy porovnat se seznamy, které OpenAI, Anthropic a Google zveřejňují; označení robota lze podvrhnout.
Vyhodnotit výsledek
Zakázaný robot by už neměl stahovat zakázané adresy; roboty spouštěné uživatelem mohou zůstat. Jinak pomůže omezení na serveru.
Obecný postup sestavený z dokumentace OpenAI, Anthropicu a Googlu a z RFC 9309, nikoli předpis provozovatelů.

Kontrolní seznam před úpravou robots.txt

Před každou úpravou stačí projít osm bodů. Text je technický přehled, nikoli právní poradenství: autorskoprávní otázky trénování je vhodné řešit s právníkem.

  1. Rozhodnout zvlášť o trénování, vyhledávání a stahování na žádost uživatele.
  2. Roboty vyhledávání (OAI-SearchBot, Claude-SearchBot, Googlebot, Bingbot) nezakazovat, má-li být web v odpovědích.
  3. Trénování zakázat jmenovitě (GPTBot, ClaudeBot, Google-Extended); skupinu __usage_ai-training volitelně přidat, jde ale jen o návrh.
  4. Zvážit dopad zákazu Google-Extended na aplikace Gemini.
  5. Citlivé části chránit heslem; stránky mimo výsledky označit noindex a neblokovat v robots.txt.
  6. Ověřit, že robots.txt vrací běžnou odpověď (ne 4xx ani 5xx) na každé doméně i subdoméně.
  7. Po 24 hodinách projít záznamy serveru a porovnat IP adresy robotů s oficiálními seznamy.
  8. Do 1. března 2027 ověřit, zda web nespoléhá na značky Microsoftu NoArchive a NoCache, které se pak nečtou jako preference trénování ani podkládání odpovědí; pro takové weby Microsoft od 15. prosince 2026 otevírá dočasné preference v Bing Webmaster Tools.

Zdroje a stav informací

Stav informací k 11. 11. 2026. Údaje jsou ověřené u těchto zdrojů:

Jak články vznikají a ověřují: redakční zásady blogu.

ZKUSTE TO V PRAXI

Oddělit tři účely: roboty vyhledávání nechat povolené, trénování případně zakázat jmenovitě (GPTBot, ClaudeBot, Google-Extended) a citlivý obsah chránit heslem, ne robots.txt. Po změně počkat 24 hodin, projít záznamy serveru a pravidla znovu zkontrolovat, až Google sdílený signál spustí.

Nejasný pojem?Nahlédněte do slovníku ↗