Modelová situace: firma přepne web na CDN, tedy síť serverů, které stránky rozvážejí návštěvníkům z nejbližšího místa. Nová ochrana před roboty pak začne zastavovat i Googlebota, robota, kterým Google stahuje stránky pro vyhledávání. Podle Googlu se v takovém případě mohou stránky z výsledků vytrácet.

Text vychází jen z oficiální dokumentace a blogu Google Search Central k 11. listopadu 2026. Vysvětluje limit velikosti, práci se souborem robots.txt a s chybami serveru i to, kdy řešit rozpočet procházení.

Většina firemních webů rozpočet procházení řešit nemusí. Důležitější je rychlý server bez chyb a ochrana, která Googlebota nezablokuje.

Co Googlebot stáhne a kde ho zastaví limit velikosti?

Googlebot zpracuje jen začátek každého podporovaného souboru, a to prvních 2 MB; u souborů PDF je limit 64 MB. Měří se z nezkomprimovaných dat. Podle příspěvku Googlu z 31. března 2026 se do limitu počítají i hlavičky odpovědi serveru; oprava z 29. října 2026 upřesnila, že jde o hlavičky odpovědi, ne požadavku.

Co limit přesáhne, Googlebot nestáhne, nevykreslí ani nezařadí do vyhledávače (neindexuje). Stránku neodmítne: vezme, co do hranice dostal, a dál s tím pracuje, jako by šlo o celý soubor. Titulek, kanonická adresa (údaj o hlavní verzi stránky) nebo strukturovaná data umístěné až za hranicí tak pro Google nebudou existovat.

Modelová situace: e-shop vloží do HTML kategorie celý seznam produktů jako obří datový blok a popis kategorie skončí až za hranicí. Google radí držet HTML štíhlé, těžké styly a skripty dávat do samostatných souborů a důležité prvky umístit výš. Každý odkazovaný soubor se stahuje zvlášť a má vlastní limit.

Vykreslení stránek se skripty obstarává samostatná služba Googlu, která se chová podobně jako moderní prohlížeč. Spouští JavaScript i styly, ale jen ty, které se stáhly, a mezi požadavky si nic nepamatuje.

Dokumentace uvádí dvě čísla. Přehled robotů Googlu uvádí výchozí hodnotu 15 MB a u Googlebota zmiňuje menší limit, například 2 MB; konkrétní údaj dává stránka o Googlebotovi. Příspěvek z března 2026 mluví o 2 MB jako o současném stavu, proto hodnotu občas ověřte.

Kdy se o rozpočet procházení starat a kdy ne?

Starat se o něj mají podle Googlu hlavně velké nebo rychle se měnící weby; většině firemních webů stačí hlídat rychlost a chyby serveru. Rozpočet procházení je soubor adres, které Google dokáže a chce projít. Tvoří ho kapacita, kterou server unese, a poptávka daná velikostí webu, četností změn a kvalitou stránek. Každý název hostitele, třeba subdoména, má rozpočet vlastní.

Návod Googlu míří na tři skupiny: weby s milionem a více unikátních stránek měněných zhruba týdně, weby s 10 000 a více stránkami měněnými denně a weby s mnoha adresami ve stavu Discovered – currently not indexed v Search Console. Čísla jsou podle Googlu jen hrubý odhad; firemní web s několika stovkami stránek mezi tyto skupiny nepatří.

Kapacitu serveru snižují pomalé odpovědi a chyby 5xx a 429. Rozpočet zbytečně spotřebovávají také duplicitní adresy a měkké chyby 404, tedy stránky, které hlásí úspěch, ale ukazují jen chybovou hlášku; ty se podle Googlu dál procházejí.

Google doporučuje tyto kroky:

  • Sloučit duplicity.
  • Nedůležité adresy zablokovat v robots.txt; zákaz procházení snižuje šanci na zařazení do indexu.
  • Trvale zrušené stránky vracet jako 404 nebo 410.
  • Držet aktuální sitemap s datem poslední změny.
  • Nedělat dlouhé řetězce přesměrování.
  • Nespoléhat na značku noindex: Google stránku musí nejdřív načíst, takže rozpočet neušetří.

Jak Google zachází s robots.txt, přesměrováním a chybami serveru?

Robots.txt si Google obvykle ukládá do paměti až na 24 hodin, při nedostupnosti i déle. Soubor platí jen pro protokol, port a název hostitele, na kterých leží. Zpracuje nanejvýš 500 KiB a podporuje pole user-agent, allow, disallow a sitemap; pole crawl-delay ignoruje.

Chyby načtení robots.txt mají zvláštní pravidla. Kódy 4xx kromě 429 Google bere tak, že soubor neexistuje a nic není omezeno. Při chybě 5xx na prvních 12 hodin přestane web procházet a soubor zkouší načíst znovu. Dalších až 30 dní používá poslední úspěšnou verzi. Po 30 dnech robots.txt ignoruje, pokud je web jinak dostupný, v opačném případě web dál neprochází.

Google výslovně nedoporučuje používat kódy 401 a 403 k brzdění robota. Souhrn dalších kódů pro běžné stránky podle dokumentace k listopadu 2026:

  • 301 a 308: silný signál, že se má zpracovat cílová adresa; 302, 303 a 307 jsou signál slabší.
  • Přesměrování obecně: Googlebot sleduje až 10 kroků, u robots.txt aspoň pět a pak výsledek bere jako 404.
  • 4xx kromě 429: Google obsah takové adresy nepoužívá a už indexované adresy se časem z indexu odstraní; tempo procházení tyto kódy neovlivní.
  • 429 a 5xx: Google procházení dočasně zpomalí; adresy s trvalou chybou serveru se z indexu nakonec odstraní, počet dní dokumentace neuvádí.

Co se může pokazit při přechodu na CDN nebo nasazení ochrany proti robotům?

Největší riziko je, že ochrana zachází s Googlebotem jako s útočníkem. Modelová situace: firewall webových aplikací, tedy filtr zahazující podezřelé požadavky, ukáže všem automatickým klientům test typu CAPTCHA, který Googlebot nesplní.

Google v příspěvku z prosince 2024 u ověřovacích stránek pro roboty doporučuje vracet kód 503, aby obsah z indexu nezmizel; vypršení času na straně CDN naopak může vést k odstranění adres z indexu. Příspěvek z listopadu 2026 varuje před plošnou ochranou: robot, který narazí na CAPTCHA nebo chybovou stránku s kódem 403, může procházení omezit a stránky mohou z vyhledávání vypadávat. Většina velkých CDN umí ověřené roboty pustit a blokovat jen konkrétní nežádoucí.

Přechod na CDN mění i tempo procházení. Rychlé odpovědi z okrajových serverů roboty vedou ke zrychlení, jenže první požadavek na každou adresu putuje na původní server, protože mezipaměť je zpočátku prázdná. Google proto radí důležité a často procházené adresy předem načíst v kontrolovaném tempu.

Při přetížení původního serveru je přípustné dočasně vracet 429 nebo 503, a to na několik hodin, nejvýš jeden či dva dny. Delší chyby jsou riskantní: adresa s chybou několik dní se může z indexu odstranit. K oběma kódům lze přidat hlavičku Retry-After s počtem sekund nebo datem.

Přechod na CDN bez vypadnutí z vyhledávání

Povolit ověřené roboty
Ve firewallu a CDN zapnout výjimku pro ověřené roboty, ne plošný test „jsem člověk“.
Předehřát mezipaměť
Důležité a často procházené adresy načíst předem v kontrolovaném tempu.
Přepnout provoz
Teprve potom nasměrovat veškerý provoz domény přes CDN.
Sledovat zátěž a chyby
Hlídat zátěž původního serveru a v Crawl stats odezvu, chyby a stav hostitele.
Při přetížení dočasně brzdit
Krátce vracet 429 nebo 503, případně s hlavičkou Retry-After, a nikoli dlouhodobě.
Omezení zrušit
Po zahřátí mezipaměti a ustálení zátěže dočasná omezení odstranit.
Pořadí kroků je naše shrnutí doporučení Googlu z příspěvků z let 2024 a 2026; poslední krok je náš praktický doplněk.

Jak si procházení zkontrolovat?

Nejrychlejší přehled dává zpráva Crawl stats v Search Console, kterou najdete v nastavení. Je dostupná jen pro vlastnosti na kořenové úrovni, tedy doménu nebo adresu bez cesty. Podle nápovědy je určena pokročilým a weby s méně než tisícem stránek ji obvykle nepotřebují.

Zpráva ukazuje počet požadavků, objem stažených dat, průměrnou odezvu a rozdělení požadavků podle odpovědi, typu souboru a účelu. Stav hostitele hlídá načítání robots.txt, překlad názvu domény (DNS) a spojení se serverem. Nástroj URL Inspection ukáže, jak stránku vidí Google; prázdná stránka, chyba nebo výzva k ověření může podle příspěvku z prosince 2024 znamenat potíž na straně CDN.

Záznamy serveru ukážou, co robot opravdu dostal. Hlavička User-Agent se dá padělat, proto Google před blokováním radí požadavek ověřit, a to porovnáním adresy se zveřejněnými rozsahy IP adres Googlu, nebo ručně takto:

  1. V záznamech najít IP adresu požadavku, který se hlásí jako Googlebot.
  2. Příkazem host provést zpětný dotaz a zjistit název.
  3. Ověřit, že název končí googlebot.com, google.com nebo googleusercontent.com.
  4. Příkazem host provést dopředný dotaz na tento název a ověřit, že vrátí původní adresu.

Kontrolní seznam pro správce webu

Seznam se hodí projít po každé větší změně webu, hostingu nebo ochrany. Při změně adres a migraci pomůže technické SEO.

  • Největší HTML stránky ověřit proti limitu 2 MB; důležité prvky mít na začátku, těžké styly a skripty v samostatných souborech.
  • robots.txt odpovídá kódem 200, má pod 500 KiB a neblokuje důležité adresy.
  • Server při běžném procházení nevrací chyby 5xx ani 429 a odpovídá rychle.
  • Zrušené stránky vracejí 404 nebo 410, ne 200 s chybovou hláškou.
  • Firewall a CDN pouštějí ověřené roboty místo plošné CAPTCHA; dočasné omezení kódem 503 nebo 429 trvá nejvýš dva dny.
  • V prvních dnech po změně sledovat v Crawl stats odezvu, chyby a stav hostitele.

Zdroje a stav informací

Stav informací k 11. 11. 2026. Údaje jsou ověřené u těchto zdrojů:

Jak články vznikají a ověřují: redakční zásady blogu.

ZKUSTE TO V PRAXI

Před každou změnou hostingu nebo ochrany ověřit tři věci: robots.txt odpovídá kódem 200, ochrana pouští ověřeného Googlebota a nejtěžší HTML stránky mají důležité prvky v prvních 2 MB. V prvních dnech po změně sledovat v Crawl stats odezvu a chyby.

Nejasný pojem?Nahlédněte do slovníku ↗