Modelová situace: firma přepne web na CDN, tedy síť serverů, které stránky rozvážejí návštěvníkům z nejbližšího místa. Nová ochrana před roboty pak začne zastavovat i Googlebota, robota, kterým Google stahuje stránky pro vyhledávání. Podle Googlu se v takovém případě mohou stránky z výsledků vytrácet.
Text vychází jen z oficiální dokumentace a blogu Google Search Central k 11. listopadu 2026. Vysvětluje limit velikosti, práci se souborem robots.txt a s chybami serveru i to, kdy řešit rozpočet procházení.
Většina firemních webů rozpočet procházení řešit nemusí. Důležitější je rychlý server bez chyb a ochrana, která Googlebota nezablokuje.
Co Googlebot stáhne a kde ho zastaví limit velikosti?
Googlebot zpracuje jen začátek každého podporovaného souboru, a to prvních 2 MB; u souborů PDF je limit 64 MB. Měří se z nezkomprimovaných dat. Podle příspěvku Googlu z 31. března 2026 se do limitu počítají i hlavičky odpovědi serveru; oprava z 29. října 2026 upřesnila, že jde o hlavičky odpovědi, ne požadavku.
Co limit přesáhne, Googlebot nestáhne, nevykreslí ani nezařadí do vyhledávače (neindexuje). Stránku neodmítne: vezme, co do hranice dostal, a dál s tím pracuje, jako by šlo o celý soubor. Titulek, kanonická adresa (údaj o hlavní verzi stránky) nebo strukturovaná data umístěné až za hranicí tak pro Google nebudou existovat.
Modelová situace: e-shop vloží do HTML kategorie celý seznam produktů jako obří datový blok a popis kategorie skončí až za hranicí. Google radí držet HTML štíhlé, těžké styly a skripty dávat do samostatných souborů a důležité prvky umístit výš. Každý odkazovaný soubor se stahuje zvlášť a má vlastní limit.
Vykreslení stránek se skripty obstarává samostatná služba Googlu, která se chová podobně jako moderní prohlížeč. Spouští JavaScript i styly, ale jen ty, které se stáhly, a mezi požadavky si nic nepamatuje.
Dokumentace uvádí dvě čísla. Přehled robotů Googlu uvádí výchozí hodnotu 15 MB a u Googlebota zmiňuje menší limit, například 2 MB; konkrétní údaj dává stránka o Googlebotovi. Příspěvek z března 2026 mluví o 2 MB jako o současném stavu, proto hodnotu občas ověřte.
Kdy se o rozpočet procházení starat a kdy ne?
Starat se o něj mají podle Googlu hlavně velké nebo rychle se měnící weby; většině firemních webů stačí hlídat rychlost a chyby serveru. Rozpočet procházení je soubor adres, které Google dokáže a chce projít. Tvoří ho kapacita, kterou server unese, a poptávka daná velikostí webu, četností změn a kvalitou stránek. Každý název hostitele, třeba subdoména, má rozpočet vlastní.
Návod Googlu míří na tři skupiny: weby s milionem a více unikátních stránek měněných zhruba týdně, weby s 10 000 a více stránkami měněnými denně a weby s mnoha adresami ve stavu Discovered – currently not indexed v Search Console. Čísla jsou podle Googlu jen hrubý odhad; firemní web s několika stovkami stránek mezi tyto skupiny nepatří.
Kapacitu serveru snižují pomalé odpovědi a chyby 5xx a 429. Rozpočet zbytečně spotřebovávají také duplicitní adresy a měkké chyby 404, tedy stránky, které hlásí úspěch, ale ukazují jen chybovou hlášku; ty se podle Googlu dál procházejí.
Google doporučuje tyto kroky:
- Sloučit duplicity.
- Nedůležité adresy zablokovat v robots.txt; zákaz procházení snižuje šanci na zařazení do indexu.
- Trvale zrušené stránky vracet jako 404 nebo 410.
- Držet aktuální sitemap s datem poslední změny.
- Nedělat dlouhé řetězce přesměrování.
- Nespoléhat na značku noindex: Google stránku musí nejdřív načíst, takže rozpočet neušetří.
Jak Google zachází s robots.txt, přesměrováním a chybami serveru?
Robots.txt si Google obvykle ukládá do paměti až na 24 hodin, při nedostupnosti i déle. Soubor platí jen pro protokol, port a název hostitele, na kterých leží. Zpracuje nanejvýš 500 KiB a podporuje pole user-agent, allow, disallow a sitemap; pole crawl-delay ignoruje.
Chyby načtení robots.txt mají zvláštní pravidla. Kódy 4xx kromě 429 Google bere tak, že soubor neexistuje a nic není omezeno. Při chybě 5xx na prvních 12 hodin přestane web procházet a soubor zkouší načíst znovu. Dalších až 30 dní používá poslední úspěšnou verzi. Po 30 dnech robots.txt ignoruje, pokud je web jinak dostupný, v opačném případě web dál neprochází.
Google výslovně nedoporučuje používat kódy 401 a 403 k brzdění robota. Souhrn dalších kódů pro běžné stránky podle dokumentace k listopadu 2026:
- 301 a 308: silný signál, že se má zpracovat cílová adresa; 302, 303 a 307 jsou signál slabší.
- Přesměrování obecně: Googlebot sleduje až 10 kroků, u robots.txt aspoň pět a pak výsledek bere jako 404.
- 4xx kromě 429: Google obsah takové adresy nepoužívá a už indexované adresy se časem z indexu odstraní; tempo procházení tyto kódy neovlivní.
- 429 a 5xx: Google procházení dočasně zpomalí; adresy s trvalou chybou serveru se z indexu nakonec odstraní, počet dní dokumentace neuvádí.
Co se může pokazit při přechodu na CDN nebo nasazení ochrany proti robotům?
Největší riziko je, že ochrana zachází s Googlebotem jako s útočníkem. Modelová situace: firewall webových aplikací, tedy filtr zahazující podezřelé požadavky, ukáže všem automatickým klientům test typu CAPTCHA, který Googlebot nesplní.
Google v příspěvku z prosince 2024 u ověřovacích stránek pro roboty doporučuje vracet kód 503, aby obsah z indexu nezmizel; vypršení času na straně CDN naopak může vést k odstranění adres z indexu. Příspěvek z listopadu 2026 varuje před plošnou ochranou: robot, který narazí na CAPTCHA nebo chybovou stránku s kódem 403, může procházení omezit a stránky mohou z vyhledávání vypadávat. Většina velkých CDN umí ověřené roboty pustit a blokovat jen konkrétní nežádoucí.
Přechod na CDN mění i tempo procházení. Rychlé odpovědi z okrajových serverů roboty vedou ke zrychlení, jenže první požadavek na každou adresu putuje na původní server, protože mezipaměť je zpočátku prázdná. Google proto radí důležité a často procházené adresy předem načíst v kontrolovaném tempu.
Při přetížení původního serveru je přípustné dočasně vracet 429 nebo 503, a to na několik hodin, nejvýš jeden či dva dny. Delší chyby jsou riskantní: adresa s chybou několik dní se může z indexu odstranit. K oběma kódům lze přidat hlavičku Retry-After s počtem sekund nebo datem.
Přechod na CDN bez vypadnutí z vyhledávání
Ve firewallu a CDN zapnout výjimku pro ověřené roboty, ne plošný test „jsem člověk“.
Důležité a často procházené adresy načíst předem v kontrolovaném tempu.
Teprve potom nasměrovat veškerý provoz domény přes CDN.
Hlídat zátěž původního serveru a v Crawl stats odezvu, chyby a stav hostitele.
Krátce vracet 429 nebo 503, případně s hlavičkou Retry-After, a nikoli dlouhodobě.
Po zahřátí mezipaměti a ustálení zátěže dočasná omezení odstranit.
Jak si procházení zkontrolovat?
Nejrychlejší přehled dává zpráva Crawl stats v Search Console, kterou najdete v nastavení. Je dostupná jen pro vlastnosti na kořenové úrovni, tedy doménu nebo adresu bez cesty. Podle nápovědy je určena pokročilým a weby s méně než tisícem stránek ji obvykle nepotřebují.
Zpráva ukazuje počet požadavků, objem stažených dat, průměrnou odezvu a rozdělení požadavků podle odpovědi, typu souboru a účelu. Stav hostitele hlídá načítání robots.txt, překlad názvu domény (DNS) a spojení se serverem. Nástroj URL Inspection ukáže, jak stránku vidí Google; prázdná stránka, chyba nebo výzva k ověření může podle příspěvku z prosince 2024 znamenat potíž na straně CDN.
Záznamy serveru ukážou, co robot opravdu dostal. Hlavička User-Agent se dá padělat, proto Google před blokováním radí požadavek ověřit, a to porovnáním adresy se zveřejněnými rozsahy IP adres Googlu, nebo ručně takto:
- V záznamech najít IP adresu požadavku, který se hlásí jako Googlebot.
- Příkazem host provést zpětný dotaz a zjistit název.
- Ověřit, že název končí googlebot.com, google.com nebo googleusercontent.com.
- Příkazem host provést dopředný dotaz na tento název a ověřit, že vrátí původní adresu.
Kontrolní seznam pro správce webu
Seznam se hodí projít po každé větší změně webu, hostingu nebo ochrany. Při změně adres a migraci pomůže technické SEO.
- Největší HTML stránky ověřit proti limitu 2 MB; důležité prvky mít na začátku, těžké styly a skripty v samostatných souborech.
- robots.txt odpovídá kódem 200, má pod 500 KiB a neblokuje důležité adresy.
- Server při běžném procházení nevrací chyby 5xx ani 429 a odpovídá rychle.
- Zrušené stránky vracejí 404 nebo 410, ne 200 s chybovou hláškou.
- Firewall a CDN pouštějí ověřené roboty místo plošné CAPTCHA; dočasné omezení kódem 503 nebo 429 trvá nejvýš dva dny.
- V prvních dnech po změně sledovat v Crawl stats odezvu, chyby a stav hostitele.
Zdroje a stav informací
Stav informací k 11. 11. 2026. Údaje jsou ověřené u těchto zdrojů:
- What Is Googlebot (Google Search Central)
- Inside Googlebot: demystifying crawling, fetching, and the bytes we process (Google Search Central Blog (31. 3. 2026, oprava z 29. 10. 2026))
- Google Crawler (User Agent) Overview (Google Search Central)
- Crawl budget management for large sites (Google Search Central)
- How Google interprets the robots.txt specification (Google Search Central)
- How HTTP status codes affect Google’s crawlers (Google Search Central)
- Crawling December: CDNs and crawling (Google Search Central Blog (24. 12. 2024))
- Moving to a CDN without overwhelming your origin (or blocking Googlebot) (Google Search Central Blog (listopad 2026))
- Reduce Googlebot’s crawl rate (Google Search Central)
- Crawl Stats report (Google Search Console Help)
- Verify Google’s crawlers and fetchers (Google Search Central)
Jak články vznikají a ověřují: redakční zásady blogu.
Před každou změnou hostingu nebo ochrany ověřit tři věci: robots.txt odpovídá kódem 200, ochrana pouští ověřeného Googlebota a nejtěžší HTML stránky mají důležité prvky v prvních 2 MB. V prvních dnech po změně sledovat v Crawl stats odezvu a chyby.