A/B test je pokus, při kterém se návštěvníci webu náhodně rozdělí do dvou skupin a každá vidí jinou verzi stránky, například jiný text tlačítka. Po skončení se porovná, která verze dopadla lépe podle předem zvoleného čísla, třeba podílu návštěv končících objednávkou. Na rozdíl od porovnání období „před a po“ běží obě verze současně, takže sezóna ani kampaně nezvýhodní jednu z nich.

Háček je ve vzorku. Web s pár tisíci návštěv měsíčně často nerozliší skutečné zlepšení od náhody a test, který nic neprokáže, stojí práci i čas.

Metodické zdroje jsou starší (z let 2000 až 2015), stav nástrojů je ověřen k listopadu 2026.

Kdy má A/B test smysl

Smysl má při splnění tří podmínek. Stránka má dost dokončených akcí, tedy objednávek nebo poptávek, protože právě ty se porovnávají. Existuje hypotéza, předem napsaná domněnka ve tvaru „když změníme X, vzroste Y, protože Z“. A je předem určena jediná metrika, podle které se test vyhodnotí. Odborný přehled online experimentů (Kohavi a spol.) doporučuje volit kritérium předem, jinak roste riziko, že se mezi mnoha čísly najde výhra jen náhodou.

Hypotéza má vycházet z poznatků o chování lidí, ne z názoru v týmu. Nielsen Norman Group (NN/g) upozorňuje, že test najde nejlepší jen z dostupných variant. Před testováním proto doporučuje zúžit hypotézy uživatelským výzkumem, třeba krátkými dotazníky na webu nebo testováním použitelnosti.

Kolik dat stačí a co znamená významnost

Dvě verze se vždy trochu liší i čistou náhodou, podobně jako dvě série hodů mincí. Statistická významnost říká, jak nepravděpodobné je, že by se pozorovaný rozdíl objevil, kdyby žádný skutečný neexistoval. Odborný přehled počítá se spolehlivostí 95 %, tedy s omylem v jednom případě z dvaceti. Síla testu je pravděpodobnost, že skutečný rozdíl zachytí; přehled vychází z 80 %.

Potřebný počet návštěvníků nejvíc určuje, jak malý rozdíl se má zachytit. Hledaný rozdíl čtyřikrát menší znamená šestnáctkrát víc návštěvníků. Příklad z přehledu: nakupuje 5 % návštěvníků, změna podílu nakupujících o 5 % (z 5,00 na 5,25 %) vyžaduje méně než 122 000 návštěvníků na variantu, změna o 20 % (z 5 na 6 %) jen asi 7 600.

Pomáhá i volba čísla. Konverzní poměr, tedy podíl návštěv končících nákupem, kolísá méně než tržba na návštěvníka, a vzorek proto vyjde zhruba 3,3krát menší. Další úsporou je vyhodnotit jen lidi, jichž se změna týká, třeba ty, kdo zahájili objednávku: v příkladu přehledu potřeba dat klesne téměř na polovinu.

Počítat ručně netřeba. Kalkulačka síly testu v dokumentaci GrowthBooku z týdenní návštěvnosti, průměru a rozptylu metriky a očekávaného zlepšení určí potřebný počet týdnů. Samostatnou kalkulačku velikosti vzorku nabízí i Evan Miller.

Kolik návštěvníků na variantu test potřebuje

Tržba na návštěvníka, změna o 5 %409000 návštěvníků na variantu
Podíl nakupujících, změna o 5 %122000 návštěvníků na variantu
Změna o 5 %, hodnoceno jen u lidí zahajujících objednávku64000 návštěvníků na variantu
Podíl nakupujících, změna o 20 %7600 návštěvníků na variantu
Příklad z odborného přehledu online experimentů, hodnoty jsou zaokrouhlené: obchod, kde nakupuje 5 % návštěvníků, spolehlivost 95 % a síla testu 80 %. Ve třetím řádku se hodnotí jen lidé, kteří zahájí objednávku; 64 000 jsou všichni návštěvníci, z nich 6 400 objednávku zahájí. Zdroj: Kohavi, Longbotham, Sommerfield, Henne; Data Mining and Knowledge Discovery 18 (2009), kopie autorů.

Nejčastější chyby

Nejdřív dvě obecná pravidla. Rozdělení návštěvníků 50 ku 50 dá nejrychlejší výsledek; při 99 ku 1 by test podle přehledu trval asi 25krát déle. Přehled také doporučuje ověřovat, zda se návštěvníci dělí podle plánu; GrowthBook to hlídá automaticky (SRM), například u rozdělení 48 ku 52. Pak čtyři chyby, které se opakují nejčastěji:

  • Zastavení při průběžném sledování. Kdo se dívá denně a skončí, když je rozdíl poprvé významný, zvyšuje podíl falešných výher. Studie Johariho, Pekelise a Walshe z roku 2015 označuje běžné výpočty významnosti a intervaly spolehlivosti za nespolehlivé, když se délka testu volí podle průběžných výsledků. Pomáhá předem daná délka testu nebo sekvenční testování, které s průběžným sledováním počítá; GrowthBook je nabízí jako volitelné.
  • Více změn najednou. Změní-li se nadpis, obrázek i cena, test řekne jen to, že balíček vyhrál nebo prohrál, ne který prvek za to může. Přehled doporučuje pro získání poznatků měnit jeden faktor. Kombinace umí prověřit vícefaktorový test, ten ale vyžaduje promyšlený návrh.
  • Krátké nebo zkreslené období. Víkendoví návštěvníci bývají jiní než ve všední dny, proto přehled doporučuje testy nejméně týden až dva a dál prodlužovat po násobcích týdne. Podobně působí svátky a sezónní kampaně: výsledek z jejich vrcholu nemusí platit jindy. Příliš dlouhý test škodí také; autoři považují přes 125 dní za příliš dlouhou dobu, protože vliv mazání cookies (souborů, podle nichž web pozná vracející se návštěvníky) začne data zkreslovat.
  • Špatně zvolená metrika. Kliknutí na tlačítko může růst, aniž přibude objednávek. Přehled varuje před kritériem zaměřeným jen na krátkodobé výsledky a doporučuje zahrnout i faktory předpovídající dlouhodobé cíle, například opakované návštěvy.

Co dělat při malé návštěvnosti

Když by test odpověděl až za mnoho měsíců, vyplatí se zjišťovat, proč lidé nenakupují.

  • Kvalitativní výzkum: krátké dotazníky přímo na webu o tom, proč lidé přišli (doporučuje NN/g), a rozhovory se zákazníky.
  • Testování s uživateli: podle NN/g odhalí první studie s pěti lidmi asi 85 % problémů použitelnosti, a to u srovnatelných uživatelů; pro výrazně odlišné skupiny je lidí potřeba víc. Lepší je několik malých kol než jedno velké. Prakticky jej nabízí UX audit a testování použitelnosti.
  • Analytika a heatmapy, tedy barevné mapy kliknutí, ukážou, kde lidé odpadají, ale ne proč, proto je vhodné je spojit s rozhovory. Podklady dá webová analytika.
  • Odvážnější změny. Potřebný vzorek roste se čtvercem zmenšení rozdílu, takže malý web zachytí jen velké efekty; má smysl testovat přepracování košíku, ne odstín tlačítka.
  • Porovnání před a po. Stejně dlouhá období po celých týdnech a zápis všeho, co se změnilo (kampaně, ceny, výpadky). Pořád jde jen o nápovědu: podle odborného přehledu příčinnou souvislost na rozdíl od sledování v čase ověří až kontrolovaný pokus.

Vyplatí se test? Modelový příklad a záznam

Modelový příklad (čísla jsou vymyšlená, nejde o skutečná data): e-shop má 40 000 různých návštěvníků měsíčně, konverzní poměr 2 %, průměrnou objednávku 1 500 Kč a marži 25 %. Test stojí 30 000 Kč.

Varianta A: změna zvedne poměr z 2,0 na 2,1 %, tedy o 40 objednávek a 15 000 Kč marže měsíčně. Podle hrubého pravidla z přehledu (spolehlivost 95 %, síla 80 %) je třeba asi 313 600 návštěvníků na variantu, při 20 000 měsíčně na variantu zhruba 16 měsíců. Test se nevyplatí.

Varianta B: výrazná změna zvedne poměr z 2,0 na 2,4 %, tedy o 160 objednávek a 60 000 Kč marže měsíčně. Stačí asi 19 600 návštěvníků na variantu, zhruba čtyři týdny. Předpokládejme, že uspěje jen jeden test ze tří a přínos se udrží celý rok: očekávaný přínos vychází na 240 000 Kč proti nákladům 30 000 Kč. Rozhodují tedy tři čísla: možné zlepšení, doba do odpovědi a cena. Hrubé pravidlo je zjednodušení, kalkulačky vyjdou o něco výš.

Poctivý záznam je stejně důležitý jako pokus. Přehled doporučuje uvádět interval spolehlivosti rozdílu, tedy rozmezí věrohodných hodnot jeho velikosti, ne jen „B vyhrála“. Neprůkazný výsledek může znamenat, že rozdíl neexistuje, nebo že test neměl dost dat. Záznam má obsahovat:

  • hypotézu a hlavní metriku zvolenou předem
  • plánovanou velikost vzorku a délku testu
  • datum začátku a konce, rozdělení provozu a vše, co se mezi tím dělo
  • výsledek jako rozdíl s intervalem spolehlivosti
  • rozhodnutí a poučení, i u neúspěšných testů, a snímky variant

Stav nástrojů k listopadu 2026

Google Optimize a Optimize 360, nástroje Google k A/B testům, přestaly být dostupné 30. září 2023 a experimenty, které tehdy běžely, skončily. Stránka o ukončení nejmenuje jedinou náhradu: Google na ní uvádí, že investuje do integrací nástrojů třetích stran s Google Analytics, jmenuje AB Tasty, Optimizely a VWO a zveřejnil rozhraní (API) pro připojení libovolného nástroje. Stránka je dostupná i v listopadu 2026; GA4 jako náhradu nezmiňuje. O dnešní nabídce jmenovaných nástrojů nic netvrdíme.

GrowthBook má podle dokumentace klasické (frekventistické) i bayesovské vyhodnocení a volitelné sekvenční testování. Ceny a podmínky jsme neověřovali.

Nástroj nevyřeší nedostatek návštěvníků ani nejasnou hypotézu. Širší rámec popisuje optimalizace konverzí.

Zdroje a stav informací

Stav informací k 11. 11. 2026. Údaje jsou ověřené u těchto zdrojů:

Jak články vznikají a ověřují: redakční zásady blogu.

ZKUSTE TO V PRAXI

Před spuštěním testu mít na papíře hypotézu, jedinou hlavní metriku a počet návštěvníků z kalkulačky. Vychází-li test na mnoho měsíců (autoři odborného přehledu považují přes 125 dní za příliš dlouhou dobu), nespouštět ho a zvolit rozhovory, testování s malou skupinou uživatelů a výraznější změnu.

Nejasný pojem?Nahlédněte do slovníku ↗