Po téměř 3 týdnech již máme mnohem lepší představu o tom, jaká varianta není ta pravá. Co nám ale stále chybí je rozhodnutí o tom, která varianta ta pravá je.
Varianta_1 (Dobrého webu) a kontrolní Varianta_0 se vyrovnaly a mají obě téměř shodný počet transakcí (hlavní metrika našeho testu je nákup fotografií a kreditů) i podpůrné metriky jsou vyrovnané (jako podpůrné metriky nám slouží celkové tržby a průměrná hodnota objednávky). Varianta_2 má nejméně transakcí ze všech tří variant.
 Varianta_0 |  Varianta_1 |  Varianta_2 |
Začali jsme vážně uvažovat o vypnutí Varianty_2. Přimělo nás k tomu především to, že celkové tržby z této varianty, jsou téměř poloviční, než mají ostatní dvě varianty. Průměrná hodnota objednávky je také nejnižší ze všech tří variant, zde je však rozdíl minimální.
Na jednu stranu se nám nechce vypínat jednu variantu testu, ale téměř poloviční tržby mohou poškodit klienta, který by mohl při vypnutí Varianty_2 získat více transakcí na obou lepších variantách. Navíc je zde ještě jeden aspekt, a tím jsou noví návštěvníci.
Segment nových návštěvníků
Nové návštěvníky je třeba si hýčkat a předcházet si je. Je třeba, aby především noví uživatelé nakupovali, aby pro ně byl nákup pohodlný. Spokojený zákazník se vrátí. Varianta_2 však právě v této oblasti hrubě pokulhává. Je přibližně 4x horší než obě dvě další varianty, ale stále jde o poměrně malá čísla.
Vypnuli byste v takovou chvíli Variantu_2 a pokračovali v testu jen se dvěma variantami? Myslíte si, že to má cenu? Nebude lepší počkat ještě týden se všemi variantami, a pak prostě vybrat tu nejlepší?
My budeme pokračovat zatím bez změny.
