Uživatelské testování aplikace ve voze v reálném provozu

Problém

Aplikace ve vozidle se standardně testují v simulátorech a rozsáhlými "auto klinikami" s velkým vzorkem uživatelů. V některých případech jako je re-design aplikace s vylepšením funkcí může jít o příliš nákladná a časově náročná řešení.

Vhodnějším řešením jsou průběžné uživatelské testy aplikace s uživateli ve voze a ideálně v reálném provozu. Umožní ověřit použitelnost aplikace a zjistit potřeby a obavy uživatelů při plnění testovacích úkolů. Výhodou je několikanásobně menší časový nárok na přípravu, realizaci a vyhodnocení v porovnání s auto klinikou nebo simulátory a s tím související úspora nákladů.

Řešení

Cílem projektu testování aplikace bylo vyřešit tři základní otázky: rychle doručit výsledky, testovat v přirozeném prostředí a zajistit bezpečnost testování.

Motto projektu: „Rychlá a bezpečná platforma s reálně plněnými úkoly.“

Rychlost

Nejdůležitějším hlediskem bylo zkrácení intervalu od zahájení přípravy testování až po doručení výsledků z jednoho roku na maximálně dva měsíce. Krátký časový horizont znamená intenzivní přípravu, realizaci a efektivní zpracování výstupů při zachování objektivity výsledků.

Vzhledem k nutnosti ověřit použitelnost a zároveň zjistit názor uživatelů na aplikaci je ideální metodou krátký rozhovor kombinovaný s uživatelským testováním. Testování s jedním uživatelem proběhne během 1-2 hodin a celkový vzorek zahrnuje 5-10 respondentů na cílovou skupinu. Tento vzorek je dostatečný pro zjištění hlavních překážek v použitelnosti a umožní indikaci potřeb a omezení uživatelů a výsledky je možné rozšířit s určitou přesností na celou skupinu uživatelů.

Čas lze získat kromě menšího počtu respondentů také efektivním zpracováním dat z testování nabízející výsledky krátce po skončení realizace. Namísto podrobného zpracování záznamů po testování lze již v průběhu testování zaznamenávat nejdůležitější zjištění a přiřazovat jim prioritu podle vlivu na řízení nebo podle opakování u jednotlivých uživatelů. To vyžaduje větší soustředěnost moderátora a/nebo pozorovatele testování.

Přirozené prostředí

Druhou otázkou bylo zajištění přirozeného chování uživatelů, tak aby co nejvíce odpovídalo normálnímu chování řidičů.

Největší vliv na chování uživatele má prostředí, ve kterém se testování koná. A nejpřirozenějšího chování bylo možné dosáhnout v podmínkách reálného provozu. Namísto simulátoru nebo rezervované testovací dráhy proběhlo testování v reálném provozu ve městě a mimo město, na hlavních i vedlejších tazích s různými nároky na pozornost řidiče a ovládání vozu.

Vliv na chování uživatelů při testování aplikace má také nabízená odměna. Vysoká odměna může ovlivnit směrem k pozitivnějšímu hodnocení aplikace než ve skutečnosti, zatímco nízká odměna může odradit uživatele od testování. Přesná hodnota odměny závisí na vzácnosti a požadovaném množství času uživatele. Vhodným řešením odměny je využít zaměstnanců firmy v rámci pracovní doby, pro které je testování změnou v pracovním režimu a zároveň nepřichází o svou odměnu. Je nutné vybrat zaměstnance, kteří nejsou s projektem aplikace nijak spojeni a tím ovlivněni.

Bezpečnost

Poslední podmínkou související s reálným provozem bylo zajištění bezpečných podmínek testování. Cílem je předejít újmě na zdraví nebo škodách na majetku testovaných zařízení. Opět se ukázala výhoda využití zaměstnanců, kteří jsou jako řidiči proškoleni zaměstnavatelem o bezpečnosti a zároveň existuje pojištění případných škod při řízení vozu.

Realizace

Plán výzkumu

Dílčí cíle výzkumu re-designu aplikace byly ve spolupráci se zadavatelem převedeny do testovacího scénáře obsahujícího:

• Vyhodnocení vzhledu
• Ověření použitelnosti
• Zjištění užitečnosti pro uživatele

Vyhodnocení vzhledu a ověření použitelnosti aplikace proběhlo za jízdy v automobilu, kde uživatelé plnili připravené úkoly s využitím aplikace. Vyhodnocení užitečnosti aplikace vyplynulo jednak z komentářů v průběhu jízdy a ze závěrečného dotazníku po jízdě.

Příprava uživatelů, vozu a záznamu

Prvním krokem byl nábor uživatelů. Zaměstnanci společnosti vlastnící aplikaci, kteří nejsou součástí jejího vývoje, byli pozváni k účasti na výzkum. Celkem bylo vybráno 10 uživatelů.

Testovací vůz byl vybaven zařízením pro sledování a záznam obrazovky aplikace, tváře uživatele a dopravní situace před vozem. Vybavený vůz byl vyzkoušen na okružní trase zahrnujícím městský provoz, jízdu mimo město po vedlejších silnicích a jízdu po dálnici.

Reálné jízdy a zápis

Deset uživatelů byli rozděleno do dvou dnů. Každý uživatel absolvoval testovací jízdu v délce 1,5 hodiny rozdělenou do dvou okruhů. V prvním okruhu se uživatel postupně seznamoval s aplikací a hodnotil první dojem a vzhled. V druhé jízdě už přizpůsoboval svou jízdu informacím z aplikace a hodnotil její použitelnost.

Moderátor během jízdy ve vhodných okamžicích pokládal otázky a úkoly ze scénáře, aby bylo možné vyhodnotit stejné vlastnosti aplikace přes všechny uživatele. Zároveň si poznamenával odpovědi a komentáře uživatelů včetně závažnosti a opakování jednotlivých zjištění.

Výsledky a video záznam

Částečně konsolidovaná data z jízd byla zpracována do reportu obsahujícím:

• Vyhodnocení vzhledu a prvního dojmu
  • Nejvýraznější prvky na první pohled
  • Nejčastěji sledované prvky během jízdy
  • Porovnání s požadovanými vlastnostmi
• Ověření použitelnosti
  • Srozumitelnost hodnot a symbolů
  • Souvislost informací se stylem jízdy
  • Nejasné vlivy prostředí na hodnoty
• Zjištění užitečnosti pro uživatele
  • Reálné využití aplikace
  • Návrhy na rozšíření funkcionality

Výsledky / Zjištění a doporučení

Zatímco rozsáhlejší studie obvykle znamenají podstatný časový a finanční nárok, pro menší kroky v návrhu nebo úpravě interaktivních aplikací je vhodnou alternativou tento rychlý, přirozený a bezpečný způsob uživatelského testování aplikace ve vozu.

Naopak výzkumy s cílem finálního vyhodnocení, porovnání s předchozí verzí nebo porovnání aplikace s konkurencí zůstává vhodnější využít rozsáhlejší kvantitativní studie, které měří hodnoty použitelnosti na velkém vzorku respondentů.