UXR 3: Følg hvad brugerne gør - ikke hvad de siger
Af medstifter & brugerforsker Niels Pambi, Pambi Seeberg Consult
Nu hvor vi har fået det rigtige mindset (del 1), og lært at tænke brugerbehovet først (del 2), er det på tide at komme ned i materien og blive lidt mere konkret i forhold til, hvordan vi indhenter de dybe brugerindsigter.
Den tredje regel hedder følg hvad brugerne gør - ikke hvad de siger, og handler om hvilke metoder, du implementerer for at indhente dine brugerindsigter. Jeg vil helt konkret gennemgå, hvordan kvalitativ data kan give dybere indsigt end kvantitativ data, og hvorfor data om brugeradfærd kan være mere retvisende end data, som alene er baseret på brugernes udtalelser.
Især den sidste pointen om at brugernes udtalelser kan være misvisende, kan godt være ret kontroversiel. For mig, som uddannet teknoantropolog, handler brugerforskning hovedsageligt om at gøre teknologi og processer så brugbare for mennesker som muligt.
Teknologi og tilhørende processer skal frigøre brugerne - ikke fastlåse dem, og derfor skulle det vel være nødvendigt, og en del af missionen, at lytte til brugerne?
Brugerforskerne David Travis og Philip Hodgson gør os dog opmærksomme på, at der også eksisterer flere problemstillinger ved udelukkende at basere sin viden på såkaldt meningsbaseret data.
Fokusgruppe eller spørgeskema?
David Travis spørger; Hvis du havde valget mellem et spørgeskema med 2.000 besvarelser vedrørende en proces eller et produkt, som du arbejder på, eller data fra en fokusgruppe med 12 deltagere - hvilket datasæt ville du så vælge? Mange ville måske være tilbøjelige til at vælge spørgeskemaet - ikke mindst fordi det trods alt indeholder svar fra hele 2.000 brugere. Dette valg skyldes ifølge Travis, at vores tillid til data er afhængig af, hvor stor stikprøvestørrelsen, altså antallet af informanter eller observationer, er.
Jo flere informanter, der er i undersøgelsen, jo mere tillid har vi til dataen. Men problemet med dette er, at uanset hvor mange informanter der besvarer dit spørgeskema, så er skemaets evne til at bidrage med brugerindsigter i langt højere grad afhængig af, at du stiller de relevante spørgsmål.
På den måde kan spørgeskemaer blive indadskuende, på samme måde som en usabilitytest (se Tænk som en brugerforsker: Del 2) er indadskuende, hvis den ikke er baseret på dybe brugerindsigter. Et problem, der faktisk gælder for både spørgeskemaet, fokusgruppen, og brugerinterviewet, er, at hvis du stiller de forkerte spørgsmål, får du oftest overfladiske eller irrelevante svar. Ikke fordi brugernes svar og meninger er ligegyldige - tværtimod. Men fordi du ikke kan få svar på, hvad du i forvejen ikke har overvejet.
Denne slags brugerundersøgelser bliver derfor ofte overfladiske, hvis ikke de er suppleret med dybere indsigter, der kan guide formuleringen af spørgsmål.
Brugerforskerens tillid til data er mindre afhængig af antallet af informanter, og mere afhængig af hvilken type af forskning, der er tale om. Fra meningsbaseret undersøgelser, som værende de metoder der er mindst tillid til (f.eks. fokusgrupper og brugerundersøgelser), til adfærdsbaseret undersøgelser (f.eks. feltarbejde og A/B test), som værende dem vi har mest tillid til.
Vi skal væk fra “Fra en skala fra 1-10 hvor glad er du så for…” og hen imod “Hvad gør du når du skal fra A til B?” eller “hvad gør du hvis du støder på det her problem?” Måske du allerede her kan se at at ved fokusere på brugerens adfærd, får man pludselig en helt anden type svar end hvis man fokuserer på brugerens mening.
Hverken jeg eller Travis affejer relevansen af at benytte interviews, fokusgrupper eller spørgeskemaer i visse sammenhænge. Men det er nødvendigt at forstå, hvilken type data ens metoder og spørgsmål producerer, og hvor meget den data afspejler brugernes virkelige problemer, mål og naturlige adfærd.
Stop med at spørge om hvad brugerne synes!
Størstedelen af markedsresearch i dag handler om at spørge brugere og kunder om, hvad de tænker, hvad de vil, eller hvad deres mening er om et specifikt produkt, problem eller oplevelse. Der er dog flere problemer med denne meningsbaserede viden.
“Valg-blindhed og The love of Large Numbers”
Problemet er, at brugere, når adspurgt, ikke nødvendigvis har god indsigt i, hvorfor de gør, som de gør. Et eksempel på dette finder vi i de såkaldte valg-blindhedsstudier - et paradigme indenfor kognitiv forskning der omhandler hvordan feedback på vores valg påvirker vores fremtidige præferencer.
I et eksempel på et sådan studie, blev deltagere vist to billeder af mænd/kvinder og bedt om at vælge, hvem de fandt mest attraktiv.
Forskeren, der stod for forsøget, rakte dem så det billede af den person, som de fandt mest attraktiv, og kasserede det andet billedet. Herefter skulle deltagerne uddybe hvorfor, de fandt den pågældende person mest attraktiv.
Men faktisk var forskeren også deltids-tryllekunstner, som med fingerfærdighed rakte deltagerne det billede, som de fandt mindst attraktiv. Overraskende nok opdagede flertallet af deltagerne ikke, at billedet var byttet ud. De endte derfor med at argumentere for deres “ikke-valg”. Disse forsøg indikerer, at det ikke nødvendigvis giver reel indsigt udelukkende at bede brugerne om at begrunde deres valg.
I en anden undersøgelse (Powell et al., The love of large numbers: A popularity bias in consumer choice; 2017) satte forskere sig for at undersøge, hvordan brugere benyttede produktanmeldelser, når de valgte produkter i netbutikker.
I et af eksperimenterne blev brugerne bedt om at vælge mellem to lignende produkter, der begge havde samme mellem-dårlige anmeldelser på Amazon.com. Det ene produkt havde dog langt flere anmeldelser end det andet.
De fleste brugere burde her vælge det produkt med færrest anmeldelser. Det begrundede forskerne med at et stort antal anmeldelser burde være en indikator for, at den mellem-dårlige bedømmelse var korrekt - hvorimod en bedømmelse baseret på få anmeldelser stadigvæk var præget af usikkerhed, hvorfor produktet kunne være bedre end indikeret af de få anmeldelser.
Brugerne valgte dog alligevel produktet med de mange anmeldelser. Dette skyldtes ifølge forskerne et fænomen, som de døbte “The Love of Large Numbers”, hvilket er det samme fænomen, der muligvis også fik dig til at vælge spørgeskemaet med 2000 informanter over fokusgruppen med 12 informanter, i starten af artiklen.
Disse eksempler indikerer at din meningsbaseret data kan være direkte misvisende hvis du ikke i analysearbejdet er klar over både din egen og dine brugers bias. Dermed ikke sagt at spørgeskemaer er ubrugelige, men det er i høj grad nødvendigt at være opmærksom på mere end blot at stille de gode spørgsmål.
Med fare for at gentage mig selv; Det er nødvendigt at kunne sætte sig ind i brugernes adfærd, bevæggrunde og endda kontekst, når endelig formulerer spørgsmål til dine brugere.
Zoologisk have eller Safari
Men hvordan får man brugerdata, hvis man ikke bør bede om brugernes mening? Svaret er adfærdsbaseret data. Hvis du forsøger at levere en service, der virkelig skal møde brugernes behov, er du nødt til først og fremmest at forstå, hvad brugerne forsøger at opnå og hvilke værktøjer, praksisser, og forståelser, der er i spil. For at gøre det, er du nødt til at udføre feltarbejde, observere og stille “de dumme spørgsmål” mens du skygger dem.
I det hele taget må du indsamle viden om hele deres brugerrejse og om hvilken kontekst, brugeren befinder sig i på de forskellige skridt. Det er ikke nok at samle brugerne til et fokusgruppemøde og snakke processen igennem eller at bede dem om at benytte produktet i et opstillet scenarie. De indsigter, som vi leder efter, skal også gerne observeres så naturligt som muligt.
Brugerforskerne Travis og Hodgson sammenligner den naturlige observation med en tur i en zoologisk have, versus at være på safari. I en zoologisk have ser du rigtig nok dyr. Men efter turen ved du sikkert ikke meget nyt om deres naturlige adfærd. Hvis du vil vide noget om, hvordan dyrene i en zoologisk have virkelig opfører sig, er du nødt til at tage ud i verdenen og observere dem i deres naturlige habitat.
Den observante læser vil sikkert spørge “ødelægger safari-jeepen ikke også muligheden for den helt naturlige observation?” Og jo, det gør den uden tvivl - på samme måde som din tilstedeværelse også påvirker brugeren under en brugerobservation.
Du bør derfor altid være opmærksom på, hvordan din egen tilstedeværelse påvirker informanternes adfærd.
The Delivery Gap - Forlang brugerdata!
I 2005 udgav rådgivningsvirksomheden Bain & Company en undersøgelse, hvor de havde adspurgt mere end 350 organisationer om, hvorvidt de leverede en god brugeroplevelse
Flere organisationer svarede, at de ikke blot leverede en god brugeroplevelse men en overlegen brugeroplevelse. De så altså sig selv, som ledende organisationer inden for brugeroplevelsesdesign - virksomheder, der var på forkant med brugernes behov.
Men hvem var disse helte-organisationer? Og hvor mange procent af de adspurgte organisationer ville du gætte på det var? 1-2%? 5-7%? Svar: 80%. 4 ud af 5 af de adspurgte organisationer leverede ifølge dem selv ikke blot en god oplevelse, men en overlegen én.
Problemet var bare at man ikke kun nøjedes med at spørge organisationerne, men også deres brugere og kunder. Og her tegnede sig et andet billede. Når adspurgt, mente nemlig kun 8% af brugere og kunder af den pågældende organisation leverede en overlegen brugeroplevelse; 80/8 -
Denne forskel i tro på egen evne og brugernes vurdering af samme evne, er kendt som The Delivery Gab. Der findes rigelig af customer-experience- og marketingsteori der går i dybden med fænomenet og hvordan man kan udbedre en sådan forskel.
Travis og Hodgson svar på dette er at inddele organisationers brugeroplevelsesarbejde ind i fire faser:
Fase 1: Kritik afvises -> Fase 2: Kritik er velkommen -> Fase 3: Kritik er efterspurgt -> Fase 4: Kritik er forlangt!
Et klassisk eksempel på en fase 3 virksomhed, er når du modtager et spørgeskema efter du har handlet i en netbutik. Her efterspørger butikken din mening og lader dig rose eller kritisere din oplevelse. Men problemet her er at de kunder der besvarer det spørgeskema som regel er de få procent der enten har haft en så fantastisk oplevelse at de er villige til afsætte tid til at takke butikken for den, eller dem der har haft en så dårlig oplevelse at de er nødt til at dele deres kritik.
Resten af kunderne, der som regel vil være langt de fleste af kunderne, ignorerer spørgeskemaet, og butikken går dermed glip af vigtig viden, hvis det er så langt den brugerfokuseret dataindsamling rækker.
Den fjerde fase - den der lader dig give dine brugere en overlegen brugeroplevelse, indtræffer når du kræver kritik og brugerindsigter. Det betyder at du løbende tager initiativ til at indsamle data i felten hvor dit produkt bliver brugt, og at du observerer dit system i brug i naturlige omgivelser.
Ved at fokusere på dine brugers mål og adfærd og selv opsøge den viden, frem for at vente på at brugerne giver dig den, er du med til at opbygge en brugeroplevelsesinfrastruktur, som både dine brugere og dit produkt vil nyde godt af i lang tid fremover.
Læs mere: Se vores tema om servicedesign