Hvad er en A/B-test?

En A/B-test sammenligner to versioner under et planlagt forsøg. Deltagerne fordeles tilfældigt mellem en kontrol og en variant, så forskellen i resultatet kan vurderes på et mere pålideligt grundlag end ved blot at ændre siden og kigge på næste måneds tal.

Versionerne kan være en enkelt formulering eller en samlet ændring af et forløb. Tester du flere ting som én pakke, kan resultatet handle om pakken; du kan ikke bagefter tilskrive hele effekten til én bestemt detalje.

En før/efter-sammenligning er ikke automatisk en A/B-test. Sæson, trafik, kampagner og andre ændringer kan forklare forskellen mellem to perioder.

Skriv hypotesen og vælg resultatet

Start med et observeret problem. Et tænkt eksempel er, at kunder overser leveringsoplysninger før kurven. En hypotese kan være, at tydeligere information tidligere i forløbet gør det lettere at gennemføre et relevant køb.

Vælg ét primært resultat og nogle få kontrolmål. Flere klik på en knap er ikke nødvendigvis bedre, hvis færre gennemfører købet, fejl stiger eller henvendelserne bliver mindre relevante. Sørg for konverteringssporing, der adskiller forsøg fra bekræftede handlinger.

Beslutning Det skal afklares før start
Deltagere Hvilke besøg er relevante, og hvordan fordeles de?
Primært mål Hvilken konkret handling eller værdi afgør vurderingen?
Omfang Hvilken forskel er vigtig nok til at kunne påvirke beslutningen?
Stopregel Hvornår kan forsøget vurderes efter den valgte metode?
Kontrolmål Hvilke fejl eller negative følgevirkninger skal opdages?

Undersøg om der er nok data

Databehov afhænger blandt andet af den nuværende rate, den mindste forskel du vil kunne opdage, fordelingen og den statistiske metode. Der findes ikke en fast regel om, at et bestemt antal dage eller 100 besøg er nok til alle tests.

Optimizelys vejledning om mindste påviselige effekt beskriver forbindelsen til forsøgets planlægning. Brug værktøjets beregning og metode frem for en løs standardfrist.

Et tænkt resultat på 10 af 200 mod 12 af 200 er 5 % mod 6 %: en forskel på ét procentpoint og 20 % relativt. De tal alene fastslår ikke en sikker vinder. Usikkerheden og forsøgets kvalitet skal også vurderes.

Ved få relevante besøg kan det være mere nyttigt at rette en dokumenteret fejl eller gennemføre en brugertest. Det skal ikke bagefter præsenteres som en statistisk dokumenteret A/B-effekt.

Kontrollér forsøget teknisk

Test begge varianter på relevante skærmstørrelser. Kontrollér fordeling, stabil variant for den valgte forsøgsidentitet, måling, formularer og eventuelle visuelle skift. Sørg også for, at andre samtidige tests ikke gør resultatet uklart.

Hvis den observerede fordeling af deltagere afviger uventet fra den planlagte, skal årsagen undersøges. Problemet kaldes blandt andet sample ratio mismatch og kan pege på fejl i fordeling eller data. Forskning fra Microsofts eksperimentplatform beskriver, hvorfor kontrollen er vigtig.

Ældre guider anbefaler Google Optimize. Det blev lukket den 30. september 2023. Vælg en aktuel løsning, der kan gennemføre og dokumentere det ønskede forsøg; en almindelig trafikrapport fordeler ikke i sig selv deltagere mellem varianter.

Vurder resultatet efter den aftalte metode

Kontrollér datakvalitet før effekt. Læs derefter resultat og usikkerhed for det valgte primære mål, og undersøg kontrolmålene. Lad være med at lede gennem mange opdelinger, til en tilfældig gruppe ser positiv ud, og kalde den forsøgets konklusion.

Følg værktøjets statistiske metode. Nogle løsninger understøtter løbende vurdering, mens et forsøg med fast planlagt horisont skal behandles efter den plan. At stoppe, fordi en kurve ser lovende ud i dag, er ikke en universel gyldig regel.

“Uafklaret” er et legitimt resultat. Det betyder ikke, at versionerne er bevist ens. Notér, hvad forsøget kunne og ikke kunne afklare, før en variant rulles ud.

Brug metoden i den rette sammenhæng

På en hjemmeside kan en CTA eller et landingssideforløb være relevant. Heatmaps kan bidrage med hypoteser, men udpeger ikke alene vinderen.

I e-mail bør en åbningsrate ikke ukritisk være eneste resultatmål; privatlivsfunktioner kan begrænse, hvad afsenderen kan udlede om åbninger. Apple beskriver beskyttelsen i Mail. Brug også relevante klik og efterfølgende handlinger.

På sociale medier er to opslag på forskellige tidspunkter ikke automatisk et kontrolleret forsøg. Brug en egnet fordeling, hvis du vil drage en konklusion om forskellen mellem versionerne.

FAQ

Skal jeg kun ændre ét element?

Du kan teste én detalje eller en samlet variant. Ved en samlet variant kan du vurdere pakken, men ikke isolere effekten af hver enkelt del.

Hvor længe skal testen køre?

Det afhænger af datamængde, forventet effekt, variation over tid og den statistiske metode. Planlæg vurderingen før start frem for at bruge samme antal dage til alle forsøg.

Skal den version med den højeste rate altid vælges?

Nej. Undersøg usikkerhed, datakvalitet og følgevirkninger. En lille observeret forskel kan være for spinkel til at udpege en vinder.

Er multivariat test det samme som A/B-test?

Nej. En multivariat test undersøger kombinationer af flere faktorer. En A/B-test sammenligner to versioner, som kan være enkle eller sammensatte.

Få vurderet, om en test er den rigtige næste opgave

Kontakt mig med problemet, den relevante trafik og den handling, du vil forbedre. Så kan der vælges en undersøgelse, som datagrundlaget kan bære.