AB-test op je website: van vraag tot besluit.

Een AB-test laat twee versies van een pagina aan verschillende bezoekers zien. Versie A is de bestaande pagina; versie B bevat een wijziging. Door bezoekers willekeurig te verdelen en vooraf één doel te kiezen, kun je vergelijken welke versie op dat doel beter presteert. Dat maakt een test bruikbaar voor een concrete keuze op je website. Een goede uitslag vraagt wel om een heldere vraag, een werkende meting en voldoende gegevens. Soms levert de vergelijking geen duidelijk antwoord op.

Wat is een AB-test op een website?

Stel dat je twijfelt over de tekst op een knop. De huidige knoptekst is A. Je maakt een tweede versie met een andere tekst: B. De rest van de pagina blijft gelijk. Een bezoeker ziet een van de versies en kan vervolgens op de knop klikken of een formulier versturen. Je vergelijkt de groepen op één vooraf gekozen actie.

De willekeurige verdeling is belangrijk. Als de ene variant alleen aan terugkerende bezoekers verschijnt en de andere alleen aan nieuwe bezoekers, weet je niet of het verschil door de knoptekst of door die bezoekersgroepen komt. Ook moet een bezoeker consequent dezelfde variant blijven zien tijdens de relevante ervaring. Een testtool moet die verdeling, de varianten en het gekozen doel kunnen ondersteunen.

Een A/B-test is geen voorspeller van succes. Je gebruikt hem om een vermoeden te toetsen aan gedrag op de pagina. De uitkomst geldt voor de geteste wijziging, doelgroep, periode en meetwijze. Een andere pagina of een ander doel kan een andere vraag opleveren. De methode kun je ook bij e-mails of advertenties toepassen, maar bij een website gaat het meestal om een keuze in de inhoud of bediening van een pagina.

Wanneer is testen zinvol?

Test wanneer je tussen concrete mogelijkheden moet kiezen en er genoeg geschikt bezoek is om die vergelijking te dragen. Denk aan een kop die het aanbod anders uitlegt, een andere volgorde van informatie of de tekst bij een formulier. Je hoeft niet elke ontwerpkeuze te testen. Soms is een probleem al zichtbaar: een knop werkt niet, een veld is onbegrijpelijk of een pagina ontbreekt op mobiel. Herstel zulke fouten eerst. Een experiment is vooral nuttig wanneer beide opties verdedigbaar zijn en je wilt weten wat bezoekers doen.

Kies een doel dat bij de beslissing past. Als je wilt weten of bezoekers vaker contact opnemen, is een klik op een knop slechts een tussenstap. Meet dan bij voorkeur het verzenden van het formulier. Anders kun je een knop kiezen die nieuwsgierigheid oproept, terwijl het werkelijke doel niet verbetert. Lees ook wat een conversie precies is: de betekenis hangt af van de actie die je voor jouw pagina kiest.

Weinig bezoek maakt een kleine verbetering lastig te onderscheiden van toeval. Dat betekent niet dat je niets aan de website kunt verbeteren. Je kunt de tekst verduidelijken, de bediening controleren en met gebruikers bespreken waar ze vastlopen. Een test is een meetinstrument voor een afgebakende vergelijking, geen voorwaarde voor elke aanpassing.

Maak van een vermoeden een toetsbare vraag

Begin met het probleem, niet met de kleur die je mooier vindt. Schrijf op wat je verwacht en waarom. Bijvoorbeeld: “Als de knop zegt wat er na de klik gebeurt, verwachten we dat meer bezoekers het contactformulier versturen.” Dit is een hypothese, geen belofte. Je legt ermee vast welke wijziging je onderzoekt en welke uitkomst je zou helpen kiezen.

Houd de verandering herkenbaar. Vergelijk je twee knopteksten, laat dan plaatsing, formulier en overige tekst gelijk. Zo kun je een eventueel verschil beter aan die knoptekst koppelen. Verander je meerdere onderdelen tegelijk, dan test je het totale pakket. Ook dat kan een nuttige vraag zijn, maar de uitslag vertelt je niet welk onderdeel het verschil verklaart.

Leg vervolgens één primaire maat vast. Dat is de actie waarop je de keuze baseert, je belangrijkste KPI voor deze test. Andere cijfers, zoals klikken of scrollgedrag, kunnen helpen om het resultaat te begrijpen, maar laat ze niet achteraf de hoofdvraag vervangen. Noteer ook voor welke pagina en welke bezoekers de vergelijking bedoeld is. Zo blijft duidelijk waarop het besluit betrekking heeft.

Richt de varianten en de meting in

Laat de test pas lopen wanneer beide versies goed werken. Open ze zelf op een groot en een klein scherm. Controleer of tekst leesbaar is, knoppen naar de juiste plek leiden en formulieren verzonden kunnen worden. Kijk daarna of de gekozen actie in beide varianten op dezelfde manier wordt geregistreerd. Anders vergelijk je mogelijk de meting in plaats van de pagina’s.

De verdeling moet willekeurig zijn en de variant die iemand ziet moet stabiel blijven. Controleer ook of de groepen daadwerkelijk bezoekers ontvangen. Een tool kan cijfers tonen terwijl één versie op een bepaald apparaat niet goed verschijnt. Een technische controle vooraf voorkomt dat je tijd besteedt aan een uitkomst die niet te interpreteren is. De documentatie van Optimizely laat bijvoorbeeld zien dat een experiment varianten, verkeersverdeling en meetdoelen afzonderlijk instelt; de precieze knoppen hangen van je tool af.

Verander de test niet stilletjes halverwege. Een nieuwe kop, een aangepast doel of een gewijzigd formulier maakt de gegevens van vóór en na de verandering minder goed vergelijkbaar. Moet je toch ingrijpen omdat iets kapot is, noteer dan wat er veranderde en bepaal of je de test opnieuw moet beginnen. Bewaar ook de vooraf gekozen vraag. Zonder die afspraak is het verleidelijk om achteraf alleen het gunstigste getal te kiezen.

Hoeveel bezoekers en tijd heb je nodig?

Er bestaat geen aantal bezoekers of aantal weken dat voor iedere A/B-test voldoende is. De benodigde steekproef hangt onder meer af van de huidige conversieratio, het kleinste verschil dat voor jou belangrijk is en de gekozen grens voor statistische onzekerheid. De steekproefcalculator van Optimizely vraagt daarom naar de uitgangsconversie, het minimaal te ontdekken effect en een significantiedrempel. De uitkomst van zo’n calculator is een planning voor een specifieke vraag, geen algemene garantie op een duidelijke winnaar.

Een klein verschil vraagt doorgaans meer gegevens dan een groot verschil. Bij een pagina met weinig geschikte bezoekers kan de geplande test daardoor lang duren. Reken vóór de start uit of het haalbaar is om de benodigde hoeveelheid bezoek te verzamelen. Is dat niet zo, maak je vraag scherper of kies een andere manier om de pagina te beoordelen. Een extra variant toevoegen lost een tekort aan gegevens niet vanzelf op.

De looptijd volgt uit het benodigde bezoek en het werkelijke verkeer. Kijk daarnaast of de testperiode een redelijk beeld geeft van het bezoek waarvoor je een beslissing wilt nemen. Een tijdelijke actie of een technische storing kan de vergelijking kleuren. Stop dus niet zodra B even voorligt, maar beoordeel op het vooraf gekozen moment én controleer of de opzet nog klopt.

Stel dat A 200 bezoekers krijgt en 10 formulieren worden verzonden. De conversieratio is dan 10 gedeeld door 200, dus 5%. Krijgt B eveneens 200 bezoekers en 12 inzendingen, dan is de conversieratio 12 gedeeld door 200, dus 6%. Het zichtbare verschil is 1 procentpunt. Deze kleine, fictieve aantallen laten alleen zien hoe je de ratio berekent. Ze zeggen niet of B werkelijk beter is; daarvoor moet je de vooraf gekozen steekproef en analysemethode gebruiken.

Beoordeel de uitkomst en neem een besluit

Begin met de vraag of de test technisch betrouwbaar liep. Kregen de varianten de bedoelde bezoekers te zien? Werkten de pagina’s en de meting? Was er onderweg een ingreep die de vergelijking veranderde? Als het antwoord op een van die vragen problematisch is, behandel de uitslag dan als een technische misser. Je kunt de test na herstel opnieuw opzetten, maar maak geen inhoudelijk besluit op basis van kapotte gegevens.

Is de uitvoering in orde, vergelijk dan de primaire maat met de afspraak van vóór de start. Een duidelijk verschil volgens die afspraak is een aanwijzing om voor een variant te kiezen. Kijk ook of de grootte van het verschil relevant is voor de oorspronkelijke keuze. Een statistisch signaal maakt een wijziging niet automatisch waardevol of passend voor de hele site. Optimizely’s uitleg over A/A-testen laat zien dat zelfs identieke versies door toeval soms een verschil kunnen tonen. Spreek dus over een onderbouwde aanwijzing, niet over zekerheid.

Komt er geen duidelijk verschil uit, dan is de test onbeslist voor het effect dat je wilde onderzoeken. Dat is iets anders dan bewezen gelijke prestaties. Je kunt de bestaande versie aanhouden, een keuze maken op grond van duidelijkheid of onderhoudbaarheid, of een nieuwe vraag testen. Schrijf daarbij op wat de meting wel en niet kon zeggen. Dat voorkomt dat een volgend besluit op een te stellige conclusie rust.

De les uit één experiment is beperkt tot de concrete vergelijking. Bewaar daarom de hypothese, de varianten, de meetdefinitie, de periode en de reden voor je besluit bij elkaar. Zo kun je later zien of je een nieuw idee onderzoekt of eigenlijk dezelfde vraag herhaalt. Wie hulp zoekt bij een bredere keuze rond de site, vindt die op de pagina over websites.