Testen in content: simpel en zeer effectief

Bruna

Leestijd 6 min.

Bruna is marktleider op het gebied van boeken, tijdschriften, dagbladen en wenskaarten, en één van de grootste aanbieders op het gebied van papier- en schrijfwaren, cadeaus, tabak, staatsloten en schoolartikelen. Naast aankopen in de fysieke winkels is het mogelijk online artikelen te kopen via de webshop van Bruna. Bruna zet hiervoor onder andere het kanaal e-mail in om het aantal aankopen via de webshop te bevorderen.

Het is belangrijk dat de e-mails zo effectief mogelijk worden ingezet om de meeste conversie te behalen. Om te onderzoeken waarop meer conversie behaald kan worden moeten testen worden uitgevoerd.

Bruna gaf ons daarom de kans om meerdere testen uit te voeren. De verwachting was dat optimalisatie in content meer resultaat kon opleveren en met die gedachte is de eerste test opgezet. En met succes. We geven alvast inzage in één A/B-test.

De meeste conversie (aantal kliks) behalen door de beste combinatie van een subjectline en de positie van bijbehorend artikel.

2 testen: 1). specifieke subjectline met 2 verschillende posities van bijbehorend artikel én 2). generieke subjectline met 2 verschillende posities van bijbehorend artikel.

De meeste kliks worden behaald wanneer bijbehorend artikel niet de hoogste positie in de e-mail krijgt.

Wisselingen in de posities van de artikelen kunnen meer kliks opleveren op zowel de hoofdboodschap als secundaire acties.

De hypothese

In de regel geldt dat de subjectline en het eerste artikel van de e-mail bij elkaar aan moeten sluiten. Maar levert dit ook meer traffic naar de website op dan wanneer je het artikel meer naar onder in de e-mail plaatst?

De verwachting is dat wanneer we de subjectline sturen op een bepaald onderwerp van de e-mail en we bijbehorend artikel lager in de e-mail zetten, dit meer kliks oplevert dan wanneer het artikel bovenaan staat. De verwachting is namelijk dat mensen uiteindelijk opzoek gaan naar het artikel welke overeenkomt met de subjectline ongeacht welke positie het artikel krijgt. Dit vergroot de kans dat ontvangers die opzoek zijn naar desbetreffend artikel gaandeweg ook converteren vanwege andere artikelen die onder de aandacht worden gebracht.

Onderstaande 2 testen zijn uitgevoerd op een deel van de database om te achterhalen of deze hypothese klopt.

Test 1 – Specifieke subjectline

Allereerst is er een test uitgevoerd waarbij de volgende specifieke subjectline is gebruikt: ‘€5,- korting op de nieuwste Harry Potter!’. Bij deze subjectline hoort een artikel dat gaat over het kopen van het nieuwste Harry Potter boek. Het artikel is tijdens de test een keer op de eerste plaats gepositioneerd (zie e-mail A) en een keer op de derde plaats gepositioneerd (zie e-mail B). Dit artikel hebben we in de test vergeleken met een generiek artikel over de Top 100 boeken.

Resultaat test 1
Wanneer het Harry Potter artikel wisselt met het artikel over de Top 100 boeken van positie (artikel over Harry Potter verschuift van positie één naar drie en het artikel over de Top 100 boeken van positie drie naar één), zien we geen significante daling in het aantal kliks op het Harry Potter artikel.

Bijkomend voordeel is dat wanneer het Top 100 boeken artikel op de eerste plaats staat mensen hier 61% meer op klikken dan wanneer het de derde positie heeft, en vervolgens dus ook nog doorgaan naar het artikel met betrekking tot de subjectline. Je verliest dus geen kliks op het Harry Potter artikel en je wint juist meer kliks doordat het artikel over de Top 100 boeken bovenaan staat.

Het uitvoeren van A/B testen geeft inzichten die van onschatbare waarde zijn. AddToFavorites ondersteunt ons hier uitvoerig in om tot de beste resultaten te komen

Jamie Krieger, E-mail marketeer bij Bruna
Voorbeeld e-mail A: bovenaan positie Harry Potter
Voorbeeld e-mail B: bovenaan positie Top100 boeken

Test 2 – Generieke subjectline

Met de Harry Potter subjectline spreek je een zeer specifieke doelgroep aan. Daarom is vervolgens getest met een meer generiekere subjectline waar mogelijk een grotere doelgroep mee wordt aangesproken. De subjectline luidde als volgt: ‘100 topboeken gratis verzonden!’.

Resultaat test 2
Ook hier zijn soortgelijke bevindingen te zien. Opvallend is hierbij wel dat wanneer het Top100 artikel, welke dus aansluit bij de subjectline, naar de derde positie verschuift het aantal kliks met 32% afneemt. Dit levert dus een ander resultaat op dan in vergelijking met het Harry Potter artikel. Dezelfde actie leverde namelijk in test 1 geen significant verschil op. Wel is er ook in deze test een toename in kliks op het Harry Potter artikel als deze naar de eerste positie verschuift, namelijk 57%.

Dit zorgt ervoor dat het totaal aantal kliks bij test 2 ook minder is. Maar uiteindelijk zorgt alsnog de variant waarbij de subjectline en het eerste artikel niet overeenkomen ook in dit geval voor meer kliks.

Voorbeeld e-mail: onderaan positie Top100 boeken
Voorbeeld e-mail: bovenaan positie Harry Potter

Generiek versus specifiek

We concluderen dat in deze gevallen het meer kliks oplevert wanneer je het artikel, behorend bij de subjectline, op de derde positie plaatst. Zowel voor de generieke als de specifieke subjectline is dit het geval in deze testen.

Een andere belangrijke constatering is dat er bij een specifiek artikel meer kliks behouden blijven als je deze van positie wisselt dan wanneer je dit doet bij een generiek artikel.

Er is meer onderzoek nodig om het te onderbouwen, maar mogelijkerwijs komt dit doordat een specifieke subjectline ervoor zorgt dat iemand gerichter op zoek gaat naar het artikel dan bij een generieke subjectline.

Next step
Een vervolgtest is mogelijkerwijs het effect testen van een specifieke subjectline die minder populair is dan Harry Potter. Door meerdere testen uit te voeren kan worden aangetoond dat de resultaten die eerder behaald zijn daadwerkelijk representatief zijn.

Deze testen geven in ieder geval interessante inzichten en draagvlak voor het uitvoeren van vervolgtesten. Deze testen worden dan ook als erg succesvol ervaren bij zowel Bruna als bij Add to Favorites.

Meer succesverhalen