De test
Om de twee designs te testen waren vier groepen gemaakt waarvan elk 20.000 contacten die het Conrad-template ontvingen én 20.000 contacten die het Add to Favorites-template ontvingen.
Criteria
De groepen zijn allereerst gemaakt op basis van dynamische profielgegevens: het open- en klikgedrag dat ontvangers eerder in andere e-mails hebben vertoond.
| Groep 1 |
Laatste maand geopend én geklikt |
| Groep 2 |
Laatste 3 maanden geen activiteit |
| Groep 3 |
Nooit geopend én nooit geklikt |
| Groep 4 |
Laatste maand geopend, niet geklikt |
Naast segmentatie op basis van dynamische profielgegevens hebben we ook gekeken naar statische profielgegevens. We hebben gekeken naar onder andere de verdeling van evenveel mannen als vrouwen en evenveel verschillende domeinnamen (zoals Gmail adressen). Deze verschillende profielen zijn eerlijk verdeeld over de testgroepen.
Oud design vs. nieuw design
Oud design
Wat ons is opgevallen aan het oude design is dat de focus ontbreekt:
- Er is geen duidelijk begin, een ontvanger weet niet wat het doel is van de e-mail.
- Veel content die niet gestructureerd is.
- Verschillende kleuren voor de call-to-action, dus geen eenduidig signaal tot het nemen van actie.
- Losse blokken zonder samenhang.
- Veel afleiding door onder andere de menu balk.
Nieuw design
Wat opvallend aan het nieuwe design is:
- Het hoofdartikel is gekaderd met alle producten bij elkaar. Dit zorgt voor samenhang en dus focus.
- De menu balk die wel is toegevoegd op verzoek van Conrad, maar verplaatst is naar de zijkant (sidebar). Op mobiel verschuift het menu zelfs geheel naar onder.
- Op het moment dat je het eerste artikel niet interessant vindt valt je oog wel op de sidebar. Deze bevat vervolgens weer de mogelijkheid toch naar de website te gaan.
- Reviews in de e-mail wekken in het kader van ‘social proof’ extra interesse op bij de ontvanger, dus deze zijn behouden.
- Indicatie van hoeveel een ontvanger kan besparen bij de promotie van een product.
- Ruimte voor reasoning onder de call-to-action om te stimuleren een bestelling te plaatsen.
- Elementen in het design die de ogen (kijkrichting) sturen, zoals de pijltjes in de sidebar.
- Call-to-action is één kleur; geel voor het contrast.
- Onder het hoofdartikel komt weer een call-to-action die aanstuurt op het klikken naar de website.
Uitkomst van de test
Het nieuwe design heeft significant beter gescoord dan het oude design. Dit geeft reden voor het verder ontwikkelen van het nieuwe template.
- Het design zal gebruikt worden voor een nieuwe doelgroep: de zakelijke markt.
- Het design zal getest worden zonder sidebar om te onderzoeken of de sidebar de ontvangers afleidt van het doel van de e-mail en daarom leidt tot minder gerichte kliks naar de website.
