In Pakhuis de Zwijger in Amsterdam stond het op 20 april volledig in het teken van ‘Culture of Experimentation’, oftewel: alles rondom Analytics en Conversie. En daar wilde ik als Freelance CRO specialist uiteraard bij zijn. Maar liefst 11 talks woonde ik bij van sprekers van onder andere Google, Optimizely en Booking.com. In dit blog geef ik je een samenvatting van deze dag.

Google Analytics 4

Okay laten we beginnen met waar we met CRO altijd beginnen: data.

Het staat nu echt bijna te gebeuren, the end of an era: Google Universal Analytics. En eerlijkheidshalve moet ik toegeven dat ik een aantal maanden geleden nog niet heel blij was met Google Analytics 4. Belangrijke functies ontbraken, data verschillen waren groot en voor rapporten die ik veel gebruik had ik een routekaart nodig om ze te vinden.

Maar de laatste maanden gaan de ontwikkelingen binnen GA4 hard. Daarnaast zijn al mijn klanten over naar GA4 (gelukkig al een tijdje), het felbegeerde Google certificaat is binnen en vorige week heb ik een diepte 1-op-1 training gehad van Jasper van Joovo. Nu GA4 steeds completer wordt, begint mijn enthousiasme groter te worden. Want zoals Fergal Mohan van Google bleef benadrukken in zijn talk is er in GA4 zoveel meer mogelijk wat betreft customization.

Charles Farina van Adswerve deelde een aantal nieuwe functies van GA4 die UA niet heeft, of in ieder geval niet in de gratis versie van UA. Een aantal op een rijtje:

• Tijdelijke conversies, handig voor bijvoorbeeld campagnes
• Audience conversions: conversies voor segmenten, bijvoorbeeld alle klanten met een bestelwaarde boven de 50 euro.
• Customizing standard reports
• Custom Channel Groups
• BigQuery integratie
• Automatische gebeurtenissen, zoals scrolldiepte, downloads en videoplays. Het is wel belangrijk om deze goed te controleren want deze events worden niet altijd juist afgevuurd.
• Funnels reporting is een stuk uitgebreider en beter. En vooral fijn: te maken op basis van historische data. Dat maakt het leven van een CRO specialist echt een stukje aangenamer.

En laten we niet vergeten wat een belangrijke reden is dat GA4 in het leven is geroepen en waarom Google er zo’n haast achter zet: privacybescherming. En dan hebben we het automatisch ook over server side tagging.

Server side tagging

Server side tagging wordt vaak gepresenteerd als de holy grail. En uit die droomt haalt Simo Ahava van Simmer iedereen meteen tijdens de eerste talk van de dag. Want ja, het heeft heel veel voordelen. Vooral in een wereld waarin we steeds onafhankelijker willen en moeten zijn van (third party) cookies.

Maar er kleven ook nadelen aan. En omdat ik geen expert ben op het gebied van server side tagging citeer ik graag Simo:

‘What happens in the server stays in the server’.

Oftewel: het kan positief zijn dat een bedrijf alle data zelf in handen heeft. Maar het is dan wel de verantwoordelijkheid van het bedrijf dat er juist met deze data omgegaan wordt. En precies dat is een black box.

Meer hierover kun je lezen in een blog op de site van Simo Ahava zelf.

Onderzoeksmethodes

Brooks en T-Mobile namen bezoekers mee in specifieke onderzoeksmethodes.

EEG onderzoek T-Mobile

T-Mobile analyseerde met EEG welke emoties deelnemers ervaren tijdens het invullen van gegevens in de check-out. De aanpak hierbij was uniek: deelnemers vulden namelijk hun eigen gegevens in, dus geen fictieve informatie zoals vaak bij gebruikerstesten wordt gedaan omwille van privacy. Opvallende inzichten die hiermee zijn achterhaald:

• Het invullen van standaard gegevens zoals ‘naam’ zorgen voor lichte ‘joy’. Belangrijk is om dit inzicht niet als gegeven aan te nemen voor formulieren op alle T-Mobile heeft natuurlijk formulieren al tot den treuren getest en geoptimaliseerd.
• Wettelijk verplichte vragen zorgen, zoals verwacht, voor frustratie.
• Een uitzondering hierop is de vraag over salaris, dat vinden deelnemers zelfs leuk om in te vullen.

Maar één van de meest opvallende inzichten: hetzelfde onderzoek is uitgevoerd met fictieve gegevens en wat blijkt? Deelnemers ervaren dan hele andere emoties. Het gemak van het invullen van eigen gegevens die iedereen top of mind heeft is er dan bijvoorbeeld niet. Oftewel: als dit onderzoek was uitgevoerd met fictieve gegevens waren de eerdergenoemde effecten nooit aangetoond.

Checkout analyse Brooks

Brooks in samenwerking met Exatom analyseerden super gedetailleerd de stappen in de checkout. Een paar interessante inzichten de ze hieruit hebben gehaald:

• 9% van de bezoekers die een bepaald formulier volledig had ingevuld, vertrok alsnog nadat ze een foutmelding kregen op een veld.
• De autofill functie van Google Chrome veroorzaakt veel errors, omdat het huisnummer niet wordt ingevuld.
• Optimalisaties om deze drop-offs te verminderen zijn onder andere, zorgen dat op mobiel het toetsenbord verandert in cijfers wanneer er cijfers ingevuld moeten worden en dynamic help. Dat is een toelichting die bij een stap verschijnt op het moment dat een bezoeker deze invult.

Testen, doortesten en nog meer testen

Data hebben we besproken, check. Dan kunnen we door naar de volgende stap in CRO: het in kaart brengen van problemen kansen in de customer journey. Een rode draad die ik herkende in de talks van Booking.com, DPG Media en Beter Bed vat de onderstaande quote goed samen:

‘Fall in love with the problem, not the solution’

Kansgedreven experimenten

Focus vooral op het inzicht en ga vanuit verschillende invalshoeken op zoek naar oplossingen. Joashua Kreuger van DPG Media verwoorde dit mooi als ‘kansgedreven optimaliseren’. Deze benadering presenteerde hij als een oplossing om collega’s te enthousiasmeren over experimenteren. Om uit te leggen hoe dat werkt gebruikte hij (ongeveer) de volgende anekdote:

Als je met een groep begint aan een escape room heb je een gezamenlijk probleem. Je zit vast en je moet eruit zien te komen. Samen ga je op zoek naar het antwoord op de vraag ‘hoe komen we hieruit?’. En wat zie je ontstaan bij een escape room? Er komen allerlei uiteenlopende ideeën over hoe het probleem op te lossen. Door het probleem de kans vanuit verschillende invalshoeken te bekijken, komen er tal van oplossingen die nooit waren bedacht als je daar in je eentje over had zitten dubben.

Experimenteer met meerdere oplossingen en varianten

De aanpak van DPG is dan ook om de data en het inzicht voor te leggen aan een team van betrokken collega’s. Iedereen krijgt de mogelijkheid om oplossingen te bedenken. Deze worden met elkaar gedeeld in een sessie. Zo komen er meerdere experimenten tot stand voor één kans.

En dat werkt, toont ook de data van Optimizely aan. Experimenten met meer variaties zijn een stuk succesvoller dan experimenten met slechts twee varianten. Door meerdere varianten te testen voorkom je dat je enkel de uitvoering van een oplossing test.

Awards winning case Beter Bed

Dat door blijven testen zo belangrijk is, toonde ook de Award winning case van Beter Bed aan. Ze voerden meerdere testen uit om te achterhalen hoe de keuze voor het bezorgmoment het beste aansloot bij bezoekers. Diverse oplossingen kwamen aan bod, zoals het zelf kunnen kiezen van een bezorgmoment, het standaard inplannen op het eerste volgende bezorgmoment en het anders weergeven van de bezorgmomenten. En met resultaat, want hoewel je het niet meteen zou verwachten, werkte het beter om slechts één bezorgmoment aan te geven en dus niet de keuze bij de bezoeker te leggen.

Maar daar lieten ze het niet bij. Er volgde een interessant experiment waarbij getest werd met segmenten. Want wat nou als de impact afhankelijk is van hoe lang het duurt tot het bezorgmoment? Dat blijkt inderdaad zo te zijn. Zodra het bezorgmoment op korte termijn is (2 weken), dan werkt het beter om bezoekers te kunnen laten kiezen, maar wanneer het bezorgmoment verder in de toekomst ligt, werkt het beter om met één moment te komen.

Mooi bewijs van hoe belangrijk het is om continue te blijven experimenten en niet op te geven bij een negatief resultaat, maar ook zeker niet bij een positief resultaat.

Conclusie

Geïnspireerd en geënthousiasmeerd was mijn conclusie van de dag: wat is CRO toch een mooi vak.