Wat je analytics niet meet

In dit stuk

Je dashboard telt niet, het schat
Waar de gaten vandaan komen
Hoe groot is het bij jou
Wat je ermee doet
Waar dit je keuzes raakt

Kort samengevat

Je dashboard is geen telling maar een steekproef, en de dekking verschilt per kanaal.

Toestemming, blokkades en verloren verwijzers vreten elk een ander stuk weg.

Zolang je het gat niet kent, vergelijk je kanalen op cijfers die niet even compleet zijn.

Je hoeft het gat niet te dichten om ermee te rekenen, je moet het wel kennen.

Er zit bijna altijd licht tussen wat er op je site gebeurt en wat je dashboard laat zien. Dat is op zich geen probleem. Het wordt er wel een zodra je twee kanalen naast elkaar legt en concludeert dat de een beter werkt dan de ander, terwijl je in werkelijkheid twee steekproeven met een verschillende dekking vergelijkt.

Je dashboard telt niet, het schat

Een analyticspakket ziet alleen wat er naar de meting toe komt. Elke stap daarvoor kan die meting tegenhouden: de bezoeker die geen toestemming geeft, de browser die het script blokkeert, de app die de verwijzer niet doorgeeft. Wat overblijft is een deel van de werkelijkheid, en dat deel is niet voor elk kanaal even groot.

Dat laatste is het punt. Als je overal evenveel zou missen, kon je met een vaste factor rekenen en klopte de onderlinge verhouding nog steeds. Maar het verschilt per kanaal, per apparaat en per publiek, en daarmee verschuift de ranglijst waar je je budget op verdeelt.

Waar de gaten vandaan komen

Toestemming

Sinds toestemming een echte keuze is geworden, verdwijnt een deel van je bezoekers voordat de meting begint. Hoe groot dat deel is hangt af van je publiek, je banner en hoe je die banner hebt ingericht. Twee sites in dezelfde markt kunnen hier ver uit elkaar liggen.

Belangrijker dan het percentage is dat het niet willekeurig verdeeld is. Wie weigert is gemiddeld technischer en kritischer. Als dat toevallig ook je meest waardevolle publiek is, dan mist je meting precies de groep waar je het meest van wilt weten.

Blokkades

Adblockers, privacy-instellingen in de browser en netwerkfilters houden meetscripts tegen. Ook hier geldt dat het niet gelijkmatig gebeurt. Een technisch publiek blokkeert meer, en dat betekent dat de kanalen waarlangs dat publiek binnenkomt structureel te laag uitkomen.

Verwijzers die onderweg wegvallen

Een klik uit een app, een mailprogramma of een gedeelde link geeft lang niet altijd door waar hij vandaan kwam. Wat overblijft is verkeer zonder herkomst, en dat belandt op de hoop die direct heet. Die hoop groeit dus mee met alles wat je niet kunt herleiden, en dat maakt hem als getal bijna betekenisloos.

Hetzelfde gebeurt bij een gesprek dat offline begint. Iemand hoort je naam, zoekt je later op en komt binnen via een merkzoekopdracht. In het dashboard is dat een zoekmachine die zijn werk doet, terwijl de aanleiding ergens anders lag.

Hoe groot is het bij jou

Je kunt dit meten zonder een nieuw pakket aan te schaffen, door tellingen naast elkaar te leggen die op verschillende plekken in de keten zitten.

Serverlogboeken of de statistieken van je hostingpartij zien elk verzoek, ook dat van bezoekers zonder toestemming. Ruw en vol ruis van bots, maar het is een ondergrens die niets kan blokkeren.
De console van je zoekmachine telt vertoningen en klikken aan de kant van de zoekmachine zelf. Vergelijk die klikken met wat je analytics als organisch verkeer laat zien over dezelfde periode.
Je toestemmingsbanner kan zelf bijhouden hoe vaak er wordt aanvaard en geweigerd. Dat getal is de meest directe schatting van wat er aan de voorkant al wegvalt.

Wat je zoekt is geen exact percentage maar een orde van grootte, en vooral het verschil tussen kanalen. Loopt dat verschil structureel uiteen, dan weet je waar je conclusies wankel staan.

Wat je ermee doet

Het gat helemaal dichten kan niet, en dat is ook niet nodig. Wat wel helpt:

Reken met verhoudingen binnen een kanaal in plaats van tussen kanalen. Een bron die deze maand ruim boven zijn eigen gemiddelde zit, zegt iets. Diezelfde bron naast een andere leggen zegt alleen iets als je weet dat ze even compleet zijn.

Zet er een meting naast die niet van de browser afhangt. Wat mensen invullen bij de vraag hoe ze je gevonden hebben, wat er in het eerste gesprek wordt genoemd, welke aanvragen er binnenkomen na een publicatie. Dat is grof, maar het is niet blind voor de groep die je meting mist.

En houd bij welke keuzes je op welke cijfers hebt gebaseerd. Als je een half jaar later merkt dat een kanaal structureel te laag stond, wil je terug kunnen zien welke beslissingen daarop rustten.

Waar dit je keuzes raakt

Wie alleen stuurt op wat gemeten wordt, stuurt vanzelf naar het kanaal dat zich het makkelijkst laat meten. Dat is zelden hetzelfde als het kanaal dat het meest oplevert. Een bron die er in het dashboard matig uitziet kan de bron zijn waar je gesprekken vandaan komen, en een getal dat stijgt zegt op zichzelf niet dat er iets is opgelost.

Wie dit schreef

Dylan van den Bosch, Oprichter van Biite. wie is Biite · LinkedIn

Dit stuk raakt aan Data en techniek. Daar staat wat er precies onder valt en wanneer het niet past.