Vraag ChatGPT vandaag welke webshops de beste zijn in jouw categorie. Vraag het morgen opnieuw. De kans is reëel dat het antwoord verschilt, zonder dat er iets aan jouw site is veranderd. Dat is geen storing en geen slechte prompt. Zo werken deze modellen.
De vraag die ertoe doet is: hoe erg is dat? Daar is inmiddels onderzoek naar, en het antwoord is ongemakkelijker dan de meeste tools in deze markt laten blijken.
Een variantie-analyse van AI-antwoorden over merken ontleedt waar het verschil tussen twee antwoorden vandaan komt. De uitkomst:
| Bron van variantie | Aandeel |
|---|---|
| Hetzelfde nogmaals vragen | 34,8% |
| Taal van de vraag | 31,6% |
| Merk in combinatie met context | 29,6% |
| Welk model je vraagt | 1,7% |
| Hoe je de vraag formuleert | 0,3% |
| Het merk zelf | 0,7% |
Die laatste regel is waar het om draait. Het ding dat je wil meten, of jouw merk er nu wel of niet toe doet in het antwoord, is goed voor minder dan één procent van het verschil tussen twee antwoorden. Al het andere is context en toeval.
Hetzelfde onderzoek rekent door wat je het beste kunt doen met een vast meetbudget. De winst per extra meting, ten opzichte van gewoon nóg een keer dezelfde vraag stellen:
| Waar je het budget aan besteedt | Effectiviteit |
|---|---|
| Nog een keer dezelfde vraag | 1× |
| Andere formulering van de vraag | 4× |
| Een extra model erbij | 5× |
| Een extra taal erbij | 15× |
Dit is contra-intuïtief. De reflex bij een onbetrouwbare meting is vaker meten. Maar vaker hetzelfde vragen levert vrijwel niets op, terwijl dezelfde vraag in het Engels stellen vijftien keer zoveel oplevert. Voor een Nederlands bedrijf is dat bovendien geen kunstgreep: je klanten vragen het ook in beide talen.
Als één meting nauwelijks signaal draagt, dan is een dashboard met een kaal percentage dat elke maand een paar punten beweegt geen inzicht maar een uitnodiging tot verkeerde conclusies. Iemand ziet 28% worden 34%, concludeert dat de nieuwe teksten werken, en plant er beleid op.
Eerlijker is dit: rapporteer een marge, en zeg het gewoon als het verschil binnen die marge valt. "Geen aantoonbare verandering" is een volwaardige uitkomst. Het is zelfs meestal de juiste.
Nog een cijfer uit hetzelfde onderzoek, en dit is er een dat je zelden in een verkooppraatje ziet. Zelfs een volledige opzet met acht talen, drie modellen en vijftien formuleringen komt uit op een betrouwbaarheid van ongeveer 0,36 voor het rangschikken van merken. Dat is richtinggevend, niet exact.
Wij vinden dat geen reden om niet te meten. Wel een reden om er niet over te liegen. Een trend over meerdere maanden zegt iets. Een enkel cijfer met twee decimalen zegt minder dan het suggereert.