Studies onder de loep

Iedereen heeft recht op goed onderbouwde informatie, maar waar haal je die vandaan en hoe bepaal je de betrouwbaarheid? Hoe onderscheid je een verkoper die vooral uit is op geld van een onafhankelijke wetenschapper die handelt zonder direct financieel belang? In dit artikel scheid ik het kaf van het koren voor wat betreft marketing illusies en het gebruik van betrouwbare wetenschappelijke bronnen die het fundament vormen van de werkwijze van jefitcoach Ray.

Versimpeling

Wat de wetenschap complex maakt, is de relatie tussen oorzaak en gevolg. In de voedingswetenschap komt het zelden voor dat de inname van één voedingsstof altijd en eenduidig gerelateerd kan worden aan een welvaartsziekte. Mensen die bijvoorbeeld veel superfoods eten, hebben wellicht minder hartziekten dan zij die dat niet doen. Deze mensen zijn echter ook vaker actief, hoger opgeleid, eten minder verzadigd vet en roken niet.

Publicatiedruk

Veel media hebben te maken met publicatiedruk en behoefte aan nieuwswaarde, waarbij weinig tijd overblijft om wetenschappelijke resultaten te controleren. Ook onderzoekers kunnen gevoelig zijn voor druk en financiële belangen, waardoor de kans op ongenuanceerde informatie en misinterpretatie toeneemt. Positieve resultaten hebben bijvoorbeeld ongeveer drie keer zoveel kans op publicatie als teleurstellende uitslagen.

Getuigen

Bijna elk goeroeboek begint met mooie getuigenverklaringen. Vaak proberen slanke vrouwen en BN’ers je te verleiden om een wonderdieet te volgen of speciale tovermiddelen te gebruiken. Er bestaat bijna een lineair verband tussen de hoeveelheid getuigenverklaringen en het onzin gehalte in deze boeken. Meer getuigenverklaringen betekenen meer marketing illusies en minder wetenschappelijke onderbouwing.

Betrouwbaarheid

Je weet pas goed of iets werkt als het op duizenden mensen is getest en meerdere malen is herhaald door verschillende, onafhankelijke onderzoeksgroepen met vergelijkbare methoden. Betrouwbaarheid zegt iets over de kans dat een meting representatief is voor de werkelijke waarde. Vaak is epidemiologisch onderzoek naar het effect van voedingstoffen op de gezondheid problematisch, omdat de gebruikelijke inname wordt geschat op basis van vragenlijsten.   

Foutmarge

Er bestaat altijd een foutmarge omdat geen enkele uitkomst van wetenschappelijk onderzoek voor honderd procent exact is. Nieuwsmedia zullen deze marge meestal niet vermelden, originele onderzoeksartikelen doen dat wel: hoe kleiner de foutmarge, hoe betrouwbaarder het resultaat. Een significant resultaat betekent een kleine kans op resultaten die op toeval zijn gebaseerd (P < 0,05).

Placebo

Proefpersonen uit de controlegroep moeten hetzelfde behandeld worden als personen uit de groep waarmee het experiment wordt uitgevoerd. Bij onderzoeken is het daarom van belang om te werken met een controlegroep die een placebo krijgt. Dat kan bijvoorbeeld een pil zijn die er echt uitziet. Er zijn namelijk altijd mensen die positief reageren, omdat ze een ‘echt’ medicijn denken te krijgen. Je weet pas of iets werkt als de uitkomst gunstiger is dan een placebo.

Confirmation bias

Soms proberen goeroes wetenschappelijke inzichten te weerleggen. Echter, het ongelijk van stelling A is niet per definitie het bewijs voor stelling B. Hierbij kan de goeroe wetenschappelijke referenties in twijfel trekken, om vervolgens zonder enige onderbouwing het eigen gelijk te bewijzen. Vaak worden vermeende feiten en beweringen genoemd die goeroes goed uitkomen zonder in te gaan op tegenargumenten.

Dubbelblind

Doordat onderzoekers en proefpersonen met hun verwachting de uitkomst van een onderzoek kunnen beïnvloeden, wordt bijvoorbeeld aan deelnemers bij psychologische studies zelden verteld wat er wordt onderzocht. Dit betekent dat proefpersonen en onderzoekers bij een dubbelblind experiment niet weten wie het echte middel ontvangt. Validiteit is de mate waarin een onderzoek meet wat het zou moeten meten.

Meta-analyse

Een onderzoek moet relevant zijn voor mensen en niet voor dieren. Systematische reviews en meta-analyses geven een betrouwbaar en zo compleet mogelijk overzicht van alle informatie op basis van relevante onderzoeken in de literatuur. Bij een meta-analyse worden resultaten van vergelijkbare klinische studies samengevat die leiden tot een evidence based uitspraak. Het is aan de auteurs om de validiteit te bewijzen.

Conclusie

In dit artikel zijn voorbeelden besproken die helpen bij het herkennen van marketing illusies. Zo betekent een aangetoond verband nog niet meteen een causaal verband en is een onderzoeksuitslag niet automatisch herproduceerbaar. Vertrouw niet blind op beweringen die naar wetenschappelijke literatuur verwijzen, maar ontwikkel een kritische en rationele houding. Analyseer bijvoorbeeld welke belangen schuilgaan achter sponsoring van bepaald onderzoek en of resultaten reproduceerbaar zijn.