Kijken of ingrijpen?

Er zijn twee basismanieren om gegevens te verzamelen over de vraag of het ene invloed heeft op het andere.

• In een observationeel onderzoek meet je wat er al gebeurt en verander je niets. Je kunt bijvoorbeeld meten hoelang leerlingen slapen en welke cijfers ze halen.
• In een experiment wijs je een behandeling toe aan de eenheden en meet je daarna wat er gebeurt. Je kunt bijvoorbeeld sommige leerlingen vertellen dat ze acht uur moeten slapen en andere dat ze zes uur moeten slapen.

Met beide manieren kun je patronen vinden. Alleen met een goed uitgevoerd experiment kun je veel zeggen over oorzaak en gevolg. Dit is waarom.

Stel dat leerlingen die meer slapen in een observationeel onderzoek ook betere cijfers halen. Misschien helpt slaap. Maar misschien hebben leerlingen die meer slapen ook minder bijbaantjes, een rustiger thuis of meer georganiseerde studiegewoonten. Elk van deze dingen kan de echte reden zijn, en ze hangen samen met slaap. Zo'n verborgen variabele heet een confounder: deze is verbonden met zowel wat je onderzoekt als de uitkomst, en kan een effect nabootsen of verbergen. Wereld 5 besteedt er vier lessen aan.

Een experiment lost dit op met aselecte toewijzing. Als een muntworp (of een computer) bepaalt wie welke behandeling krijgt, verschillen de groepen op alle andere punten alleen door toeval van elkaar: slaapgewoonten, bijbaantjes, thuissituatie en dingen die je nooit bedacht had om te meten. Bij genoeg eenheden zullen de groepen gemiddeld hetzelfde zijn. Als de uitkomsten daarna verschillen, is de behandeling het enige systematische verschil dat overblijft.

Een goed experiment heeft meestal:

• Een behandelingsgroep die het geteste middel of de geteste aanpak krijgt en een controlegroep die dat niet krijgt (of het standaardalternatief krijgt).
• Aselecte toewijzing aan die groepen.
• Een placebo wanneer de verwachtingen van mensen belangrijk zijn: iets dat er hetzelfde uitziet maar onschadelijk is, zodat iedereen denkt dat hij of zij misschien de behandeling krijgt.
• Blindering: mensen weten niet in welke groep ze zitten (enkelblind), en de mensen die de resultaten meten weten dat ook niet (dubbelblind), zodat verwachtingen de metingen niet kunnen beïnvloeden.

Een voorbeeld. Een tuinier wil weten of plantenvoeding werkt. Een zwakke opzet: geef de planten bij het raam de voeding, geef de planten in de schaduw niets en vergelijk ze. Licht is nu vermengd met de voeding. Een betere opzet: nummer 40 potten, laat een willekeurige trekking 20 potten voor de voeding kiezen, houd de andere 20 als controlegroep en zet ze allemaal op dezelfde plank. Nu zijn licht, water en potgrootte door toeval gebalanceerd, en een duidelijk verschil in groei wijst op de voeding. (Een verzonnen voorbeeld, alleen om het idee uit te leggen.)

Experimenten zijn niet altijd mogelijk. We kunnen mensen niet willekeurig dertig jaar laten roken en ook niet willekeurig bepalen dat een stad een overstroming krijgt. Voor deze vragen vertrouwen we op observationele onderzoeken, een zorgvuldige opzet en meerdere bewijslijnen. We moeten er gewoon eerlijk over zijn dat het bewijs voor oorzaken zwakker is.