Stel dat er een onderzoek zou worden gedaan waarbij de inkomens die mensen verdienen zouden worden gerelateerd aan de vakken die ze op de middelbare school in hun vakkenpakket hadden. Dan zou waarschijnlijk blijken dat mensen die Latijn hebben gehad het meest verdienen. Conclusie: Als je veel geld wilt verdienen moet je Latijn kiezen, en als we alle kinderen Latijn zouden geven zou het nationaal inkomen in Nederland fors stijgen.
Helaas klopt deze redenering niet. Het probleem is selectie. Het zijn geen willekeurige leerlingen die Latijn kiezen op de middelbare school, maar juist de kinderen die toch al de beste kansen in de maatschappij hebben kiezen dit vak. Wat het onderzoek zou laten zien is dus niet dat je door Latijn te kiezen een hoger inkomen krijgt, maar dat leerlingen die later waarschijnlijk een hoog inkomen krijgen vaker Latijn kiezen.
Het is geen toeval dat leerlingen met Latijn in het pakket hogere inkomensverwachtingen hebben dan anderen. Mensen kiezen niet op basis van toeval. Als leerlingen verschillen in hun capaciteiten, ligt het voor de hand dat deze verschillen ook invloed hebben op de vakken die ze kiezen. Onderzoek dat zonder meer een vergelijking maakt tussen leerlingen, leraren of scholen die wel of niet voor een bepaalde aanpak hebben gekozen, zijn dus eigenlijk beledigend. Ze doen alsof de beslissingen niet weloverwogen, maar louter op basis van toeval zijn gemaakt.
In dit extreem voorbeeld is het duidelijk dat de redenering niet klopt, maar in iets subtielere vormen wordt de denkfout vaak gemaakt. In de Santé van februari 2010 stond een artikel over het plezier dat mensen aan een vibrator kunnen hebben “Dat seksspeeltjes de seks ook echt beter maken, blijkt uit een Amerikaans onderzoek onder ruim 2.000 vrouwen en 1.000 mannen. Daaruit bleek dat mensen die een vibrator gebruiken meer tevreden zijn met hun seksleven dan diegenen die geen seksspeeltjes gebruiken”.
De denkfout kan niet duidelijker worden samengevat. Uit onderzoek blijkt dat mensen die geen vibrator gebruiken meer tevreden zijn met hun seksleven dan mensen die hem niet gebruiken en de journalist trekt de conclusie dat daarmee wetenschappelijk is komen vast te staan dat de vibrator de oorzaak van deze tevredenheid is.
Dit soort denkfouten worden niet alleen in bladen als Santé gemaakt maar komen ook in een krant als NRC-Handelsblad regelmatig voor. Dragers van vuurwapens hebben een groter kans te worden neergeschoten. Maar komt dat doordat ze een vuurwapen dragen of dragen ze juist een vuurwapen omdat ze weten dat ze gevaar lopen? Te eenvoudig werk schaadt de loopbaan. Of zijn het de mensen met minder talent die ook aan het begin van hun loopbaan de minder leuke banen krijgen? Als vader stofzuigt, doen zonen het later ook. Of zit er iets in het karakter van deze familie, waardoor deze mannen sneller huishoudelijk werk doen? Kind lijdt niet onder baan mamma? Of gaan meer getalenteerde moeders eerder werken?
De ergste is wat mij betreft “Thuis bevallen is net zo veilig als in het ziekenhuis”. Want wie bevalt er in het ziekenhuis? Dat zijn uiteraard de aanstaande moeders die het meeste risico lopen. Als er thuis dus even vaak complicaties ontstaan als in het ziekenhuis – en dat ik wat het onderzoek waar dit artikel over gaat laat zien – dan is het eigenlijk bewijs dat thuisbevallen gevaarlijk is. Misschien niet voor iedereen. Maar wel voor de grensgevallen. In geval van twijfel zou vanuit een veiligheidsoogpunt vaker voor het ziekenhuis gekozen moeten worden.
Ook met betrekking tot het onderwijs wordt deze denkfout vaak gemaakt. Dinand Webbink wees onlangs in zijn oratie op een krantenbericht over onderzoek naar de invloed van krantenbezorgen op studieprestaties. Volgens dat onderzoek bleken leerlingen die de krant bezorgden het beter te doen op school dan anderen. En dus was het goed voor de prestaties op school om de krant te gaan bezorgen. Een tijd geleden stond in NRC-Handelsblad het bericht dat onderzoek had laten zien dat Twitter en Facebook slecht zijn voor de schoolprestaties en vorige week kwam het bericht dat meer vrienden leiden tot betere prestaties bij de studie. “Je zou kunnen denken dat het onderhouden van al die contacten tijd en energie kost, die dus niet besteed kan worden aan het studeren”, zegt de onderzoekster tegen de krant. Met de mogelijkheid dat vooral studenten waar de studie lekker bij loopt veel tijd en energie steken in het onderhouden van contacten, wordt geen rekening gehouden.
Dit is een gedeelte uit een lezing op 28 januari 2010 op de conferentie Onderzoek in de school in Utrecht
