‘Misdragingen als pesten, vernederen en seksuele intimidatie op universiteiten.’ Maar dat onderzoek deugt niet

Als er – weer eens – een onderzoek in de media explodeert en het gaat vooral ook over vrouwen, dan slapen we er bij OPZIJ altijd een nachtje over. Dat hebben we met onszelf afgesproken, we hebben iets met onderzoeken en statistiek. Ze kunnen een enorm inzicht geven maar nogal vaak zijn ze geheel of ten dele fake news. Als het maar lekker bekt weet je als verspreider van zo’n persbericht één ding zeker: het wordt ‘opgepakt’ – zoals dat heet – en zonder kritische noot afgedrukt. Daarna wordt het een inktvlek, grote kans dat het Journaal ermee opent.

Het Centraal Bureau voor de Statistiek heeft al zo’n tien jaar geleden een competitie georganiseerd voor journalisten: wie schrijft het beste artikel, althans het beste gebaseerd op onomstotelijke cijfers en feiten. Het CBS ergerde zich aan de enorme hoeveelheid non-informatie die dagelijks het lezend en kijkend publiek bereikt terwijl het zo makkelijk zou zijn geweest om het op een goede manier te doen. Tien jaar geleden bestond de term fake news nog niet, maar fake news was all over the place, het heette alleen nog niet zo. Het leidde er toen ook toe dat het CBS met de NVJ, de vereniging van journalisten, een cursus datajournalistiek opzette. In een ander jasje bestaat die competitie nog steeds, hij loopt nu mee via de NVJ, die jaarlijks ‘tegels’ uitreikt.

We citeren uit een artikel in Trouw deze week. Het gaat ons niet om Trouw, elke krant deed het ongeveer zo:

‘Het eerste onderzoek is dat van vakbond FNV en de Vawo, de vakbond voor werknemers in de academische wereld. Zij concluderen na een rondgang onder 1100 medewerkers dat vier op de tien personeelsleden te maken heeft met wangedrag. Vrouwen zijn met 44 procent vaker slachtoffer van dan mannen, van wie 35 procent ervaring heeft met negatieve gedragingen.’

Vandaag veegt Elma Drayer in De Volkskrant in haar column de vloer aan met het onderzoek en ze motiveert haar standpunten heel goed. Het onderzoek komt niet in de buurt van representativiteit en de opzet is methodologisch beschamend.

Wie wil weten hoe er gemiddeld door mensen over iets wordt gedacht kan dat doel met een onderzoek bereiken. Met een zekere foutmarge. Je hoort dan te definiëren over welke mensen je het hebt, hoe groot die groep is om vervolgens een a-selecte steekproef uit die groep te trekken. Die steekproef – het aantal mensen dat wordt benaderd – moet groot genoeg zijn om van representatie te kunnen spreken en de steekproef moet ook dezelfde kenmerken hebben als het gaat om geslacht, leeftijden en andere zaken als gemiddeld in de totale groep kunnen worden aangetroffen.

Vervolgens moet de response voldoende zijn, tevoren weet je hoeveel mensen moeten deelnemen om van een goed onderzoek sprake te laten zijn. Het onderzoek van vakbond FNV en de Vawo komt niet in de buurt van de meest elementaire kwaliteitseisen.

Er was geen sprake van een a-selecte steekproef, er was sprake van zelfselectie: wie mee wilde doen kon meedoen. Dat is een wetenschappelijke gruwel. Het is alsof je onder Ajax-supporters een onderzoek doet naar wat ze vinden van hun club. En wat ze vinden van Feijenoord of PSV. En de uitkomst brengt als wat Nederlanders van Ajax, Feijenoord en PSV vinden. Bij een a-selecte steekproef speelt – het lijkt raar maar het is beslist nodig – het toeval een rol als het gaat om de keuze van de te benaderen personen. Ze worden min of meer door het lot aangewezen uit de gekozen doelgroep. Vervolgens gaat dat proces door tot er genoeg representativiteit is bereikt: vormen de gekozen personen een voldoende afspiegeling en is de groep groot genoeg?

Op basis van zelfselectie – iedereen mag mee doen maar lang niet iedereen doet dat – weet je één ding zeker: het wordt nooit representatief. Je krijgt alleen maar response van mensen die zich tot het onderwerp aangetrokken voelen. Voor een vaststelling van feiten is dat zwaar onvoldoende, je wilt weten wat iedereen in de groep ervan vindt. Elma Drayer zegt daarover:

1.110 deelnemers op een totaal van 54.475 universiteitsmedewerkers in Nederland (gegevens VSNU) is niet dat je zegt een indrukwekkend aantal. Bovendien zijn de invullers, lees ik in de bijlage, hoofdzakelijk werkzaam bij de sociale wetenschappen en de geestes­wetenschappen. Ook niet dat je zegt representatief.’

En:

‘Het enige tegengeluid tot op heden las ik op de website van Omroep Gelderland, die bij de universiteiten in de regio navraag had gedaan. Uit recent onderzoek aan de Universiteit Wageningen onder 4.000 van de 6.000 medewerkers bleek iets meer dan 1 procent nare ervaringen te hebben gehad op de werkvloer.’

Dit onderzoek van vakbond FNV en de Vawo  is een gemiste kans. Want – net als op andere plaatsen in de maatschappij – zal er ook op universiteiten sprake zijn van ‘Misdragingen als pesten, vernederen en seksuele intimidatie’. Dat daar onderzoek naar wordt gedaan is heel goed maar doe het dan goed, dat kost niets of niet veel meer en het levert veel meer handvatten voor oplossingen aan.