Is de kennis uit effectonderzoek over onderwijs werkelijk zo stevig?

Welke kernboodschap vat het artikel samen?

Behandel evidence als leidraad, niet als onfeilbare waarheid; combineer onderzoek met professionele oordeelsvorming en contextkennis. Bron: Van der Zee (2024)

Welke nieuwe leereenheid stelt Van der Zee voor op lerarenopleidingen?

“Kritisch denken met en over onderwijsonderzoek” — om studenten te leren omgaan met onzekerheid in evidence. Bron: Van der Zee (2024)

Hoe vaak bevatten sociaal-wetenschappelijke onderwijsonderzoeken ontoelaatbare praktijken?

Meer dan 50% van de onderzoekers geeft toe minstens één dubieuze praktijk te hebben toegepast; 1 op 18 erkent zelfs data te hebben gefabriceerd of vervalst. Bron: Van der Zee (2024)

Wat gebeurt er met effectgroottes als de ontwikkelaar zelf bij het onderzoek is betrokken?

Effecten worden gemiddeld 1,5× groter (≈ 70% hogere leerresultaten) wanneer de ontwikkelaar meedoet aan het onderzoek. Bron: Van der Zee (2024)

Wat onthult het “hidden universe of uncertainty”-onderzoek van Breznau e.a.?

Wanneer 73 teams dezelfde dataset analyseren, lopen resultaten van groot negatief tot groot positief effect — zonder dat analysekeuzes het kunnen verklaren. Bron: Van der Zee (2024)

Hoe informatief is één (of enkele) laboratorium-experiment(en) volgens Huber e.a.?

Effectschattingen variëren sterk en zijn moeilijk te herleiden tot kwaliteit of ontwerpkeuzes; generaliseerbaarheid van losse experimenten is dus beperkt. Bron: Van der Zee (2024)

Werken cognitieve leerstrategieën die in het lab effectief zijn ook in de klas?

Groot veld-bewijs ontbreekt; de weinige grootschalige studies tonen weinig, geen of zelfs negatieve effecten wanneer leraren ze toepassen. Bron: Van der Zee (2024)

Waarom zijn veel grootschalige RCT’s in onderwijs “niet informatief”?

Ze hebben te weinig statistische power: effecten zijn klein en variabel, waardoor betekenisvolle conclusies ontbreken. Bron: Van der Zee (2024)

Hoeveel overschatten “veelbelovende” trials hun effecten volgens Sims e.a.?

Gemiddeld worden effecten met 52 % opgeblazen door power-tekort en selectieve rapportage. Bron: Van der Zee (2024)

Wat is het gevolg van publicatiebias in onderwijsresearch?

Negatieve resultaten verdwijnen uit tijdschriften, waardoor de literatuur systematisch te positief is over interventies. Bron: Van der Zee (2024)

Overschrijden meta-analyses de werkelijkheid?

Ja—meta-analyses rapporteren tot drie keer grotere effecten dan grootschalige replicaties, mede door p-hacking en bias. Bron: Van der Zee (2024)

Hoeveel investeerde de EEF al in RCT-onderzoek, en waarin schuilt de twijfel?

£ 115 miljoen; maar als studies weinig zeggen, rijst de vraag naar de kosteneffectiviteit van zulke investeringen. Bron: Van der Zee (2024)

Wat toont Surma e.a. (2018) over retrieval & distributed practice in lerarenopleidingsboeken?

Deze evidence-based strategieën komen vrijwel niet voor, wat de kloof tussen onderzoek en opleiding illustreert. Bron: Van der Zee (2024)

Wat bedoelt Kirschner met het “romantisch avondland”?

Onderwijs zou te vaak ideologie en intuïtie verkiezen boven bewezen effectiviteit—een stelling die Van der Zee kritisch nuanceert. Bron: Van der Zee (2024)

Wat is “promising trial bias”?

Kleine, positief ogende RCT’s overschatten systematisch hun effecten, waardoor interventies rooskleuriger lijken dan ze zijn. Bron: Van der Zee (2024)

Wat is het doel van de “10 redenen voor twijfel”?

Het bevorderen van een realistischer kijk op onderwijseffectiviteit en het stimuleren van dialoog in lerarenopleidingen. Bron: Van der Zee (2024)

Waarom pleit Van der Zee niét tegen evidence-informed werken?

Hij bepleit juist méér wetenschappelijk geïnformeerd denken — maar dan mét aandacht voor beperkingen en context. Bron: Van der Zee (2024)

Wat zegt de replicatiecrisis over “experts” die beweren te weten wat werkt?

Als bevindingen zelden worden herhaald, is expertise minder zeker dan gedacht; praktijk moet dus kritisch blijven. Bron: Van der Zee (2024)

Hoe vaak worden onderwijsstudies daadwerkelijk gerepliceerd?

Slechts 1 op de 500 publicaties is een replicatieonderzoek — veel te weinig om bevindingen te bevestigen. Bron: Van der Zee (2024)

Welke houding tegenover evidence beveelt Van der Zee aan?

Wetenschappelijke nederigheid: systematisch oog hebben voor beperkingen, onzekerheden, ruis en complexiteit. Bron: Van der Zee (2024)