Archiv

Replikationsstudie in den Niederlanden
Effekt oder nicht Effekt - das ist hier die Frage

Was wissenschaftlich erwiesen ist, stimmt - leider nicht immer. Studien, die ältere Studien exakt wiederholen, sollen die Zuverlässigkeit von Forschungsergebnissen klären. Das klingt einfacher, als es tatsächlich ist.

Von Anneke Meyer |
    Junge Lehrerin mit Schülerin im Mathematik-Unterricht | Verwendung weltweit, Keine Weitergabe an Wiederverkäufer.
    Reproduktionsstudien sollen die Glaubwürdigkeitsstatistik von wissenschaftlichen Ergebnissen wieder auf die Höhe bringen (imageBROKER)
    Es ist früher Nachmittag. Die Wintersonne scheint durch die Fenster des Gebäudes für Sozialpsychologie der Uni Tilburg. Andrea Stovenbelt begrüßt eine Handvoll Studenten, die gekommen sind, um an ihrem Experiment teilzunehmen. Es geht um Problemlösung – das zumindest ist den Studenten vorab gesagt worden. Genauere Informationen gibt es jetzt vom Tonband. Eine Botschaft des angeblichen Studienleiters "Doktor Hamilton". Nachdem sie die Aufnahme fertig gehört haben, wissen die sechs Erstsemester, dass Doktor Hamilton sich für die Unterschiede in den mathematischen Fähigkeiten von Männern und Frauen interessiert und sie deshalb jetzt ein kleiner Mathetest erwartet.
    Vorsicht Vorurteil
    "Jeder hat schon einmal gehört, dass Frauen schlechter in Mathe sind als Männer. Und die Idee ist: Wenn man Frauen dieses Stereotyp ins Bewusstsein ruft, führt alleine das dazu, dass sie in einem Mathetest tatsächlich schlechter abschneiden."
    Eine Art selbsterfüllende Prophezeiung. "Bedrohung durch Geschlechter-Stereotype" oder "Gender Stereotype Threat" wird der Effekt in der Psychologie genannt. Er wird oft als Erklärung dafür zitiert, warum Männer dem Anschein nach besser in Mathe sind.
    "Es ist also eine sehr einflussreiche Theorie, die in vielen Psychologie-Lehrbüchern aufgeführt wird. Zahlreiche Publikationen beschreiben den Effekt. In den letzten Jahren sind aber einige Bedenken aufgekommen."
    Replikationsstudie soll Klarheit bringen
    Die wohl am schwersten wiegenden dieser Bedenken ruft eine Studie von Andrea Stoevenbelts Kollegin Paulette Flore hervor. Sie hatte Daten von 2.000 niederländischen Schülerinnen und Schülern erhoben, um Details des Effektes zu untersuchen. Nur konnte sie ihn nicht finden. Eine eingehende Literaturrecherche zeigte: Keine der vorangegangenen Studien hatte mehr als 150 Personen getestet. Und: Die meisten Untersuchungen wurden in den USA durchgeführt.
    Funktioniert Gender Stereotype Threat bei emanzipierten Niederländerinnen einfach nicht? Oder ist der Effekt vielleicht doch ein Zufallsbefund, der zu gut zu unserer Erwartung passt, um ihn nicht zu glauben? Der beste Weg, das zu klären, ist, eine der einflussreichen Studien, die den Effekt bestätigt, noch einmal zu wiederholen, also eine Replikationsstudie durchzuführen, meint Jelte Wicherts. Er ist Professor für Methodenlehre an der Uni Tilburg und Andrea Stoevenbelts Doktorvater.
    "Das Ziel ist es, eine Studie zu wiederholen, die einen bestimmten Effekt gezeigt hat. Wir machen alles ganz genauso. Aber wir führen ein paar Verbesserungen ein: allen voran größere Stichproben und eine genaue Dokumentation unseres Vorgehens. Der Wert dieses Ansatzes ist, dass wir klären können, ob es genau diesen Effekt gibt oder nicht."
    Penible Vorausplanung
    Andrea Stoevenbelt verteilt die Matheaufgaben. Schrift immer schön nach unten. Ob noch jemand Fragen hat. Nein. Alle drehen ihren Testbogen um und beginnen zu rechnen. 20 Minuten Zeit für 30 Aufgaben auf Abitur-Niveau. Kein Taschenrechner. Die Gruppen, in denen getestet wird, dürfen maximal zehn Teilnehmer umfassen und müssen Männer und Frauen enthalten. Die Stimme in der Aufnahme muss männlich sein. Eigentlich ist das alles schon von der Studie vorgegeben, die wiederholt werden soll. Aber an manchen Stellen sind Änderungen unumgänglich. So müssen etwa die Matheaufgaben an das Schulniveau des Landes angepasst werden, in dem die Daten erhoben werden. Solche Änderungen werden penibel geplant und dokumentiert. Statt des fertigen Fachartikels wird schon das Protokoll bei einem Journal eingereicht und begutachtet. Ein sogenannter "Registered Report".
    "Im Prinzip schreibt man den Großteil des Artikels schon vorab. Mit Einleitung und Methoden, aber auch Teilen der Ergebnisse: wie genau die Daten analysiert werden, nach welchen Kriterien Ausreißer ausgeschlossen werden. Das einzige was fehlt, sind die Zahlen."
    Mehr Objektivität, mehr Schutz vor unterbewussten Erwartungen ist das Ziel. Vier Gutachter müssen das Vorhaben absegnen. Darunter auch eine Autorin der Studie, die wiederholt wird. Andrea Stoevenbelt senkt den Blick. Ein bisschen ergeben, aber zuversichtlich.
    "Man unterschätzt, wie schwierig es ist."
    "Ich war am Anfang wirklich naiv. Ich dachte, das wird ja einfach. Alles steht in dem Artikel, ich muss es einfach nur noch mal machen. Aber jetzt habe ich schon ein Jahr allein mit den Vorbereitungen verbracht, das lässt einen demütig werden. Man unterschätzt, wie schwierig es ist und wieviel Zeit dafür nötig ist."
    20 Minuten sind um. Die Studenten geben ihre Aufgabebögen ab und verlassen den Raum. Ein Probedurchlauf, um den Versuchsablauf in der Praxis zu testen. Die eigentliche Datenerhebung beginnt erst, wenn die Begutachtung abgeschlossen ist. Dann sollen viele hunderte Studentinnen getestet werden. Nicht nur in den Niederlanden. Werden wir so die Wahrheit über Gender Stereotype Threat erfahren?
    "Ich möchte einfach nur sicherstellen, dass wir unser Bestes geben. Wir dürfen nicht vergessen: Auch wenn unsere Studie einen sehr hohen Standard verfolgt – es ist auch nur eine Studie."