"Meine Studie wurde 2012 publiziert. Sie basierte auf einer Reihe von Experimenten und in einem davon zeigten wir Leuten ein Bild von Rodin's 'Der Denker'. Das sollte die Leute dazu bringen schärfer nachzudenken. Und danach haben wir sie gefragt, wie sehr sie an Gott glauben", sagt Will Gervais. Er war damals Doktorand an der University of British Columbia in Kanada.
Das Ergebnis seiner Studie erregte Aufmerksamkeit: Wer Rodins berühmte Statue "der Denker" betrachtet, wird zum religiösen Zweifler. Eine tolle Schlagzeile, die aber leider so nicht stimmt. Das zumindest zeigt jetzt eine Studie, die die Zuverlässigkeit von Studienergebnissen aus den Sozialwissenschaften auf die Probe gestellt hat.
Felix Holzmeister ist Postdoc an der Uni Innsbruck und hat daran mitgearbeitet: "Wir haben 21 Studien, die in den zwei vielleicht renommiertesten Wissenschaftsfachjournalen publiziert worden sind, also Science und Nature, möglichst originalgetreu wiederholt. Und 13 der 21 Studien sind repliziert worden - haben einen Effekt in die gleiche Richtung wie die Originalstudie - während acht nicht repliziert wurden. Und das ist eben sehr nah daran, was auch schon andere Studien gezeigt haben."
Dass bei acht von 21 Studien die Ergebnisse nicht reproduziert werden konnten, bedeutet: 38 Prozent der Artikel berichten Effekte, die es nicht gibt.. Bei einem ähnlichen Projekt, in der Krebsmedizin, erwies sich fast die Hälfte der untersuchten Ergebnisse als nicht haltbar. In der Psychologie fielen sogar zwei Drittel der Studien durch. Eine Garantie für die Glaubwürdigkeit von Forschungsergebnissen gibt es also für keine Fachrichtung - und auch für kein noch so hoch angesehenes Journal.
"Bauchgefühl unabhängiger Forscher" als Indikator
Holzmeister: "Grundsätzlich wäre die Überlegung zu sagen: Diese hoch publizierten Studien sind grundsätzlich reproduzierbarer, weil sie höheren Standards unterliegen, weil die Reviewer höheren Standards nach gehen. Die Ergebnisse aus unsern Studien deuten jetzt an, dass es keine großen Unterschiede gibt. Dabei muss man aber bedenken, dass wir mit unglaublich kleinen Sample Sizes zu tun haben. Wir beziehen uns jetzt auf 21 Studien. Das muss natürlich nicht repräsentativ für das Feld sein."
Ein besserer Indikator als der Impactfaktor des Journals ist tatsächlich das Bauchgefühl unabhängiger Forscher: Bevor sie mit ihren Reproduktionsversuchen begannen, fragten Felix Holzmeister und seine Kollegen 400 unabhängige Sozialwissenschaftler für jede einzelne der 21 untersuchten Studien, ob sie meinten, das jeweilige Ergebnis würde sich reproduzieren lassen oder nicht. Die Vorhersagen waren in den allermeisten Fällen richtig.
Dass jene Studie, die Rodins berühmte Figur mit religiösem Zweifel in Verbindung brachte, von den Kollegen zu Recht angezweifelt wurde, nimmt deren Hauptautor Will Gervais sportlich: "Rückblickend war unser Experiment einfach albern. Wir hatten eine winzige Stichprobe und das Ergebnis lag nur ganz knapp über der Signifikanz-Schwelle. Ich denke, eine derart reißerische Geschichte auf Basis so weniger Daten würde inzwischen nicht mehr so einfach publiziert werden."
Wissenschaftliche Zuverlässigkeit auf dem Prüfstand
Reproduzierbarkeit, die Zuverlässigkeit von wissenschaftlichen Ergebnissen, ist in den letzten Jahren ein Thema geworden, um das man nicht mehr herumkommt. Die Scientific Community ist vorsichtiger geworden. Viele Verleger fordern inzwischen sehr detaillierte Beschreibungen der Experimente, die Richtlinien für Gutachter sind angepasst worden. In den Niederlanden gibt es den ersten Forschungsfond, der Gelder nur für Reproduktionsstudien zur Verfügung stellt.
Vor allem aber hat sich das Selbstverständnis der Wissenschaftler geändert, meint Brian Nosek, Co-Autor der aktuellen Studie und Pionier des Feldes: "Als wir mit diesen Reproduktions-Projekten angefangen haben, war die übliche Reaktion: 'Warum? Wollt ihr mich kontrollieren? Misstraut ihr mir?' Dieses Mal haben wir das anders erlebt. Die Wissenschaftler, deren Studien wir ausgewählt haben, haben die Wiederholung als Teil des wissenschaftlichen Prozesses angenommen und uns sehr unterstützt. Wir müssen nicht mehr über die Frage diskutieren, 'braucht man Reproduktions-Studien oder nicht', sondern wir können jetzt darüber reden, was die Ergebnisse bedeuten."
Ein wichtiger Schritt, denn bisher war im öffentlichen Diskurs vor allem auf die Verantwortung von Verlegern und Geldgebern verwiesen worden. Den Kopf für eine fehlerhafte Studie hinhalten - wer will das schon? "Nicht reproduzierbar", das klingt nach schlechter Wissenschaft und persönlichem Versagen. Auch Will Gervais hätte es sicher lieber gehabt, sein Experiment hätte den wissenschaftlichen Elchtest bestanden. Trotzdem kann er dem Ergebnis "nicht reproduzierbar" mehr Gutes als Schlechtes abgewinnen.
Gervais: "Haben wir eine Reproduktionskrise? Ich denke nicht. Ich denke das ist nur eine Gelegenheit für uns, unsere Methoden zu verbessern"
Das Wissenschaftler anfangen die Verantwortung bei sich selber zu suchen, öffnet die Tür dafür, den tatsächlichen Wert experimenteller Wiederholung zu erschließen. Es geht nicht darum recht zu haben. Sondern darum Fehler zu erkennen, damit die Wissenschaft besser werden kann.
