Ulrich Blumenthal: In einer groß angelegten Studie, in der einhundert Versuche aus der Psychologie wiederholt wurden, konnte nur jedes dritte Ergebnis bestätigt werden. Seit einigen Jahren häufen sich die Hinweise, dass ein großer Teil der veröffentlichten Forschungsergebnisse falsch ist, keine neuen Erkenntnisse enthält und/oder womöglich häufig falsch-positive Ergebnisse produziert. Die Folge dieser als "Replikationskrise" bezeichneten Situation ist ein schwindendes Vertrauen in die Zuverlässigkeit und auch in die Richtigkeit wissenschaftlicher Studien. Am Wochenende fand am Mannheimer Zentrum für Europäische Sozialforschung die Open Social Science Conference 2019 statt, bei der es um die die Glaubwürdigkeit der Forschung ging und darüber geredet wurde, wie man sie verbessern könne. Ich bin jetzt verbunden mit Alexander Wuttke. Er ist Mitarbeiter des Lehrstuhls für Politische Psychologie an der Universität Mannheim. Herr Wuttke, warum kann man den sozialwissenschaftlichen Studien nicht mehr trauen?

Alexander Wuttke: In dieser Absolutheit würde ich das nicht sagen. Unsere These und unser Argument ist vielmehr, dass die Glaubwürdigkeit der sozialwissenschaftlichen Befunde nicht so gut ist, wie sie sein könnte, weil wir strukturelle Probleme im Wissenschaftssystem haben. Wir sind allerdings nicht diejenigen, die den Teufel an die Wand malen und denen Nahrung geben wollen, die grundsätzlich die Glaubwürdigkeit von Wissenschaft insgesamt in Zweifel ziehen. Weil Wissenschaft tatsächlich gut funktioniert im Produzieren von Erkenntnissen. Aber das Wissenschaftssystem momentan ist eben so aufgebaut, dass nicht derjenige belohnt wird, der glaubwürdige Wissenschaft produziert, der zeigt, dass die eigenen Befunde komplexer sind und dass er auch Befunde produziert hat, die den eigenen Hypothesen vielleicht widersprechen, sondern derjenige wird in unserem Wissenschaftssystem belohnt, der spektakuläre, einfache, nachvollziehbare und dadurch sichtbare Studien produziert. Insofern sind die strukturellen Anreize falsch gesetzt, und das führt dazu, dass wir nicht so glaubwürdig sind, wie wir es eigentlich sein könnten.

Blumenthal: Was müsste sich denn ändern, damit diese strukturellen Defizite überwunden werden und die Studien die Qualität haben, die man auch erwarten könnte?

Wuttke: Es geht darum, die individuelllen Anreize des Forschers in Einklang zu bringen mit den gemeinschaftlichen Anreizen, die wir als Wissenschaftssystem grundsätzlich haben. Und dieses Gemeinschaftsziel ist ja, nachvollziehbare Forschung zu haben. Und insofern müssen wir eben diejenigen belohnen, die beispielsweise die eigenen Daten der Allgemeinheit zur Verfügung stellen, sodass andere sich angucken können: Was hat der Forscher da eigentlich gemacht, nachrechnen können und dann zum Schluss kommen: ich komme eigentlich zu anderen Ergebnissen. In der Politikwissenschaft beispielsweise haben wir es in den letzten Jahren durchgesetzt, dass man in den Top-Journals, in denen man veröffentlichen möchte, zukünftig die eigenen Daten und die Analysematerialien hinterlegen muss, und ansonsten darf man dort nicht mehr veröffentlichen. Und insofern ist jeder gemeinschaftlich angehalten zur Transparenz. Vorher war es so, derjenige, der sich viel Mühe gegeben hat, die eigenen Daten, Replikationsmaterialien zur Verfügung zu stellen, der hatte einen Wettbewerbsnachteil gegenüber all denjenigen, die es nicht getan haben und die diese Zeit genutzt haben, um weitere Forschungsergebnisse zu produzieren. Insofern ist das ein wunderbares Beispiel, um zu zeigen, wie man Anreizsysteme ändern kann. Andere Möglichkeiten sind beispielsweise, im Berufungsverfahren solche Dinge zu honorieren.

Blumenthal: Das heißt aber, dass Sie eigentlich doch fordern, dass man quasi das Laborbuch der sozialwissenschaftlichen Forschung ins Internet stellt, öffentlich macht und für jeden nachvollziehbar seine Daten anbietet und sagt, prüfe nach, ob das, was ich publiziert habe, auch mit den Daten, die ich da eingestellt habe, übereinstimmt?

Wuttke: Genau. Das passiert bisher aber tatsächlich nicht. In der Mehrheit der politikwissenschaftlichen Studien beispielsweise bisher und in der Vergangenheit war es eben so, dass es nicht nachvollziehbar war, wie man zu Befunden gelangt ist, obwohl intersubjektive Nachvollziehbarkeit ja ein Kernprinzip des wissenschaftlichen Arbeitens ist. Wissenschaftliche Erkenntnisgewinnung unterscheidet sich ja von anderen Methoden der Erkenntnisgewinnung eben dadurch, dass man den Prozess offenlegt. Und da können wir eben viel dazu tun, und bisher war es eben so, dass diese Anreize falsch gesetzt waren. Wir verstehen uns als Open-Science-Gemeinschaft, so als diejenigen, die versuchen, dafür zu werben, weil es nach wie vor noch viel zu tun gibt.

Blumenthal: Sie haben eben einen Begriff verwendet, Open Science. Im Programm Ihrer Tagung taucht ein weiterer Begriff auf, der heißt 'präregistrierte Forschungsberichte' oder 'Präregistrierung wissenschaftlicher Studien'. Was hat das mit diesem Anspruch der Offenheit des Laborbuches zu tun?

Wuttke: Vielleicht ist nicht jedem klar, dass, wenn man empirische Forschung macht, dann hat man nicht die Daten und kommt wie von Gottes Hand zu dem empirischen Befund, sondern sozialwissenschaftliche Forschung - das gilt aber für die Naturwissenschaften auch - haben Hunderte, Tausende, oft auch Zehntausende Möglichkeiten, einen Datensatz zu untersuchen. Und dann kann man sich das auswählen, diesen Befund auswählen, der einem gerade passt, um eine spektakuläre Geschichte beispielsweise zu erzählen. Und Präregistrierung ist jetzt die Überlegung, wir wollen nicht, dass der Forschungsbefund, den wir am Ende in einer Studie präsentieren, davon abhängt, ob er nun spektakulär ist oder nicht. Sondern wir wollen, dass Forschungsbefunde alleine davon geleitet sind, ob die Analysemethode Sinn macht. Und insofern ist Präregistrierung der Vorschlag, dass, bevor wir anfangen, Daten zu sammeln, wir uns hinsetzen und überlegen, was ist die beste Methode, um diese Daten zu analysieren und auszuwerten. Das wird hinterlegt. Das machen mittlerweile Zehntausende von Forschern, und das wächst sehr stark. Das wird hinterlegt, öffentlich einsehbar, und der Forscher hat keine Möglichkeit, bewusst oder unbewusst die Ergebnisse so ein bisschen zu manipulieren, dass sie genehmer werden, um eine interessante Geschichte zu erzählen.

Blumenthal: Wenn es jetzt eine Publikation oder wenn es Publikationen gibt, die nicht wiederholt werden können, was muss man tun, um sozusagen dann auch in den entsprechenden Fachzeitschriften publizieren zu können, dass das, was in der einen Studie veröffentlicht wurde, aber jetzt nicht replizierbar ist - gibt es da inzwischen auch Wege?

Wuttke: Ja, es gibt Überlegungen, beispielsweise eigenständige Formate für Replikation, eigenständige Journale für Replikation einzuführen. Das ist wichtig, vor allem wichtig scheint uns allerdings ein kultureller Wandel zu sein. Wir haben beispielsweise in der Psychologie, was Sie ja bereits angesprochen haben, das Phänomen, dass man mittlerweile die Bedeutung von Replikation verstanden hat, dass wir in der Psychologie aber auch sehen, dass klassische Funde - Ego Depletion ist beispielsweise einer -, dass klassische Befunde nicht repliziert werden können und mittlerweile eigentlich als widerlegt gelten oder zumindest als sehr zweifelhaft. Dass das aber nicht dazu führt, dass diese klassischen Befunde nicht mehr zitiert werden. Das heißt, wir haben die Gleichzeitigkeit einerseits der widerlegten oder in Zweifel gezogenen Studien und auf der anderen Seite Replikationen. Die Replikationen sind zwar mittlerweile vorhanden und werden durchgeführt, werden aber nicht zur Kenntnis genommen. Insofern gibt es hier nach wie vor Nachholbedarf.