(Tagesschausprecher Jens Riewa:) "Die deutschen Fußball-Nationalspieler Mesut Özil und Ilkay Gündogan sind nach einem Treffen mit dem türkischen Präsidenten Erdogan in die Kritik geraten. Die türkischstämmigen Sportler hatten sich in London mit Erdogan fotografieren lassen und ihm jeweils ein Vereinstrikot von sich überreicht."

(ARD-Reporter:) "Seine Partei AKP verbreitet die Fotos. Ilkay Gündogan signiert das Trikot mit den Worten: Für meinen verehrten Präsidenten."

Nachrichten aus dem Mai 2018. Wenige Wochen vor der Fußball-Weltmeisterschaft in Russland verursachen Mesut Özil und Ilkay Gündogan eine heftige Diskussion. Dass sie mit dem türkischen Präsidenten Recep Tayyip Erdogan posieren, der gerade im Wahlkampf ist, nehmen den beiden Fußballspielern viele übel: Sportfunktionäre, Politiker, Menschenrechtler und auch Fans.

(ARD-Moderatorin:) "Was ja natürlich jetzt ganz spannend ist und vor allem die Fußballfans umtreibt, ist: Sollen sie noch mitfahren, sollen sie nicht mitfahren?"

In einer Umfrage für "Focus Online", die einen Tag nach dem Foto erscheint, tendieren 80 Prozent der Befragten zu Nein: Die beiden Spieler sollten nicht mit zur WM dürfen. Eine Zahl, die Eindruck macht – aber nach Ansicht vieler falsch – und so zum Auslöser für eine Debatte über die Qualität von Meinungsumfragen geworden ist. Am Dienstag dieser Woche berät der Presserat darüber, ob die Umfrage so hätte erscheinen dürfen.

Umfragen sind für die politisch-mediale Öffentlichkeit immer wichtiger geworden – gleichzeitig kommen heute neue Methoden zum Einsatz, die umstritten sind. Im vorigen Jahr, dem Jahr der Bundestagswahl, wurden mehr als 230 Wahlumfragen veröffentlicht – also alle ein bis zwei Tage eine. Hinzu kamen die ebenfalls stetig mehr werdenden Erhebungen zu unzähligen politischen Einzelfragen. Im Internet kann man sich täglich an tausenden solcher Umfragen beteiligen – der digitale Wandel macht es möglich.

Auf der Grundlage von Umfragen wird Politik gemacht, wie selbst die Bundesregierung einräumen musste, als der "Spiegel" 2014 herausgefunden hatte, wie stark sich Bundeskanzlerin Angela Merkel an Umfragen orientiert. Demnach gibt das Presse- und Informationsamt im Schnitt drei Umfragen pro Woche in Auftrag.

"Man muss natürlich auch sagen, dass sowohl Politik, also die Politiker, die Staatskanzleien, die Parteizentralen, und natürlich auch die politischen Journalisten nach Umfrageergebnissen gieren, weil das eben immer den aktuellen Wasserstand angibt."

Der Sozialforscher Thomas Wind aus Heidelberg hat sich in einer jüngst erschienenen Untersuchung für die gewerkschaftsnahe Otto-Brenner-Stiftung mit der Bedeutung von Umfragen im politisch-medialen Diskurs auseinandergesetzt.

"Man hat ja diesen Begriff Horse-Race-Journalism geprägt, weil er das ganz schön wiedergibt. Es hat ja so etwas Sportliches. Man redet von Kopf-an-Kopf-Rennen der Parteien, dann werden die Kandidaten irgendwie 'gerankt'. Das heißt, man hat so eine Art Top-Ten-Listen von Politikern. Das ist auch immer spannend: Wer verliert, wer gewinnt? Das hat einfach so eine Faszination."

Umfragezahlen liefern Neuigkeiten, an die sich auch weniger aktuelle Informationen anknüpfen lassen. Sie liefern die Grundlage zu Analysen, die Stimmungen aufnehmen und beschreiben sollen – und sie dabei gleichzeitig verbreiten; vertraute Beispiele dürften sein: "SPD auf Rekordtief", oder auch "AfD auf Rekordhoch". Zahlen wirken wie zuverlässige Fakten. Deshalb nehmen viele solche Umfrageergebnisse für bare Münze und blenden die methodischen Unsicherheiten aus, kritisiert Gerd Bosbach, Professor für Statistik an der Hochschule Koblenz.

"Der normale Bürger hat das statistisch-empirische Hintergrundwissen nicht, und er bekommt es auch nicht beigebracht, weil die, die Meinungsergebnisse bekanntgeben, wollen, dass ihr Ergebnis einfach so auch akzeptiert wird. Die haben gar kein Interesse daran, die Ungenauigkeiten der Ergebnisse, die Verzerrungen der Ergebnisse darzustellen."

Weil Umfragen so bedeutsam sind für politische Entscheidungen, ist es Rainer Schnell besonders wichtig, dass sie korrekt sind. Schnell ist Professor für Methoden empirischer Sozialforschung an der Universität Duisburg-Essen.

"Von daher muss es eigentlich das Interesse sowohl von Wissenschaftlern als auch von Bürgern aller Art sein, dass eine ihrer wichtigsten Beschaffungsmethoden für Informationen über den Zustand einer Gesellschaft korrekt funktioniert."

Dass jetzt überhaupt über die Qualität von Umfragen diskutiert wird, liegt an neuen Erhebungsmethoden im Internet. Nach der klassischen Methode werden Bürger zu Hause angerufen und nach ihrer Meinung gefragt – das kostet Zeit und Geld, bis die Daten vorliegen.

Im Netz lassen sich Meinungen dagegen viel schneller abfragen: Ein Klick, und die Stimme wird gezählt und ein Ergebnis ausgespielt. Vorangetrieben wird diese Entwicklung von Online-Meinungsforschern wie Civey und YouGov. Eine Umfrage von Civey ist es, gegen die klassische Meinungsforscher wie Manfred Güllner jetzt vorgehen. Güllner ist Geschäftsführer des Meinungsforschungsinstituts Forsa in Berlin, das seit 1984 Umfragen für Politik und Medien durchführt. Ihn hat die Civey-Umfrage bei "Focus online" über Özil und Gündogan alarmiert.

"Das war eine Befragung, wo eben eine Mehrheit meinte, die beiden Herren sollten ausgeschlossen werden aus der deutschen Nationalmannschaft, während wir ja auch mit anderen seriösen Instituten festgestellt hatten, dass das die große Mehrheit nicht wollte. Und da zeigt sich ja auch noch die Gefahr von solchen Falschmeldungen, die als repräsentative Meinung der Bevölkerung ausgegeben werden, weil hier ja die Gefahr ist, dass das die Ausländerfeindlichkeit steigert. Solche Zahlen, wie sie jetzt von Focus online veröffentlicht worden sind, bergen eine Gefahr in sich."

80 Prozent gegen Özil und Gündogan – die Zahl erscheint Güllner viel zu hoch. Er führt zwei weitere Umfragen an, die auf geringere Werte von 36 beziehungsweise 25 Prozent gekommen sind, wenngleich auch mit etwas anderer Fragestellung. Die geringeren Werte sind von Emnid und Forsa erhoben worden, auf dem klassischen Weg per Telefon. Die 80 Prozent hat das Berliner Startup Civey ausschließlich online erhoben.

Deswegen hat Forsa Beschwerde eingelegt – zunächst einmal nicht beim zuständigen Rat der Deutschen Markt- und Sozialforschung, sondern auf einem Umweg. Zusammen mit dem Institut für angewandte Sozialwissenschaften Infas und der Forschungsgruppe Wahlen des ZDF hat sich Forsa beim Deutschen Presserat beschwert – und zwar über "Focus online", das die Umfrage veröffentlicht hat.

Der Presserat wacht über den Pressekodex, dem sich die meisten Print- und Online-Redaktionen in Deutschland verpflichtet haben. Im Presserat sitzen vor allem Vertreter von Verlagen und Redaktionen – und keine Experten für Meinungsforschung. Er kann nicht über die Qualität der Umfrage entscheiden, aber darüber, ob sich "Focus online" an die Richtlinie 2.1 im Pressekodex gehalten hat, in der es heißt:

"Bei der Veröffentlichung von Umfrageergebnissen teilt die Presse die Zahl der Befragten, den Zeitpunkt der Befragung, den Auftraggeber sowie die Fragestellung mit. Zugleich muss mitgeteilt werden, ob die Ergebnisse repräsentativ sind."

Repräsentativ bedeutet: Würde man alle Menschen in Deutschland befragen und nicht nur eine Auswahl wie für die Umfrage, so würde das Ergebnis mit großer Wahrscheinlichkeit ziemlich ähnlich ausfallen. Das Label "Repräsentativität" gilt als Gütesiegel für Umfragen. Und im Kern des Streits unter den Meinungsforschern geht es um die Frage, wie man Repräsentativität herstellen kann.

Viele Wissenschaftler glauben nicht, dass das ausschließlich per Online-Umfrage geht. Für Manfred Güllner ist entscheidend, dass jeder aus der Gruppe, über die man eine repräsentative Aussage treffen will, die Chance bekommen muss, an der Umfrage teilzunehmen.

"Das klassische Verfahren ist, eine sogenannte Zufallsauswahl vorzunehmen, die eben sicherstellt, dass hier die verschiedenen Bevölkerungsgruppen auch mit dem Anteil, wie sie in der Gesamtbevölkerung vertreten sind, in der Stichprobe vertreten sind."

Das geht nur, wenn man ein Verzeichnis aller möglichen Befragungsteilnehmer hat, die man zufällig ansprechen kann. Per Telefon ist das möglich: Weil es dort ein solches Verzeichnis gibt und zumindest in den letzten Jahrzehnten 90 Prozent der Bevölkerung per Festnetztelefon erreichbar waren.

Ein Verzeichnis aller Internetnutzer gibt es nicht. Bei Online-Umfragen kommt es also zu Verzerrungen, sagt Statistiker Bosbach.

"Leute, die sich dort anmelden, machen einen großen Aufwand. Denen ist es halt wichtig, dass ihre Meinung Einfluss nimmt. Und das ist schon ein ganz kleiner Ausschnitt aus der Bevölkerung. Also insofern ist das schon mal von der Warte her nicht repräsentativ."

Die Wissenschaftler sprechen vom "self selection bias" – also einer Verzerrung dadurch, dass sich die Teilnehmer einer Umfrage selbst rekrutieren. Das hält auch der Duisburger Sozialforscher Rainer Schnell für das entscheidende Problem bei Online-Umfragen.

"Selbst rekrutierte Personen unterscheiden sich nach den Untersuchungen in der Psychologie systematisch wie Freiwillige von Nicht-Freiwilligen, und das heißt, die sind im Durchschnitt ein bisschen jünger, ein bisschen intelligenter, ein bisschen sozialer, ein bisschen neurotischer."

Diese Verzerrung bei den Teilnehmern der Umfrage lasse sich bei der Gewichtung der Daten nicht mehr ausgleichen, sagt Schnell. Das Civey-Team glaubt allerdings durchaus, dass das möglich ist. Mitgründerin und Geschäftsführerin Janina Mütze sieht das bisherige Umfrage-System in der Krise und setzt deswegen auf Online-Erhebungen.

"Wir machen das aus dem Grund, weil wir einfach festgestellt haben, dass am Festnetztelefon niemand mehr mitmacht. Es gibt Studien, wo wir feststellen, dass die Teilnahmebereitschaft im einstelligen Prozentbereich liegt, und die Tendenz ist stark abnehmend."

Die Forschungsgruppe Wahlen spricht immerhin noch von weniger als 40 Prozent, in anderen Schätzungen ist von weniger als 20 Prozent die Rede. Diese Ausfälle sind durchaus ein Problem für die klassischen Meinungsforscher.

Dass Civey bei Online-Umfragen tatsächlich nicht mit der klassischen Zufallsauswahl operieren kann, räumt Mütze ein. Civey ist darauf angewiesen, dass sich Teilnehmer melden. Es bindet seine Umfragen vor allem bei Online-Medien ein, etwa bei "Spiegel online", dem "Tagesspiegel" und der "Augsburger Allgemeinen" – Angebote von insgesamt mehr als 20 Redaktionen, und dort auf hunderten Unterseiten. Hinzu kämen hunderte Blogs, so dass insgesamt zehntausende Seiten bespielt würden.

So findet sich zum Beispiel unter einem Artikel zur Merkel-Nachfolge bei "Spiegel online" eine Abstimmung zur Sonntagsfrage: Wen würden Sie wählen, wenn am Sonntag Bundestagswahl wäre? Wer hier eine Partei anklickt, wird gebeten, sich mit Geschlecht, Geburtsjahr und Postleitzahl anzumelden – und bekommt dann Ergebnisse angezeigt.

Naturgemäß machen dabei nur motivierte Nutzer mit. Und sie beantworten auch nur die Fragen, auf die sie Lust haben. Civey nutze das Problem dieser Selbstauswahl aber ganz bewusst für sich, sagt Janina Mütze.

"Wir nutzen ganz bewusst, dass jemand, der auf einem Medium sich einen Artikel der Innenpolitik zum Thema Flüchtlingskrise durchliest, genau zu diesem Thema auch gefragt wird. Statistisch ist diese Abstimmung total wertlos. Deshalb nutzen wir sie nicht in unserem Algorithmus, aber wir nutzen diese Stimme, um mit dem Nutzer erst mal in Kontakt zu kommen. Und der Nutzer beantwortet dann nach der Frage zur Flüchtlingskrise im Schnitt 19 weitere Fragen, und das sind die Stimmen, die für uns wertvoll werden, weil wir ihn dort immer mehr aus dem Kontext, der ihn eigentlich interessiert, rausholen und ihm Fragen zu ganz unterschiedlichen Themen stellen."

Deswegen zählt Civey nur die Stimmen der Teilnehmer, die sich registriert haben. Anschließend gewichtet Civey ähnlich wie alle Meinungsforscher: Die Stimmen derer, die unterrepräsentiert sind, werden stärker gezählt, und die geringer, die überrepräsentiert sind.

Trotzdem ersetze das Civey-Verfahren die Zufallsauswahl nicht, finden viele Wissenschaftler. Rainer Schnell aus Duisburg bemängelt, dass Civey seine Methoden nicht ausreichend offenlege.

"Wir haben keine technischen Details, wie die Gewichtung tatsächlich funktioniert. Wir haben eigentlich noch nicht einmal ein im Detail vorgestelltes statistisches Verfahren. Der Nachweis, dass es funktioniert, muss von denjenigen erbracht werden, die diese Methode vorstellen."

Die Özil-Gündogan-Umfrage wurde tagsüber an einem Werktag durchgeführt und schon um 16.05 Uhr veröffentlicht. Forsa, Infas und die Forschungsgruppe Wahlen schreiben in ihrer Beschwerde an den Presserat:

"Es können also nur Personen an der Umfrage teilgenommen haben, die innerhalb eines sehr knappen Zeitfensters von einigen Stunden an genau diesem Tag auf einer Webseite waren, auf der die Umfrage geschaltet wurde. Dass es sich hierbei schon durch die Auswahl des Zeitfensters und der Webseiten um einen sehr speziellen Personenkreis und keineswegs um ein repräsentatives Abbild der Bevölkerung handeln kann, ist selbsterklärend."

Experte Rainer Schnell erklärt: Für aussagekräftige Ergebnisse müsse man auch mit denen sprechen, die schwer erreichbar seien. Die unterschieden sich nämlich systematisch von denen, die leicht erreichbar seien.

"Bei den ernsthaften Studien, die wir haben, haben wir Feldzeiten, wie wir das nennen, von Wochen, wenn nicht Monaten. Zum Beispiel bei medizinischen Studien haben wir Feldzeiten von mehreren Monaten, weil Sie zum Beispiel auch schwer Erkrankte oder Leute, die in Auslandsaufenthalten sind, berücksichtigen müssen. Und von vornherein zu deklarieren, das ist für uns irrelevant, und wir schaffen das innerhalb von 24 Stunden, das ist wissenschaftlich nicht zu verantworten."

Dabei sagt Civey-Geschäftsführerin Mütze, ihr Ergebnis sei zumindest für den Zeitraum der Erhebung repräsentativ. Civey habe sehr viel mehr Emotionalität bei den Befragten mitgenommen.

Für Sozialforscher Wind steckt hinter dieser Beschleunigung von Umfragen auch ein geniales Geschäftsmodell.

"Die Umfrage von gestern ist heute Makulatur, die von gestern schreit nach der nächsten. Und das was jetzt zum Beispiel die Online-Marktforscher nun versprechen – und das ist ja eigentlich der nächste Schritt der Beschleunigung – nämlich die versprechen Umfragen in Echtzeit –, das hat natürlich eine Faszination."

Dass Journalisten die Qualität solcher Umfragen tatsächlich beurteilen können, bezweifelt der Sozialforscher Rainer Schnell von der Uni Duisburg-Essen allerdings.

"Und wenn Sie jemanden haben, der ein konkurrenzlos preiswertes Produkt anbietet, und Sie das nicht als sinnlos identifizieren können, dann werden Sie, weil Sie ja sonst keine Kriterien haben, vermutlich den billigeren Anbieter wählen."

Klassische Erhebungen per Telefon sind teurer als die im Netz. Forsa, Infas und die Forschungsgruppe Wahlen müssen für jede Umfrage bezahlt werden, eine von Civey bekommen Medien relativ günstig – aber nicht umsonst, sagt Geschäftsführerin Janina Mütze: Es werde Werbefläche gegen Werbefläche getauscht.

"Mit unseren Medienpartnern gibt es in der Regel einen sogenannten Barter Deal. Das heißt, Medienpartner bezahlen vor allem mit ihrer Reichweite. Sie geben uns Flächen, die sie ansonsten teuer für Werbung verkaufen würden, und anteilig an der Reichweite, die sie uns liefern, kriegen sie Umfragen exklusiv."

Bei der Beschwerde vor dem Presserat geht es deshalb indirekt durchaus auch um Marktanteile. Focus-online-Chefredakteur Festl wirft Forsa, Infas und der Forschungsgruppe Wahlen deshalb vor, den Presserat für ihre wirtschaftlichen Interessen zu instrumentalisieren. Auch für Civey-Chefin Mütze "liegt der Verdacht nahe, dass es auch unternehmerische Gründe haben könnte."

Beschwerdeführer Manfred Güllner von Forsa kontert, es gehe um die wissenschaftlichen Methoden und nicht um Marktanteile.

"Civey ist ja im Grunde genommen kein ernsthafter Konkurrent von uns."

Wenngleich Güllner mit manchen Umfrageergebnissen von Forsa und auch seiner teils gewagten Interpretation seiner Daten durchaus selbst in der Kritik steht, methodisch nicht ganz sauber zu arbeiten.

Civey hat zwei Gutachten vorgelegt, um seine Position zu stützen. In einem argumentiert die Betriebswirtschaftlerin Ricarda Bouncken von der Universität Bayreuth, der Vorwurf, Online-Befragungen seien nicht repräsentativ, sei nicht haltbar. Im anderen erklärt der Statistikprofessor Ulrich Rendtel von der FU Berlin, dass sich der Begriff der "Repräsentativität" einer exakten Definition entziehe. Die Umfrageergebnisse von Civey ließen Rückschlüsse auf die Grundgesamtheit zu. Bei Rendtel haben einige Civey-Mitarbeiter studiert.

Wie der Presserat diese Woche entscheidet, ist aber völlig offen. Er muss sich nicht in Grundlagen der Statistik einarbeiten, um zu beurteilen, ob "Focus online" die Umfrage ausreichend geprüft hat und damit dem Anforderungen des Pressekodex nachgekommen ist. Von der Entscheidung des Presserats könnte aber abhängen, in welche Richtung diese Diskussion geht.

Denn an dem Problem, dass immer weniger Leute am Telefon erreicht werden und dann auch Auskunft geben wollen, kommen laut Sozialforscher Thomas Wind die klassischen Meinungsforscher nicht mehr vorbei.

"Das heißt, es spricht letztlich vieles dafür, Umfragen demnächst verstärkt im Netz zu machen. Nur stellt sich dann halt dort das Problem, dass die alte Methode der Zufallsauswahl nicht mehr funktioniert, und das stellt dann halt sozusagen die Repräsentativität alten Schlages in gewisser Weise infrage."

Inzwischen bereitet Forsa nach eigenen Angaben auch eine Beschwerde beim Rat der Deutschen Markt- und Sozialforschung vor. Anders als der Presserat ist er in der Lage, sich auch inhaltlich mit den Vorwürfen zu beschäftigen.

Das Problem, welchen Ausschnitt der Meinung die in immer dichterer Folge erscheinenden Umfragen wirklich wiedergeben, wie haltbar und glaubwürdig also politische wie mediale Analysen auf der Grundlage von Umfragen sind – das wird aber auch der Rat der Sozialforscher so schnell nicht lösen können.