Es ist ein Twitternutzer, der keinen Namen trägt, nur eine Mischung aus Nummern und einem Wort. Er hat drei Follower, also Mitlesende, auf Twitter. Er ruft nicht zu Straftaten auf, aber er verbreitet Meldungen des sogenannten Islamischen Staates weiter. Zum Beispiel diesen Text, der in eine Bilddatei eingebettet ist:

"Insiderquelle bestätigt gegenüber "A´maq Agentur", dass der Durchführer der Märtyreroperation in der Stadt Ansbach in Deutschland einer der Soldaten des Islamischen Staates ist"

Wir benachrichtigen daraufhin Twitter, dass das Bild mit dem Text gegen die Nutzungsbedingungen verstoße. Notice and Takedown, Benachrichtigen und Entfernen, so lautet die simple Beschreibung dieses derzeit üblichen Verfahrens. Die Betreiber der Plattformen müssen prüfen, ob es tatsächlich so ist, wie der Nutzer es gemeldet hat.

Nicht nur der Attentäter von Ansbach, auch der von Würzburg soll ein Soldat des IS gewesen sein, behauptet der selbst ernannte Islamische Staat. Ein Bekennervideo wird von A'maq im Internet veröffentlicht. A'maq ist die inoffizielle Pressestelle des IS. Viele Fragen sind zu diesem Zeitpunkt noch offen. Hat der Attentäter sich selbst radikalisiert? Bundesinnenminister Thomas de Maizière verweist im ZDF auf die Problematik, dass extremistische Inhalte im Internet verfügbar sind. Das möchte er nun noch stärker angehen:

"Wir sind intensiv mit den Providern im Gespräch. Wir wollen, dass Anleitungen zum Bombenbauen, dass Anstachelungen zum Hass, dass das verschwindet aus dem Netz. Das ist schwierig, die Anbieter sind oft nicht in Deutschland. Die sagen 'wir sind neutral, es gibt Meinungsfreiheit, wir können das nicht beurteilen, das ist eine andere Sprache' und so weiter. Aber ich halte das nicht für überzeugend. Wir wollen, dass die Provider selbst eine Haftung dafür übernehmen, wenn Straftaten in ihrem Netz stattfinden."

Unter dem Stichwort "Hate Speech" – Hass-Rede – wird in Deutschland seit gut einem Jahr intensiv über problematische Inhalte des Internets diskutiert. Insbesondere Bundesjustizminister Heiko Maas versucht die Unternehmen zu mehr Eigeninitiative zu bewegen. Dabei geht es auch um Sexismus, Rassismus und die Grenzen der Meinungsäußerungsfreiheit. Bei zweifelsfrei strafrechtlich relevanten Inhalten hingegen ist auch für die Anbieter klar: die wollen auch sie auf ihren Plattformen nicht dulden. In den Nutzungsbedingungen ist Terrorpropaganda verboten.

Doch aktiv dagegen vorzugehen, dazu wollen sich die Betreiber auf keinen Fall verpflichten lassen. Sie seien keine Ermittlungsbehörden oder Richter. Und auch technisch, betonen sie, sei die Identifikation derartiger Inhalte enorm schwierig. Aber stimmt das?

Seit dem Jahr 2011 arbeiten Forscher im Cyberterrorism Project der britischen University of Swansea an einer Bestandsaufnahme des Propagandamaterials islamistischer Terrororganisationen. Neben mehreren tausend Fotos und Videos, Hassbotschaften mit mehr als einer Million Worte und unzähligen "Terror-Selfies" mit Einzel- oder Gruppenbildern von mutmaßlichen Terroristen sind sehr umfangreiche Propaganda-Magazine auf verschiedenen Web-Servern verfügbar: Ob "Inspire" von Al-Kaida, "Azan ", das Magazin der Taliban, "Dabiq" vom so genannten Islamischen Staat oder "Gaidi Mtaani von Al Schabab - alle Magazine werden intensiv auf Twitter, Facebook und anderen Social-Media-Plattformen beworben.

Der Frankfurter Kommunikationsexperte Sascha Stoltenow gilt in Sicherheitskreisen als ausgewiesener Spezialist für Propaganda des IS. Er gibt zu bedenken: "Man hat es insbesondere bei Twitter gesehen. Dort wurden in einer größeren Aktion mehrere zehntausend Accounts, die dem IS zugeordnet waren, gelöscht. Innerhalb kürzester Zeit waren vergleichbare Accounts wieder online."

Genau genommen zwölf Stunden haben die Terroristen des IS gebraucht, um insgesamt 30.000 neue Accounts auf Twitter zu eröffnen. Bei Facebook hat man ähnliche Erfahrungen gemacht. Wurde ein Benutzerkonto gesperrt, weil Hasspropaganda oder Aufrufe zu Straftaten darüber veröffentlicht wurden, tauchten dieselben Botschaften auf anderen, auf neuen Accounts wenige Stunden später wieder auf. Sascha Stoltenow zieht daraus die Konsequenz:

"Wir sehen an dieser Diskussion über Hate Speech auf Facebook, die in Deutschland ja einen externen Dienstleister damit beauftragt haben, Hasskommentare rauszufiltern, angeblich mit bis zu 400 Personen, dass einfach die Masse der Nutzer und die Menge des Materials es quasi unmöglich machen, alles in kurzer Zeit auch in den Griff zu bekommen."

Die National Security Agency und das Cyber Command der amerikanischen Armee haben Internet-Server, auf denen islamistisches Propagandamaterial gespeichert war, während der vergangenen 15 Jahre immer wieder gezielt ausgeschaltet. Die Wirkung dieser Aktionen beschreibt Sascha Stoltenow so:

"Es bringt Wirkung vielleicht für den unbedarften User, der zufällig über irgendwelche Propaganda oder über grausame Videos oder Bilder stolpert. Für die Menschen, die sich gezielt der Struktur des Internets bedienen wollen, diese Sachen zu verbreiten, kann ich auch solche zentralen Knotenpunkte umgehen. Ich verbreite einfach direkt die Links. Und dann ist einfach die schiere Masse und die dezentrale Struktur des Internets so gebaut, dass ich es nicht wirkungsvoll unterdrücken kann."

Die Internet-Server, über die islamistische Propaganda-Magazine verbreitet werden, sind noch mit vertretbarem Aufwand ausfindig zu machen. Amerikanische und britische Behörden setzten sehr stark auf Bilderkennungssoftware und Algorithmen für die Mustererkennung. Doch schon bei den Fotos der Taliban hat ihre Technik weitgehend versagt. Als Bilder mit terroristischen Inhalten wurden nicht nur Fotos mit Kämpfern in Afghanistan indiziert, sondern auch viele Babyfotos. Der Erkennungs-Algorithmus ließ sich vom Weißanteil der Bilder in die Irre führen.

Deshalb arbeiteten die Ermittler dann mit den Metadaten der Fotos. Bilder, die in zeitlicher Nähe zu einem Attentat aufgenommen wurden, Bilder mit bestimmten Geolokalisationsdaten und Bilder, die für Terroristen-Selfies typische Blendenwerte aufwiesen, wurden auf den Index gesetzt. Eigens entwickelte Schutzsoftware sollte die Bilder erkennen und ihre Weiterverbreitung verhindern. Doch auch diese Schutzsoftware tricksten die mutmaßlichen Terroristen aus. Der britische Sicherheitsexperte David Emm beschreibt die Methode.

"In einigen Fällen haben sie sehr raffinierte Tricks eingesetzt, um die Schutzsoftware auszuschalten. Zum Beispiel nutzen sie eine Funktion in Unicode, mit der der Dateityp verheimlicht werden kann. So haben sie Dateien mit Bildschirmfotos als harmlos aussehende PDF-Dateien getarnt."

Und diese PDF-Dateien mit ihren Terror-Bildern und Aufrufen zur Gewalt wurden von den Algorithmen nicht erkannt. Das britische General Communications Headquarters, abgekürzt GCHQ, ging einen Schritt weiter. Dort baute man eine Datenbank mit den Kameradaten der mutmaßlichen Terroristen auf. Der Dresdener Forensiker Jakob Hasse erläutert, was dahintersteckt.

"Bei der Videoaufnahme werden gewisse Fehler des Sensors von der Kamera mit in das Bild eingefügt. Man kennt das vielleicht bei Fotoaufnahmen, dass ab und zu eins der Bildpunkte immer hell sind oder einzelne immer dunkel, solche Fehler werden auch in das Videomaterial eingefügt. Und diese Fehler sind eindeutig für Ihre Kamera."

Die Erkennungssoftware wurde so weiterentwickelt, dass sie diese Sensorfehler von Kameras erkennen konnte, die mutmaßlichen Terroristen in der Vergangenheit verwendet hatten. Wurde ein Video oder ein Foto mit einem solchen Sensorfehler gefunden, wurde die Webseite gesperrt und das Bildmaterial gelöscht.

Die Ermittler glaubten, endlich eine effiziente Suchmethode für Propaganda-Videos und Terror-Selfies gefunden zu haben. Doch nach wenigen Wochen stellte sich heraus: Die mutmaßlichen Terroristen waren längst auf andere Kameras umgestiegen und mehr noch: Sie verwendeten dieselbe Kamera nur noch zwei oder drei Mal. Die mit einigen Millionen Pfund aufgebaute Sensor-Datenbank des britischen GCHQ erwies sich damit also als Flop im Kampf gegen die Terrorpropaganda im Netz.

Und beim amerikanischen Auslandsgeheimdienst CIA hat man die Erfahrung gemacht, dass selbst das gezielte Ausschalten von Servern oder Netzsperren diese Propaganda kaum unterdrücken kann. Bei einer Netzsperre wird die Weiterleitung über die Netzdatenbank mit den Internet-Protokolladressen gesperrt. Jeder Web-Server im Internet hat neben der menschenlesbaren Adresse wie deutschlandfunk.de auch eine Internet-Protokoll-Adresse, also eine Art Telefonnummer im Netz, zum Beispiel 88.215.236.12.

Erst über diese eindeutige Internet-Protokoll-Adresse kann eine Webseite oder ein Server aufgerufen werden. Bei einer Netzsperre wird diese logische Verbindung verhindert: Denn der Server wäre nicht auffindbar – zumindest für unbedarfte Nutzer. Doch die Umgehung solcher Sperren ist vergleichsweise einfach.

"Derjenige, der sich radikalisieren möchte, der tatsächlich diese Informationen sucht, oder aktiv versucht, auf diese Informationen zuzugreifen, der wird immer auf diese Informationen zugreifen können – das ist eben genau die Natur des Netzes", sagt Klaus Landefeld, Infrastrukturvorstand beim Verband der Internetwirtschaft Eco. Solche Sperren gegen Youtube, Facebook oder Twitter einzurichten, das kommt in Deutschland und Europa nicht in Frage – anders als zum Beispiel zeitweise in der Türkei, in China oder dem Iran. Weshalb die Politik derzeit vor allem an die Betreiber der großen Angebote herantritt, wie Landefeld berichtet:

"Alle diese Sachen, die wir momentan hier mit den Social Networks besprechen, hängen da dran, dass es hier einen Betreiber gibt. Das haben wir aber nicht überall. Es gibt genug Verbreitungsmethoden im Netz, die ganz bewusst darauf angelegt sind, eben nicht einen zentralen Betreiber zu haben."

Eine mögliche Antwort: das Problem auf größerer geografischer Ebene anzugehen – auf Ebene der Europäischen Union. Auch der Bundesinnenminister setzt darauf, dass in Brüssel Lösungen gefunden werden. Aber welche das sein sollen? Und wofür genau?

Ob terroristische Propaganda, Hassbotschaften, Counter Speech: im Sprachgebrauch der EU werden diese Begriffe nicht sehr scharf voneinander getrennt. Mit einer Vielzahl von Initiativen und Vorhaben will man gegen eine mögliche Radikalisierung von Menschen über das Internet vorgehen. Das Grundprinzip: Staat und Privatwirtschaft arbeiten eng zusammen, wie der Anti-Terror-Beauftragte der EU, Gille de Kerchove, erklärt:

"Wir müssen unser Vorgehen beim Entfernen solcher schrecklicher Inhalte und bei der Gegenrede ausweiten. Das können wir nur gemeinsam erreichen. Die Privatwirtschaft hat viel Geld und technisches Wissen. Sie können kleineren Unternehmen mit weniger Erfahrung helfen."

Seit gut einem Jahr arbeitet die Internet Referral Unit, kurz IRU, angedockt bei der europäischen Polizeibehörde Europol. Einerseits soll sie als Kompetenzzentrum fungieren und Behörden beim Umgang mit terroristischen und zur Gewalt aufrufenden, extremistischen Inhalte beraten. Zugleich sollen die Beamten solche Inhalte ausfindig machen und deren Löschung bei den Betreibern veranlassen. In 91 Prozent der Fälle war dieses Vorgehen erfolgreich, wie die IRU in ihrem ersten Jahresbericht stolz verkündet. Noch befindet sich das Team im Aufbau, bis Jahresende sollen dort 21 Mitarbeiter beschäftigt sein.

Seit Ende vergangenen Jahres gibt es außerdem ein festes Gremium für die Zusammenarbeit mit der Wirtschaft, das EU-Internet Forum:

"Ich habe mit Unternehmen wie Facebook, Twitter, Google und Microsoft Kontakt aufgenommen. Sie sollen Daten zur Verfügung stellen, wie sie den Rechtsrahmen beim Löschen von Inhalten umsetzen, wie sie mit illegalen Hassbotschaften umgehen und zur Effizienz bestehender Werkzeuge und Mechanismen", kündigte Justizkommissarin Vera Jourova bei der Vorstellung des Gremiums an. Nicht ohne dabei gleich möglichen Kritikern zu erwidern: "Mir ist dabei die Bedeutung der freien Meinungsäußerung vollkommen bewusst."

Die EU-Kommission will unter anderem erreichen, dass terroristische Inhalte schneller entfernt und nicht mehr neu ins Netz gestellt werden können. Zusammen mit der Industrie soll dafür eine spezielle Plattform geschaffen werden. Einen besonderen Fokus hat die Kommission dabei auf Videoplattformen wie Youtube gelegt. Digitalkommissar Günther Oettinger erklärte im Mai:

"Wir glauben, dass hier eine Selbstverpflichtung entsprechend unseren Vorstellungen zu handeln, der beste und unbürokratischste Weg sein kann."

Diese Selbstverpflichtung sollen die Plattformbetreiber selbst ausarbeiten. Die in den EU-Staaten für Medien zuständigen Regulierungsbehörden sollen überprüfen, ob die Videoportale ihren Verhaltenskodex dann auch befolgen.

Sollte die freiwillige Zusammenarbeit mit den Internetkonzernen nicht funktionieren, hätte die Kommission weitere Optionen: Zuerst würde sie die Richtlinie über den elektronischen Geschäftsverkehr überarbeiten, in der sie die Haftungsbefreiung der Internetkonzerne zukünftig einschränken könnte. Und auch die Richtlinie über audiovisuelle Mediendienste wird überarbeitet – das betrifft unter anderem die Videoplattform Youtube.

Die weitgehendste Maßnahme diskutiert jedoch derzeit das EU-Parlament: Dem Entwurf einer Anti-Terror-Richtlinie fügte Berichterstatterin Monika Hohlmeier von der CSU Aufrufe zu Terrorismus im Internet hinzu – und erhielt dafür im Innen- und Justizausschuss eine Mehrheit:

"Wir haben in unseren Kompromissen enthalten, genau wie in den anderen Gesetzgebungen, dass Seiten gelöscht werden sollen. Oder dass, wenn das überhaupt nicht geht und es erforderlich ist, zumindest sie zu blockieren, dass sie dann blockiert werden können."

Wie genau die Mitgliedsstaaten die Richtlinie in nationales Recht umsetzen werden, bleibt ihnen an vielen Stellen selbst überlassen. Und zu vieles sei unklar, kritisiert Joe McNamee von der Bürgerrechts-Organisation European Digital Rights, EDRi:

"Wie viele Seiten? Wie viele Arten von Kommunikation? Was für ein Einfluss? Wo kann man am besten agieren, um den meisten Effekt zu haben? Stattdessen haben wir Vorschläge zum Thema Sperren und Löschen, ohne überhaupt zu wissen was und wo und wann und wieso und wie lange gelöscht und gesperrt werden sollte."

Wann genau diese Richtlinie in Kraft tritt, ist noch unklar. Zunächst müssen sich Parlament und Mitgliedsstaaten auf eine endgültige Version einigen. Die muss dann von den Mitgliedsstaaten in nationales Recht umgewandelt werden. In Deutschland dürfte das für Diskussionen sorgen.

Denn hier ist dieses Vorhaben schon einmal politisch gescheitert. Im Jahr 2009 wurde das sogenannte Zugangserschwerungsgesetz beschlossen, mit dessen Hilfe Abbildungen des sexuellen Missbrauchs von Kindern im Netz blockiert werden sollten. Ein Vorzeigeprojekt der damaligen CDU-Familienministerin Ursula von der Leyen.

Kritikern schien unter anderem die Gefahr eines Missbrauchs geheimer Sperrlisten durch die zuständigen Behörden zu groß. 2011 wurde das Gesetz bereits wieder aufgehoben, ohne dass es je angewandt wurde. Seitdem haben sich alle Bundesregierungen dem Grundsatz "Löschen statt Sperren" verpflichtet. Doch bleibt es dabei?

Wenn es auf Inhalte wie islamistische Propaganda stoße, so das Bundeskriminalamt, teile es dies den Internetunternehmen mit, die dann die Überprüfung vornähmen. Die Unternehmen bestätigen das – und sagen, dass das System auch andersherum funktioniere: in bestimmten Fällen würden auch sie die Behörden benachrichtigen.

Das Innenministerium bemängelt jedoch, dass "die Unternehmen rechtswidrige Inhalte in der Regel erst dann von ihren Plattformen entfernten, wenn sie von Nutzern oder Behörden darauf hingewiesen werden." Im Bundesinnenministerium, so heißt es aus gut informierten Kreisen, denke man über technische Filter nach, die bereits vor der Veröffentlichung zugreifen oder aktiv nach Mustern suchen würden.

Für den Grünen-Innenpolitiker Konstantin von Notz ist das rechtlich bedenklich: "Natürlich ist es problematisch, weil diese Frage, welche Inhalte sind jetzt legal, welche illegal, welche fallen unter die Meinungsfreiheit und welche nicht, das gebührt nicht privaten Unternehmen, da zu urteilen, was noch okay ist und was nicht. Wir haben das Notice-and-Takedown-Verfahren, das ist kompliziert genug."

Wenn überhaupt, funktionieren Filter und Vorab-Kontrolle nur sehr begrenzt und nur für bereits bekannte Inhalte, erklärt Klaus Landefeld vom Verband der Internetwirtschaft. Die Politik überschätze die Fähigkeiten von Algorithmen. De facto müssten die Unternehmen vieles von Hand kontrollieren, sagt Landefeld. Und das sei vor der Veröffentlichung einfach unmöglich:

"Stellen Sie sich vor, Sie würden etwas auf Facebook posten und das müsste erstmal jemand lesen und jeder Post, den sie dort machen ist erst in einer Stunde verfügbar."

Unternehmen wie Facebook und Twitter wollen nichts oder nur wenig Detailliertes zum Thema sagen. Keine Interviews, teilt der bei Twitter für politische Themen zuständige Sprecher in wenig mehr als 140 Zeichen mit. Er verweist auf die Geschäftsbedingungen von Twitter und die Initiativen auf EU-Ebene. Facebook wiederum berichtet immerhin, dass grundsätzlich alle Meldungen terroristischer Inhalte ernstgenommen und geprüft würden – von einem Dienstleister in Berlin.

Die Mitarbeiter dort seien speziell geschult, hochspezialisiert und mit der Materie und den einschlägigen Sprachen wie Arabisch vertraut, erklärt ein Sprecher. Doch bei 1,5 Milliarden Nutzern weltweit sei es natürlich immer eine anspruchsvolle Aufgabe, schränkt er ein.

Tage nach der Veröffentlichung und einen Tag, nachdem wir testhalber das Konto des IS-Sympathisanten Twitter gemeldet haben, ist es immer noch frei zugänglich. Doch das Bild mit der Bekennerbotschaft, das von einem anderen Konto aus hochgeladen wurden, ist weg – dieses Konto wurde gesperrt. Aus Sicherheitskreisen heißt es, dass es eigentlich wenig Grund zur Klage über Twitter gebe – was gemeldet wird, werde im Regelfall auch gelöscht.