"Sie haben den Schuss wohl noch weniger gehört als unsere Ministerin für Ernährung und Landwirtschaft." Ein Konferenzraum in Düsseldorf, der Beamer wirft Forenposts an die Wand, zwei Wissenschaftler, eine Community-Managerin und eine Audience Developperin diskutieren. "Könnte man jetzt sagen: okay, sind jetzt keine schlimmen Schimpfwörter drin. Aber es ist eigentlich eine Provokation eines anderen Nutzers. Und das trägt nicht zur sachlichen Diskussion bei. Wird man also sperren?"

Ist es gerade noch Meinungsäußerung oder schon Provokation/Beleidigung? Und wenn ich das durchgehen lasse, was mache ich, wenn der Ton immer rauer wird? Diese Fragen beschäftigen Hannah Monderkamp, seit sie vor fünf Jahren bei der "Rheinischen Post" (RP) anfing. Heute leitet sie das Audience Development Team, kümmert sich also ganz grundsätzlich um die Verbindung zu den Nutzerinnen und Nutzern. Und ganz alltäglich tut das Community-Managerin Lilli Stegner.

"Und man sitzt dann wirklich an so einer Spalte, da laufen die neuesten Kommentare ein. Und jedes Mal, wenn man refresht, sind wieder neue Kommentare da. Und jeder einzelne Kommentar muss dann eben gelesen werden, was alleine schon mal eine Masse ist, um dann rauszufiltern: Ist das jetzt eine Kritik, die ja auch berechtigt sein kann? Ist das vielleicht eine Verwendung von Sprache, die einfach strafrechtlich, sogar teilweise relevant ist? Ist das Verharmlosung des Holocaust also? Es ist sehr vieles dabei."

"Ihr habt genau das Problem, dass das bei euch so viel geworden ist, dass man das kaum mehr abarbeiten kann. Man kann ja nicht permanent neue Menschen einstellen, die sich nur damit beschäftigen. Und wir waren von der Forschung her, an Algorithmen am Forschen, die erkennen, wann ist was Hassmail?"

Jörg Becker, Professor für Wirtschaftsinformatik an der Uni Münster. Gemeinsam mit seinem Forschungsteam entwickelt er Moderat!, ein Kommentar-Analyse-Tool. Die Software kennt die Forenregeln, sie übt schon fleißig im Hintergrund mit den Kommentaren der "Rheinischen Post", lernt dabei, besser zu entscheiden. Schon bald soll sie mit der gleichen Treffsicherheit Beiträge freigeben oder aussortieren, wie das die Moderatorinnen und Moderatoren aus dem Team tun, und soll diese so bei ihrer Arbeit entlasten.

Hannah Monderkamp: "Anfangs war es noch so, dass wir die Kommentare über Nacht aufhatten, und dann morgens sortiert haben. Aber das ist mittlerweile auch nicht mehr zu schaffen. Wir haben jetzt sozusagen Öffnungszeiten. Und abends werden die Kommentare dann zugemacht. Man merkt natürlich auch morgens ganz oft, dass die Leute schon auf der Matte stehen und warten, dass sie jetzt weiter kommentieren können."

Während es bei der RP rund 400 Kommentare pro Tag sind, verarbeiten Redaktionen wie "Zeit online" 10.000. Auf Anfrage bestätigt die Redaktion, dass auch sie dort mit einer KI arbeiten wolle. Der Name: Zoë. Andere Verlage nutzen ebenfalls Analyse-Systeme, die Tagesschau etwa SWAT und Conversario. Der Unterschied zu Moderat! liegt aber in der Frage der Transparenz, sagt Kilian Müller, wissenschaftlicher Mitarbeiter am Lehrstuhl des Wirtschaftsinformatikers Jörg Becker: "Das Problem ist, dass diese eben reine Blackboxen sind. Da geht was rein, da kommt man raus, und keiner weiß, was da zwischendurch passiert ist, außer eben die Leute in dem Konzern."

Auf seinem Laptop kann Müller nicht nur zeigen, wie die KI entscheidet, sondern auch warum. "Der Kommentar ist jetzt sogar schon durch die Schleife durchgelaufen und wurde jetzt in diesem Fall nicht als Hass deklariert." Ein Filter schaut nach Interpunktion. Viele Ausrufezeichen und Großbuchstaben sind verdächtig. Einzelne Worte, aber auch der Kontext können den Ausschlag geben. Mit Ironie hat die KI noch so ihre Probleme. Daher soll sie vorerst nur die Kommentare zurückhalten, die sicher grenzverletzend sind, dafür diejenigen durchlassen, die unverdächtig sind.

Hannah Monderkamp: "Das belohnt halt auch die Nutzerinnen und Nutzer, die sich gut benehmen. Weil sonst müssen halt im Zweifel die, die einen normalen Kommentar abgegeben haben, auch eine Stunde warten, bis wir durch den Haas gekommen sind. Und so können sie schon ein bisschen schneller durch, wenn eben kein Hass drin ist."

Immer dann, wenn KI ein Geschäftsmodell ist, werden Codes und Algorithmen zum Betriebsgeheimnis. Wenn aber KI unsere Gespräche moderiert, wäre es doch gut zu wissen, nach welchen Kriterien das geschieht. Anders als die kommerziellen Anbieter ist Moderat! zu dieser Transparenz verpflichtet – weil: Es ist das Projekt einer öffentlichen Universität und gefördert durch die EU.
Kilian Müller: "Ich glaube, was da vielleicht auch noch ganz wichtig ist: Die EU ist nicht darauf fokussiert, dass die Kommentarsektion der RP durch das Projekt bereinigt wird, sondern darum, einen allgemeinen Ansatz zu finden, einen allgemeinen möglichen Ansatz, der auch von anderen dann genutzt werden könnte, um dieses Problem eben anzugehen."
Eine Flut von Hass und Hetze kann die Diskussionskultur in Foren vergiften. KI und Algorithmen können hier wenigstens beim moderativen Eindämmen helfen.