Manfred Kloiber: Nach einem Jahr endete am 31. Juli 2018 der zweiphasige Test von Gesichtserkennungssystemen am Bahnhof Berlin-Südkreuz. Und vor wenigen Tagen veröffentlichten Bundespolizei und Bundesinnenministerium ihre Testergebnisse. Beide Stellen zeigen sich zufrieden mit den Tests, so heißt es: Gesichtserkennungssysteme könnten in Zukunft einen wesentlichen Mehrwert für die polizeiliche Arbeit, insbesondere der Bundespolizei, darstellen. Außerhalb von Polizei und Ministerium hingegen werden nicht nur die Ergebnisse infrage gestellt, sondern auch der gesamte Versuchsansatz. Jan Rähm, beschreiben Sie uns doch, um was es in dem Pilotprojekt ging und wie der Versuch aufgebaut war.

Jan Rähm: Also, Bundesinnenministerium, Bundespolizei und Bundeskriminalamt wollten in dem Projekt untersuchen, wie gut denn automatische Gesichtserkennung für die Fahndung nach Personen genutzt werden kann. Dafür nahm man die vorhandene Videoüberwachungstechnik am Bahnhof Südkreuz in Berlin, das ist einer der der größeren Bahnhöfe, und nahm Videomaterial auf, das anschließend von drei kommerziellen Systemen analysiert wurde. Das Ganze fand in zwei Phasen statt. Und dort machten 312 beziehungsweise 201 Personen freiwillig mit. Diese Personen trugen einen Transponder bei sich. Das ist sozusagen ein elektronisches Gerät, das den Standort an den Bahnhof funkt, wenn die Versuchspersonen den Bahnhof betraten. Und diese Analysesysteme, die suchten nach diesen Probanden, die dann, mit diesem Transponder, also der elektronischen Anwesenheitsnotiz, anhand dessen konnte dann festgestellt werden, ob eine Person überhaupt und wenn ja, richtig erkannt wurde oder nicht.

Kloiber: So also sah der Versuchsaufbau aus. Kommen wir zu den Ergebnissen und der Kritik daran, die wir in einem Beitrag zusammengefasst haben.

Beitrag:
Egal ob allein oder zu mehreren, ob mit Schal oder Brille, bei Tag oder bei Nacht: Die Systeme erkennen Gesichter zuverlässig. So heißt es sinngemäß in einer Pressemitteilung zum Pilotversuch "Biometrische Gesichtserkennung". Er wurde von der Bundespolizei, dem Bundeskriminalamt und dem Bundesinnenministerium durchgeführt und am 31. Juli beendet. Die durchschnittliche Trefferrate lag demnach beim besten der drei getesteten Systeme bei über 80 Prozent. In der zweiten Versuchsphase wurden die Systeme kombiniert und erreichten über 90 Prozent Treffer. Die Projektbeteiligten sprechen von einem Erfolg. Nicht so Dr. Jürgen Hermes, wissenschaftlicher Mitarbeiter an der Uni Köln und Geschäftsführer des Instituts für Digital Humanities:
"Eine Trefferrate von 80 Prozent. Das heißt 20 Prozent von Personen, die sich eigentlich als Testperson zur Verfügung gestellt haben und gesucht wurden, wurden vom System nicht erkannt. Hört sich jetzt erst mal nicht so schlecht an. Die zweite Zahl ist der andere Fehler, den das System machen kann. Und zwar eine nicht gesuchte Person fälschlicherweise als gesucht zu identifizieren. Das heißt, Alarm zu schlagen, obwohl die Person gar nicht in der Datenbank ist, als gesuchte Person verzeichnet ist."

Bei der Kombination der Systeme verbesserte sich die Falscherkennungsrate auf 0,67 Prozent. Das hieße bei einem Bahnhof wie Südkreuz mit circa 90.000 Personen täglich rund 600 falsche Alarme, rechnet der Chaos Computer Club, CCC, in einer Pressemitteilung vor. Da in der zweiten Versuchsphase nur mit 200 Probanden gearbeitet wurde, geht der CCC außerdem davon aus, dass bei mehr Gesuchten sich die Fehlerrate verschlechtern wird und mehr Alarme überprüft werden müssten. Dazu meint BMI-Sprecherin Eleonore Petermann Anfang dieser Woche in der Bundespressekonferenz:

"Diese Trefferquote oder Fehlerquote, je nachdem, welche Seite man betrachtet, löst ja nur einen Alarm aus. Das heißt also, wenn jemand erkannt wird, dann wird ein Alarm ausgelöst. Das bedeutet aber nicht, dass damit automatisch irgendjemand unter Verdacht gestellt wird. Sondern löst aus, dass die entsprechenden Polizeivollzugsbeamten dem Alarm nachgehen und nachprüfen."

Inwiefern diese Nachüberprüfung die Zahl der Einsätze der Bundespolizei erhöht, hat das BMI auf schriftliche Nachfrage nicht mitgeteilt. Von den Quoten ganz abgesehen, wirft Professor Florian Gallwitz von der Fachhochschule Nürnberg dem Projekt methodische Fehler vor. Er kritisiert den Umgang mit Personen, die ihren Transponder nicht dabei hatten. Im Versuch diente der Transponder dazu, zur Kontrolle die Versuchsteilnehmer zuordnen zu können:

"Deswegen trat die Situation auf, dass Leute erkannt wurden, von denen die Versuchsleiter wussten, dass ist aber jetzt einer unserer Versuchsteilnehmer. Es gab aber kein Transpondersignal. Dann wurde das manuell hinterher korrigiert. Und das hat man aber nur dann gemacht, wenn eine Person richtig erkannt wurde. Und man bekommt man unter dem Strich zu positive Erkennungsraten. Man übersieht nämlich den Fall, dass solche Leute, die keinen Transponder dabei hatten, übersehen wurden. Also in Wirklichkeit sind die Erkennungsraten wahrscheinlich gar nicht so gut gewesen, wie sie da erscheinen, sondern um einige Prozentpunkte niedriger. Das ist auf jeden Fall ein methodischer Fehler, wo ich jetzt aus wissenschaftlicher Sicht sagen würde, wenn mir jemand so eine Veröffentlichung im Rahmen eines Peer-Review-Verfahrens auf den Schreibtisch legen würde, dann würde ich die zurückgehen lassen und sagen, dann macht mal eure Hausaufgaben und rechnet das mal richtig aus."
Das BMI weist diese Kritik zurück. Schriftlich heißt es gegenüber dem Deutschlandfunk:
"Die Gesichtserkennungssysteme haben in der Erprobung ohne Bezug zum Transpondersystem gearbeitet. Demzufolge wurden während der Validierung alle durch die Systeme gemeldeten Treffer unabhängig von Transponderanwesenheit als richtig oder falsch bewertet. Bei der Suche nach den falsch negativen Ereignissen wurden als Hinweise die Protokolldateien des Transpondersystems genutzt, aber auch auf die regulären Aufzeichnungen der Videoüberwachungssysteme zurückgegriffen, um diese Hinweise durch Videosichtung zu verifizieren. Von Verfälschung oder Verzerrung kann daher nicht gesprochen werden."

Kloiber: Das lässt uns also das Bundesinnenministerium wissen. Jan, die Kritik am Versuch erstreckt sich ja auch auf die Umsetzung beziehungsweise auf das Quell-, also auf das Fahndungsmaterial. Was genau ist das Problem?

Rähm: In der ersten Phase nutzte man noch gut ausgeleuchtete Bilder der Probanden, was ja schon relativ unrealistisch ist. Dann in der zweiten Phase kamen die Suchvorlagen aus dem Videomaterial, das bereits aufgezeichnet wurde. Damit erhöhte sich auch die Trefferquote deutlich und dieses Videomaterial, das sah schon eher wie Fahndungsmaterial aus. Aber, und hier kritisiert beispielsweise Florian Gallwitz, da sei gemogelt worden. Denn die Systeme mussten quasi identifizieren, was sie selbst aufgenommen hatten. Sie hatten also exakt die gleichen Blickwinkel, Lichtverhältnisse, Bildauflösungen und so weiter. Gallwitz spricht von einem Foulspiel, das die üblichen Schwierigkeiten bei der Gesichtserkennung einfach ausschalte. Das BMI weist das zurück und meint, die in der zweiten Phase genutzten Bilder entsprächen sogar eher klassischen Fahndungsfotos und die Verbesserung liege einfach daran, dass es verschiedene Blickwinkel gab, die die System haben nutzen können.

Kloiber: Der Blickwinkel ist ja eher ein grundsätzliches Problem, oder?

Rähm: Das kann man so sagen. Normalerweise müssten Überwachungskameras in Kopfhöhe angebracht sein, also dass sie unsere Gesichter frontal filmen könnten, was sie aber in der Praxis meist nicht sind, sondern sie sind meist weit über unseren Köpfen angebracht. Von daher braucht jemand, der der Erkennung entkommen möchte, meist einfach nur zu Boden schauen und dann scheitern die Kameras und nachgeschalteten Systeme.

Kloiber: Halten die Experten die Systeme für grundsätzlich ungeeignet für die Suche nach Kriminellen?

Rähm: Also, die beiden Experten, die auch im Beitrag zu Wort gekommen sind, haben betont, dass die technischen Systeme heute bereits dem Menschen deutlich überlegen seien. Selbst sogenannte "Super Recognizer", also Menschen, die Menschen besonders gut aus großen Mengen heraus entdecken können, würden von fortgeschrittenen Systemen übertroffen. Aber, die Kritik entzündet sich vor allem daran, dass neben den zahlenmäßig eher wenigen Gesuchten eben alle anderen Menschen, also alle anderen Menschen auch erfasst würden. Der Chaos Computer Club spricht in einer Pressemitteilung von "einer anlasslosen biometrischen Personenüberwachung im öffentlichen Raum".

Kloiber: Wie geht es nun weiter?

Rähm: Das ist noch unklar. Davon ganz abgesehen, dass die rechtlichen Rahmenbedingungen für solcher Art Videoüberwachung mit Gesichtserkennung überhaupt erst einmal geschaffen werden müssen, wird jetzt geprüft, so heißt es in einer Pressemitteilung, unter welchen Bedingungen und in welchem Umfang die Technik künftig zum Einsatz kommen soll. Die Kritiker lehnen dieserart Überwachung grundsätzlich ab. Auch deshalb, weil davon ausgegangen wird, dass die Erfassung sich nicht nur auf schwerste Kriminalität beschränken wird, wie es für diesen Versuch hieß, sondern auch auf kleinere Delikte ausgeweitet werden wird. Beobachten kann man das derzeit unter anderem in Großbritannien, wo mit mobilen Kamerawagen und Gesichtserkennung nach bekannten Taschendieben und anderen Kleinkriminellen gefahndet wird.

Kloiber: Jan Rähm berichtete über erste Ergebnisse des Gesichtserkennungsversuches am Bahnhof Berlin-Südkreuz und die Kritik daran.