Fahrassistenzsysteme nehmen den Menschen schon heute viel Arbeit vor allen Dingen auf langen Autofahrten und beim Einparken ab. Dafür müssen sie ständig Umgebungsdaten erheben und verarbeiten. Hindernisse und Straßenverkehrszeichen werden unter anderem über Kamerasysteme erfasst und mit einer Mustererkennungssoftware ausgewertet. Doch diese Software hat eine Sicherheitslücke, wie ein Hack von Sicherheitsforschern demonstriert.

Die IT-Experten der Firma McAfee haben ein fünf Zentimeter langes Stück schwarzen Isolierbandes auf ein Verkehrsschild geklebt, das eine Geschwindigkeitsbeschränkung von 35 Meilen pro Stunde anzeigt, und zwar in die Mitte der Zahl drei. Menschen erkannten immer noch 35 Meilen pro Stunde als Höchstgeschwindigkeit, aber die Mustererkennung des MobilEye-Kamerasystems, das in dem Testwagen, einem Tesla übrigens, verbaut war, las 85 Meilen pro Stunde.[*]

Steve Povolny und Shivangee Trivedi, die beiden Sicherheitsforscher, die das Experiment durchführten, analysierten die Mustererkennungs-Algorithmen genauer, um zu verstehen, wie sie die Verkehrszeichen falsch interpretieren konnten. Sie wollten klären: Wie wird anhand der Pixel des Kamerabildes ein Verkehrszeichen klassifiziert? Mit dem Wissen, wie diese Algorithmen das machen, stellten Povolny und Trivedi genaue Berechnungen an: Wie könnte ein Verkehrsschild mit Aufklebern, mit Stickern so verändert werden, dass Menschen diese Veränderung nicht richtig wahrnehmen, gleichzeitig aber die Mustererkennung des Tesla das Verkehrszeichen falsch klassifiziert.

Eine Option: Sticker für ein Stopp-Schild, die oberhalb und unterhalb des Schriftzuges "Stop" aufgebracht werden, woraufhin die Mustererkennung dieses Stop-Schild dann als Hinweisschild "zusätzliche Fahrspur" interpretiert. Das Auto würde dann also an der Einmündung der Straße mit diesem präparierten Schild nicht stoppen, sondern einfach weiterfahren.

Die beiden Sicherheitsforscher nannten diese Angriffe auf die Mustererkennung Model Hacking, weil dabei dieselben Angriffsmethoden angewandt werden wie bei Angriffen auf Systeme mit maschinellem Lernen.

Die Künstliche Intelligenz für autonomes Fahren kann auf diese Weise also hinters Licht geführt werden. Doch wie reagiert der intelligente Tempomat auf die Verkehrschild-Klassifikation per Mustererkennung? Das haben die Sicherheitsforscher mit dem Geschwindigkeitsassistenten von Tesla getestet und mit Mark Bereza einen weiteren Experten ins Boot geholt. Auf einer Teststrecke manipulierten sie ein Verkehrsschild mit den fünf Zentimetern Isolierband, wobei Mark Bereza in seinem Tesla die Funktion "Automatische Reisegeschwindigkeit" einstellte. Als der Tesla am manipulierten Verkehrsschild vorbeifuhr, erkannte die Software 85 Meilen Höchstgeschwindigkeit, ging also der Manipulation tatsächlich auf den Leim und beschleunigte.

Es klingt wie die Anleitung zum perfekten Verbrechen: fünf Zentimeter Isolierband auf ein Verkehrsschild kleben, warten bis das "Zielobjekt" daran vorbeifährt und der Wagen dann aus der Kurve getragen wird, das Stück Isolierband wieder entfernen. Deshalb fordern Sicherheitsforscher nun drei Maßnahmen. Erstens: Die Klassifikationen der Mustererkennung für eine bestimmte Zeit speichern, damit man bei einem Unfall nachvollziehen kann, ob fehlerhafte Mustererkennung schuld war. Zweitens: Fahrassistenz-Funktionen wie "Automatische Reisegeschwindigkeit" immer von mehreren Sensoren speisen.

Neben Kameras müsse per Radar auch die Umgebung erkannt werden, also zum Beispiel eine nahende Kurve, und per Feuchtigkeitssensor der Zustand der Straße. Und drittens: Mustererkennungssysteme gegen das Model Hacking härten. Dafür gebe es bereits Sicherheitsverfahren, die im Bereich des maschinellen Lernens entwickelt wurden und nun auf den Einsatz in Fahrassistenzsystemen übertragen werden müssten.