Links das Originalbild. Im Mittleren wurden quasi unsichtbar die Pixel verändert, die für die Skalierung relevant sind. Im rechten Bild ist das Grüne Quadrat zu sehen, dass in den Pixeln versteckt war. (Quelle: scaling-attacks.net)

 

Um ein digitales Bild zu verkleinern, berücksichtigen Algorithmen bei der Berechnung nicht alle Bildpunkte (Pixel) gleich. Je nach Bildgröße und Algorithmus fließen viele Pixel kaum oder gar nicht in die Verkleinerung ein. Hier können Angreifende ansetzen und nur die Pixel verändern, die für die Skalierung relevant sind. „Das merkt man optisch fast nicht, es entsteht lediglich ein leichtes Rauschen im Bild. Wenn das Bild dann verkleinert wird, bleiben nur die manipulierten Punkte übrig und erzeugen ein neues Bild, das der Angreifer frei bestimmen kann“, erklärt Professor Konrad Rieck, Leiter des Instituts für Systemsicherheit.

 

Bedrohung für lernbasierte Systeme

Solche Angriffe sind besonders für lernbasierte Systeme, die mit Künstlicher Intelligenz (KI) arbeiten, eine Bedrohung: Die Skalierung von Bildern ist ein sehr häufiger Verarbeitungsschritt, um Bilder durch maschinelles Lernen analysieren zu können. „Bei dieser Angriffstechnik sieht der Mensch ein anderes Bild als das Lernverfahren. Der Mensch sieht das Originalbild, während die künstliche Intelligenz das verkleinerte, manipulierte Bild verarbeitet und damit lernt“, so Rieck.

 

Ein Beispiel: Möchte man ein KI-System trainieren, das Straßenschilder erkennen soll, gibt der Mensch dem Lernverfahren unterschiedliche Aufnahmen von beispielsweise Stoppschildern vor. Sind die Bilder manipuliert worden, erzeugt die Skalierung im KI-System ein komplett anderes Bild, zum Beispiel ein Vorfahrtsschild. Das System lernt einen falschen Zusammenhang und erkennt später keine Stoppschilder. Solche Angriffe sind für alle sicherheitsrelevanten Anwendungen eine Bedrohung, bei denen Bilder verarbeitet werden. Unbemerkt kann die Bildanalyse sabotiert werden und zu falschen Vorhersagen führen.

 

Verteidigung made in Braunschweig

Wie aber kann man sich gegen solche Angriffe schützen? Angreifende nutzen aus, dass nicht alle Pixel gleichermaßen in die Bildverkleinerung einfließen. „Genau hier setzt unsere Verteidigung an: Wir haben eine Methode entwickelt, die sicherstellt, dass alle  Pixel gleichermaßen für die Verkleinerung genutzt werden“, so Konrad Rieck. „Unsere Methode bestimmt dafür, welche Pixel für eine Skalierung relevant sind und rechnet den Rest des Bildes geschickt in diese ein. Optisch kann man diese Änderung nicht sehen. Ein Angriff wird dadurch aber unmöglich.“ Die Verteidigung kann leicht in existierende KI-Systeme integriert werden, da sie keine Änderungen an der Bildverarbeitung und dem Lernvorgang benötigt.

„Bisher sind noch keine Angriffsfälle bekannt. Wir hoffen, dass unsere Analyse und Verteidigung helfen, dass es dazu auch nicht mehr kommt“, sagt Rieck.

 

Originalveröffentlichung:

Erwin Quiring, David Klein, Daniel Arp, Martin Johns and Konrad Rieck: Adversarial Preprocessing: Understanding and Preventing Image-Scaling Attacks in Machine Learning. Proc. of USENIX Security Symposium 2020.

 

Siehe auch:

https://scaling-attacks.net/

http://www.tu-braunschweig.de/sec