Wie zuverlässig sind Bilderkennungsverfahren?

1 min read

Bildklassifikationsverfahren bilden die Grundlage für viele praktische Anwendungsgebiete der Künstlichen Intelligenz, wie zum Beispiel die automatische Gesichtserkennung. In Österreich ist gerade eine Diskussion über die Einführung von Software zur automatischen Identifikation von Personen in Kamerabildern durch das Bundeskriminalamt in Gang (https://orf.at/stories/3143858/). Dabei stellt sich aber die Frage, wie hoch ist die Verlässlichkeit derartiger Verfahren. Ist sich das Verfahren immer sicher was es sieht? Kann es einfach manipuliert werden?

Wenn eine einfache Abänderung des Digitalbildes den Algorithmus in die Irre führt, dann stellt das in Frage, Anwendungen gedankenlos in der Praxis ein zu setzen.

In den letzten Jahren haben sich Forscher zunehmend nicht nur damit beschäftigt, die Genauigkeit der Bildklassifikation zu verbessern, sondern auch die Robustheit verstärkt untersucht. Dabei wurden Methoden gefunden, bei denen Pixel des Originalbildes mit für das menschliche Auge kaum wahrnehmbaren Störungen versehen werden, und damit das Ergebnis der Klassifikation verändert wird. So sah das Verfahren auf einem Hundebild nach der Manipulation auf einmal eine Katze.

Nun haben einige Forscher diese Veränderungen auf die Spitze getrieben, indem Sie eine Methode entwickelt haben, bei der nur ein einziges Pixel des Digitalbildes verändert wird, und damit schon die Klassifikation verfälscht wird. In einer im Oktober 2019 veröffentlichten Arbeit beschreiben Sie die Methode und die Resultate (https://arxiv.org/pdf/1710.08864.pdf).

In der Arbeit wird gezeigt, dass sich “State of the Art”-Verfahren auf Basis Neuronaler Netze (mit unterschiedlichen Architekturen) zu einem hohen Anteil manipulieren ließen. Zur Überprüfung wurden einige typische Tests, bestehend aus Bilddaten unterschiedlichster Objekte, die üblicherweise zur Qualitätsbeurteilung der Verfahren eingesetzt werden, herangezogen. Beim einfachen “CIFAR-10” Testdatensatz (https://en.wikipedia.org/wiki/CIFAR-10) wurden fast 68% der Bilder erfolgreich manipuliert. Das komplexere “ImageNet (ILSVRC 2012)” (http://www.image-net.org/) immerhin noch mit 16%.

Eine solide Basis für Anwendungen, wie im Bundeskriminalamt, scheinen derzeitige Bilderkennungsverfahren noch nicht zu sein, und damit ein Einsatz fragwürdig.

Schreibe einen Kommentar