ExposeAnyone ist ein vollständig selbstüberwachtes System zur Erkennung von gefälschten Gesichtern („Face Forgery“) bei Personen von Interesse. Zuerst wird ein Audio‑zu‑Gesichtsausdruck‑Diffusionsmodell auf einer großen Sammlung unlabeled Videos vortrainiert. Anschließend wird dieses Modell mithilfe eines oder mehrerer Referenzvideos einer bestimmten Person personalisiert, indem ein subjekt­spezifischer Adapter eingefügt wird. Schließlich deckt das System Deepfake‑Videos über die Diffusions‑Rekonstruktionsdistanz auf. Trotz vollständiger Selbstüberwachung generalisiert die Methode auf eine breite Palette von Manipulationen – von klassischen Deepfakes bis hin zu den neuesten Videogenerationsmodellen wie Sora2. (Quelle: mapooon.github.io/ExposeAnyonePage/)

 

Sogenannte Deepfakes, also mit Hilfe von KI erzeugte Bilder und Videos, sind immer schwerer zu erkennen. Ein internationales Forschungsteam der Universität Tokio und des Max-Planck-Instituts für Informatik hat nun eine Methode entwickelt, die manipulierte Videos zuverlässiger aufspürt als bisherige Verfahren, indem sie nicht nach Bildfehlern sucht, sondern die Natürlichkeit von Gesichtsausdrücken analysiert. In Tests erreicht der Ansatz auf etablierten Datensätzen eine durchschnittliche Treffergenauigkeit von mehr als 95 Prozent und erkennt selbst Fälschungen, an denen andere Detektoren weitgehend scheitern.

 

Generative Künstliche Intelligenz kann heute Bilder und Videos erzeugen, die für das menschliche Auge kaum noch von echten Aufnahmen zu unterscheiden sind. Das ermöglicht viele sinnvolle Anwendungen, ebnet aber auch den Weg für Desinformation, Identitätsdiebstahl oder Betrug. Deshalb ist die zuverlässige Erkennung solcher Deepfakes ein wichtiges Forschungsthema.

 

Ein Team der Universität Tokio und des Max-Planck-Instituts für Informatik hat nun einen neuen Ansatz entwickelt, der in diesem Bereich einen deutlichen Schritt nach vorn markiert. Beteiligt waren die Forscher Kaede Shiohara und Toshihiko Yamasaki von der Universität Tokio sowie Vladislav Golyanik, Senior Researcher und Leiter der Forschungsgruppe „4D and Quantum Vision“ am Max-Planck-Institut für Informatik.

 

Bisher mussten Forscher abwägen: Die treffsichersten Deepfake-Detektoren werden meist überwacht trainiert (engl. supervised learning) und lernen anhand großer, vorab gekennzeichneter Datensätze, die echte und manipulierte Videos enthalten. Dadurch können sie jedoch ungewollt auf bestimmte Fälschungsmethoden spezialisiert werden (engl. overfitting) und Schwierigkeiten haben, unbekannte Manipulationsmuster zu erkennen. Selbstüberwachte Verfahren (engl. self-supervised learning), die ausschließlich mit echten Videos trainiert werden, gelten als robuster gegenüber neuen Deepfake-Technologien, erreichten bislang jedoch meist geringere Genauigkeiten. Die neue Methode ist das erste selbstüberwachte Verfahren, das hohe Robustheit mit hoher Detektionsrate verbindet und besser abschneidet als überwacht trainierte Ansätze.

 

Denn statt nach Auffälligkeiten auf Pixelebene zu suchen, konzentriert sich das Verfahren auf die Gesichtsbewegungen einer Person. Grundlage dafür ist das in Computergrafik und Gesichtsanimation weit verbreitete FLAME-Modell, das Gesichtsausdrücke mithilfe von 53 Parametern mathematisch beschreibt. Die Forscher haben ihr Detektions-Modell auf mehr als 450 Stunden frei zugänglichem Videomaterial vortrainiert, wobei es gelernt hat, aus einer Audiospur die zugehörigen FLAME-Parameter vorherzusagen, also jene Gesichtsbewegungen, die beim Sprechen zu erwarten wären.

 

Anschließend lässt sich das System mit nur rund 60 Sekunden Videomaterial auf eine einzelne Person einstellen (engl. fine-tuning) und wird somit zum personalisierten Deepfake-Spürhund. Bei der Analyse vergleicht es dann die im Video sichtbaren Gesichtsbewegungen mit den anhand der Tonspur erwarteten FLAME-Parametern. Weichen beide deutlich voneinander ab, ist das ein starkes Indiz für eine Manipulation. „Die Kombination aus selbstüberwachtem Lernen und der Analyse von FLAME- Parametern macht unseren Ansatz besonders robust gegenüber neuen Deepfake- Verfahren sowie Störungen wie Bildkompression oder Rauschen“, sagt Vladislav Golyanik.

 

In Experimenten erreichte die Methode auf mehreren etablierten Forschungsdatensätzen eine durchschnittliche Treffergenauigkeit von mehr als 95 Prozent. Damit übertrifft sie den bisherigen Stand der Technik. Besonders anspruchsvoll war ein zusätzlicher, neu entwickelter Benchmark- Datensatz, den die Forscher mit Videos eines aktuellen Frontier-Modells zur Videogenerierung (Sora 2 von OpenAI) erstellt haben. Während vorherige Deepfake-Detektoren auf diesem Datensatz nur Ergebnisse erzielten, die kaum besser als ein Münzwurf waren, erkannte die neue Methode noch immer fast 95 Prozent der Manipulationen korrekt.

 

Gleichzeitig macht das Team die Grenzen seines Ansatzes transparent: Das System benötigt ein aufwendiges Vortraining auf leistungsstarker Hardware und ist derzeit nicht für Echtzeitanwendungen geeignet. Dennoch sehen sie darin einen vielversprechenden Weg für die nächste Generation von Deepfake-Detektoren.

 

Das Forschungsteam stellte seine Methode in der Arbeit „ExposeAnyone: Personalized Audio-to- Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors“ vor, die sie auf der 2026er Auflage der „IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR)“, der weltweit führenden Computer- Vision-Konferenz, präsentiert haben.

 

Originalpublikation:

Shiohara, K., Yamasaki, T. & Golyanik, V. (2026): ExposeAnyone:

Personalized Audio-to-Expression Diffusion Models Are Robust Zero-Shot Face Forgery Detectors. In: Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Findings, pp. 3665–3676.

Projektseite: https://mapooon.github.io/ExposeAnyonePage/