Adversarial Machine Learning: Angriffe auf KI

Wie funktionieren Adversarial-Angriffe?

Ein trainiertes Modell zieht Entscheidungsgrenzen in einem hochdimensionalen Merkmalsraum. Diese Grenzen verlaufen oft anders, als ein Mensch erwarten würde. Wer sie kennt oder durch geschicktes Ausprobieren ertastet, kann Eingaben so verändern, dass das Modell falsch entscheidet, obwohl ein Mensch keinen Unterschied bemerkt. Man unterscheidet grob vier Angriffsklassen, die sich am Lebenszyklus des Modells orientieren:

• Evasion (Umgehung) zur Laufzeit: Eine Eingabe wird minimal verändert, sodass das Modell sie falsch klassifiziert. Bekannte Verfahren wie FGSM (Fast Gradient Sign Method) oder PGD (Projected Gradient Descent) berechnen solche Störungen aus den Gradienten des Modells. Praktische Beispiele sind Malware, die so umgebaut wird, dass ein ML-basierter Virenscanner sie als harmlos einstuft, oder Aufkleber auf Verkehrsschildern, die eine Bilderkennung in Forschungsexperimenten in die Irre geführt haben.
• Poisoning (Vergiftung) im Training: Manipulierte Trainingsdaten verschieben das Modellverhalten dauerhaft oder bauen eine versteckte Hintertür ein. Dieses Thema behandeln wir ausführlich unter AI Poisoning.
• Model Extraction (Modelldiebstahl): Über viele gezielte API-Abfragen rekonstruiert ein Angreifer ein funktional ähnliches Ersatzmodell. Damit geht geistiges Eigentum verloren, und das Ersatzmodell dient als Übungsobjekt für weitere Evasion-Angriffe.
• Privatsphäre-Angriffe: Bei Membership Inference prüft der Angreifer, ob ein bestimmter Datensatz im Training enthalten war. Model Inversion versucht, Merkmale der Trainingsdaten aus den Modellausgaben zu rekonstruieren. Bei großen Sprachmodellen kommt die wörtliche Wiedergabe auswendig gelernter Trainingsdaten hinzu.

Wichtig ist die Unterscheidung nach Angreiferwissen: Bei White-Box-Angriffen kennt der Angreifer Architektur und Gewichte, bei Black-Box-Angriffen nur die Ausgaben. Auch Black-Box-Angriffe sind praktikabel, weil sich adversariale Beispiele häufig von einem Ersatzmodell auf das Zielmodell übertragen lassen (Transferability).

Relevanz für mittelständische Unternehmen

Viele Mittelständler trainieren keine eigenen Modelle, setzen aber ML-Komponenten produktiv ein: Betrugserkennung im Zahlungsverkehr, visuelle Qualitätsprüfung in der Fertigung, Spam- und Phishing-Filter, Dokumentenklassifikation oder Sicherheitsprodukte mit ML-Erkennung. Überall dort, wo ein Modell eine sicherheits- oder geschäftsrelevante Entscheidung trifft, entsteht ein neuer Angriffspunkt. Die realistischen Folgen sind:

• Schadsoftware oder betrügerische Transaktionen passieren automatisierte Kontrollen.
• Fehlerhafte Teile werden in der Qualitätsprüfung als in Ordnung eingestuft.
• Personenbezogene Trainingsdaten werden rekonstruierbar, was datenschutzrechtliche Pflichten nach DSGVO auslösen kann.
• Ein aufwendig trainiertes Modell wird über eine offene API faktisch kopiert.

Nicht jedes Modell ist gleich gefährdet. Ein internes Prognosemodell ohne externe Eingaben ist deutlich weniger exponiert als ein öffentlich erreichbarer Klassifikator, dessen Ergebnisse der Angreifer sofort sieht.

Schutzmaßnahmen in der Praxis

1. Inventar und Bedrohungsmodell: Erfassen Sie alle produktiven ML-Komponenten, deren Eingabequellen und die Entscheidungen, die davon abhängen. Die Wissensbasis MITRE ATLAS hilft, relevante Angriffstechniken systematisch durchzugehen.
2. Angriffsfläche verkleinern: Geben Sie nach außen nur die nötigsten Informationen zurück, etwa eine Entscheidung statt vollständiger Wahrscheinlichkeitswerte. Rate Limiting und Authentifizierung erschweren Extraction- und Black-Box-Angriffe.
3. Robustheit testen: Prüfen Sie Modelle vor dem Produktivgang mit adversarialen Beispielen. Open-Source-Werkzeuge wie die Adversarial Robustness Toolbox unterstützen dabei.
4. Adversarial Training: Das Nachtrainieren mit gezielt erzeugten Störbeispielen erhöht die Robustheit gegen bekannte Angriffsarten, bietet aber keinen vollständigen Schutz und kann die Genauigkeit leicht senken.
5. Mehrstufige Entscheidungen: Kombinieren Sie das Modell mit regelbasierten Prüfungen, Plausibilitätskontrollen oder einer menschlichen Freigabe bei kritischen Fällen. Ein einzelnes Modell sollte nicht die einzige Sicherheitsbarriere sein.
6. Monitoring: Überwachen Sie Eingabeverteilungen und Abfragemuster. Auffällig viele ähnliche Anfragen oder Eingaben nahe der Entscheidungsgrenze können auf Sondierung hindeuten.
7. Datenschutz durch Technik: Differential Privacy im Training und Datenminimierung reduzieren das Risiko von Membership-Inference- und Inversion-Angriffen.

Regulatorischer Bezug

Der EU AI Act (Verordnung (EU) 2024/1689) verlangt für Hochrisiko-KI-Systeme in Art. 15 ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit und nennt ausdrücklich Maßnahmen gegen manipulierte Trainingsdaten, manipulierte Eingaben und Angriffe auf die Vertraulichkeit. Nach der Änderung durch den Digital Omnibus (in Kraft seit 27. Juli 2026) greifen die Hochrisiko-Pflichten ab 2. Dezember 2027 für Systeme nach Anhang III und ab 2. August 2028 für KI in regulierten Produkten nach Anhang I. Unabhängig davon verlangt die DSGVO in Art. 32 angemessene technische Schutzmaßnahmen, wenn personenbezogene Daten im Modell stecken.

Fazit

Adversarial Machine Learning zeigt, dass ein Modell mit hoher Testgenauigkeit noch lange nicht sicher ist. Wer ML-Komponenten produktiv nutzt, sollte sie wie jede andere exponierte Anwendung in Bedrohungsanalyse, Tests und Monitoring einbeziehen. SecTepe unterstützt Sie dabei, KI-Komponenten in bestehende Risikoanalysen und Penetrationstests zu integrieren.

Häufige Fragen

Betrifft Adversarial Machine Learning auch Sprachmodelle?

Ja. Prompt Injection und Jailbreaks sind Formen von Evasion-Angriffen auf große Sprachmodelle. Die OWASP Top 10 for LLM Applications beschreiben diese Risiken speziell für LLM-Anwendungen.

Kann man ein Modell vollständig gegen adversariale Beispiele absichern?

Nach heutigem Forschungsstand nicht. Es gibt keine Verteidigung, die gegen alle Angriffe wirkt. Ziel ist, die Kosten für Angreifer zu erhöhen und Fehlentscheidungen durch zusätzliche Kontrollen abzufangen.