AI Red Teaming: Offensive Tests für KI-Systeme

Was unterscheidet AI Red Teaming vom klassischen Penetrationstest?

Ein klassischer Penetrationstest sucht nach Konfigurationsfehlern, verwundbarer Software und fehlerhafter Zugriffskontrolle. Diese Themen bleiben bei KI-Anwendungen relevant, denn Chatbots und Agenten laufen auf gewöhnlicher Infrastruktur mit APIs, Datenbanken und Identitäten. Hinzu kommt jedoch eine Schicht, die sich nicht deterministisch verhält: Das Modell reagiert auf natürliche Sprache, gleiche Eingaben liefern nicht immer gleiche Antworten, und die „Schwachstelle“ ist oft kein Codefehler, sondern ein Verhalten.

AI Red Teaming verbindet daher drei Perspektiven:

• Anwendungssicherheit: Authentifizierung, Autorisierung, Schnittstellen, Plugins und die Rechte, mit denen ein KI-Agent auf andere Systeme zugreift.
• Modellspezifische Angriffe: direkte und indirekte Prompt Injection, Jailbreaks, Auslesen des System-Prompts, Extraktion vertraulicher Informationen aus angebundenen Datenquellen.
• Missbrauch und Sicherheit der Inhalte: diskriminierende, erfundene oder rechtlich problematische Ausgaben sowie Aussagen, die dem Unternehmen schaden können.

Typische Testszenarien

Welche Szenarien sinnvoll sind, hängt vom Einsatzzweck ab. Häufig geprüft werden:

• Ein Kundenchatbot wird dazu gebracht, interne Preislogik, Rabattregeln oder den System-Prompt preiszugeben.
• Ein interner Assistent mit Zugriff auf SharePoint oder das Ticketsystem liefert Dokumente an Mitarbeitende aus, die dafür keine Berechtigung haben.
• Eine präparierte E-Mail oder Webseite enthält versteckte Anweisungen, die ein KI-Agent beim Zusammenfassen ausführt, etwa das Weiterleiten von Daten (indirekte Prompt Injection).
• Ein Agent mit Werkzeugzugriff wird zu Aktionen verleitet, die weit über seinen Auftrag hinausgehen (Excessive Agency).
• Ausgaben des Modells werden ungeprüft in Webseiten, SQL-Abfragen oder Shell-Befehle übernommen und öffnen so klassische Injection-Lücken.

Als Orientierung dienen die OWASP Top 10 for LLM Applications (Ausgabe 2025) und die Wissensbasis MITRE ATLAS, die Angriffstechniken auf KI-Systeme ähnlich wie MITRE ATT&CK strukturiert.

Ablauf eines AI Red Teamings

1. Scope und Ziele festlegen: Welches System, welche Schnittstellen, welche Datenquellen und Werkzeuge? Welche Ergebnisse wären für das Unternehmen kritisch – Datenabfluss, Reputationsschaden, finanzielle Aktionen?
2. Bedrohungsmodell erstellen: Wer interagiert mit dem System, welche Eingaben kommen aus nicht vertrauenswürdigen Quellen, welche Rechte hat das Modell?
3. Manuelle Tests: Erfahrene Tester entwickeln kreative, kontextbezogene Angriffe. Gerade mehrstufige Gesprächsverläufe und indirekte Injektionen lassen sich kaum vollständig automatisieren.
4. Automatisierte Tests: Open-Source-Werkzeuge wie PyRIT, garak oder promptfoo spielen große Mengen an Angriffsvarianten durch und machen Ergebnisse wiederholbar. Wegen des nicht deterministischen Verhaltens sollten Tests mehrfach laufen.
5. Bewertung und Bericht: Befunde werden nach Auswirkung und Ausnutzbarkeit bewertet und mit reproduzierbaren Beispielen dokumentiert.
6. Maßnahmen und Nachtest: Typische Ergebnisse sind engere Berechtigungen für Agenten, Freigabeschritte vor kritischen Aktionen, Ausgabefilter und eine saubere Trennung von Anweisungen und Daten. Nach Modell- oder Prompt-Änderungen ist ein erneuter Test sinnvoll.

Wann lohnt sich AI Red Teaming für den Mittelstand?

Nicht jede Nutzung von KI erfordert ein eigenes Red-Team-Projekt. Sinnvoll ist es vor allem, wenn eine KI-Anwendung von außen erreichbar ist, auf vertrauliche oder personenbezogene Daten zugreift oder selbstständig Aktionen in anderen Systemen auslösen kann. Für einfache interne Nutzung eines Standard-Chatdienstes genügen oft Richtlinien, Schulung und eine Konfigurationsprüfung.

Regulatorischer Bezug

Der EU AI Act (Verordnung (EU) 2024/1689) verpflichtet Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko seit 2. August 2025 ausdrücklich zu dokumentierten adversarialen Tests (Art. 55). Für Hochrisiko-KI verlangt Art. 15 Robustheit und Cybersicherheit, was sich ohne Tests kaum belegen lässt. Auch das NIST AI Risk Management Framework sieht Tests in der Funktion „Measure“ vor. Für Unternehmen im Anwendungsbereich von NIS2 gehören KI-Anwendungen zudem in das reguläre Risikomanagement nach § 30 BSIG.

Fazit

AI Red Teaming macht sichtbar, was ein KI-System unter feindlichen Bedingungen tatsächlich tut – und nicht nur, was es im Normalbetrieb tun soll. SecTepe kombiniert bei Tests von KI-Anwendungen klassische Pentest-Methodik mit KI-spezifischen Angriffsszenarien.

Häufige Fragen

Reicht ein einmaliger Test?

Selten. Modelle, System-Prompts, Datenquellen und Werkzeuge ändern sich häufig. Nach wesentlichen Änderungen und in regelmäßigen Abständen sollte erneut getestet werden, idealerweise ergänzt durch automatisierte Regressionstests.

Darf man Cloud-KI-Dienste von Drittanbietern testen?

Tests an Ihrer eigenen Anwendung sind üblich, müssen aber die Nutzungsbedingungen des Anbieters beachten. Klären Sie vorab, was erlaubt ist, und holen Sie im Zweifel eine Freigabe ein.