KI-Penetrationstest: ML- und LLM-Systeme prüfen

Was ein KI-Pentest anders macht

Ein klassischer Web-Pentest sucht nach Fehlern wie SQL-Injection, fehlerhafter Zugriffskontrolle oder unsicheren Konfigurationen. Diese Prüfungen bleiben auch bei KI-Anwendungen notwendig, denn ein Chatbot ist meist in eine normale Webanwendung mit API, Benutzerverwaltung und Datenbank eingebettet. Hinzu kommt eine neue Angriffsfläche: Das Modell verarbeitet natürliche Sprache, trennt nicht zuverlässig zwischen Anweisungen und Daten und verhält sich nicht deterministisch. Eine Schwachstelle zeigt sich daher oft nur bei einem Teil der Versuche, und Testfälle müssen mehrfach und in Varianten ausgeführt werden.

Prüfbereiche

LLM-Anwendungen und Agenten

Als Orientierung dienen die OWASP Top 10 for LLM Applications (Ausgabe 2025). Typische Testfälle:

• Direkte und indirekte Prompt Injection: Lassen sich Sicherheitsvorgaben durch Eingaben umgehen, oder durch präparierte Inhalte in E-Mails, Webseiten und Dokumenten, die das System verarbeitet?
• Offenlegung sensibler Informationen: Gibt das System Daten anderer Benutzer, interne Dokumente oder Zugangsdaten preis?
• System Prompt Leakage: Lässt sich der System-Prompt auslesen, und enthält er Geheimnisse, die dort nicht hingehören?
• Übermäßige Handlungsbefugnis (Excessive Agency): Kann ein Angreifer einen Agenten dazu bringen, Werkzeuge mit zu weitreichenden Rechten zu nutzen, etwa E-Mails zu versenden oder Datensätze zu ändern?
• Unsichere Ausgabeverarbeitung: Werden Modellausgaben ungeprüft in HTML, SQL oder Shell-Befehle übernommen?
• Berechtigungen in RAG-Systemen: Respektiert die Suche in der Wissensbasis die Zugriffsrechte des jeweiligen Benutzers?

Klassische ML-Modelle

Bei Klassifikatoren, etwa zur Betrugs- oder Malware-Erkennung, stehen andere Angriffe im Vordergrund, die MITRE ATLAS systematisch beschreibt:

• Adversarial Examples (Evasion): minimal veränderte Eingaben, die das Modell zu einer falschen Entscheidung bringen.
• Modellextraktion: Nachbau des Modells über viele Abfragen der Schnittstelle.
• Membership Inference: Rückschluss, ob bestimmte Datensätze im Training verwendet wurden – relevant, wenn personenbezogene Daten im Spiel sind.
• Data Poisoning: Prüfung, ob und wie Angreifer Trainings- oder Feedbackdaten beeinflussen können.

Infrastruktur und Lieferkette

Geprüft werden auch API-Schlüssel und deren Speicherung, Rate Limits, Isolation der Modellumgebung, die Herkunft vortrainierter Modelle sowie unsichere Modellformate, die beim Laden Code ausführen können.

Ablauf eines KI-Pentests

1. Scoping: Systemgrenzen, angebundene Werkzeuge und Datenquellen, Testumgebung und Ausschlüsse festlegen. Klären, ob Tests gegen einen externen KI-Anbieter erlaubt sind und welche Nutzungsbedingungen gelten.
2. Bedrohungsmodellierung: Wer könnte das System angreifen, mit welchem Ziel, und über welche Eingabekanäle?
3. Automatisierte Tests: Open-Source-Werkzeuge wie garak, PyRIT oder die Adversarial Robustness Toolbox erzeugen große Mengen an Testeingaben.
4. Manuelle Tests: Erfahrene Tester kombinieren Schwachstellen zu realistischen Angriffsketten, etwa indirekte Prompt Injection über ein Dokument, die zu einer Datenabfrage durch einen Agenten führt.
5. Bericht: reproduzierbare Nachweise mit Angabe der Erfolgsquote, Risikobewertung und konkrete Empfehlungen.
6. Nachtest: Überprüfung der Maßnahmen, idealerweise auch nach größeren Modell- oder Prompt-Änderungen.

Regulatorischer Bezug

Der EU AI Act verlangt für Hochrisiko-KI-Systeme ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit (Art. 15), ausdrücklich auch gegen Angriffe wie Data Poisoning und Adversarial Examples. Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und systemischem Risiko müssen Angriffstests (Adversarial Testing) durchführen. Auch außerhalb dieser Kategorien ist ein Pentest ein nachvollziehbarer Beleg dafür, dass Risiken im Sinne von Art. 32 DSGVO und eines ISMS nach ISO/IEC 27001 geprüft wurden.

Fazit

Ein KI-Penetrationstest verbindet klassische Anwendungssicherheit mit KI-spezifischen Angriffen und sollte vor dem Produktivstart sowie nach wesentlichen Änderungen erfolgen. SecTepe führt Penetrationstests für Webanwendungen und KI-Integrationen durch und berät zur Behebung der Befunde.

Häufige Fragen

Was ist der Unterschied zwischen KI-Pentest und KI-Red-Teaming?

Der Pentest sucht in einem definierten Umfang möglichst viele technische Schwachstellen. Red Teaming simuliert eher ein konkretes Angreiferziel und umfasst oft auch inhaltliche Risiken wie schädliche oder irreführende Ausgaben. Die Begriffe werden in der Praxis nicht einheitlich verwendet.

Brauchen wir einen Pentest, wenn wir nur einen fertigen KI-Dienst nutzen?

Das Modell des Anbieters können Sie meist nicht prüfen, wohl aber Ihre Integration: welche Daten angebunden sind, welche Rechte der Dienst hat und wie Ausgaben weiterverarbeitet werden. Dort entstehen in der Praxis viele Schwachstellen.