DSGVO und KI: Datenschutz bei KI-Systemen

Wo KI-Systeme personenbezogene Daten verarbeiten

Datenschutzrechtlich lohnt es sich, ein KI-System in einzelne Verarbeitungsphasen zu zerlegen, weil für jede Phase eigene Fragen zu klären sind:

• Training und Feinabstimmung: Enthalten die Trainingsdaten Namen, Kundendaten, Beschäftigtendaten oder frei formulierte Texte mit Personenbezug? Wurden die Daten ursprünglich für einen anderen Zweck erhoben?
• Das Modell selbst: Ob ein trainiertes Modell personenbezogene Daten „enthält“, ist nicht pauschal zu beantworten. Der Europäische Datenschutzausschuss (EDSA) hat in seiner Stellungnahme 28/2024 festgehalten, dass ein Modell nur dann als anonym gilt, wenn eine Extraktion personenbezogener Trainingsdaten sehr unwahrscheinlich ist – das ist im Einzelfall nachzuweisen.
• Nutzung: Prompts, hochgeladene Dokumente und Ausgaben können personenbezogene Daten enthalten, ebenso Protokolle und Gesprächsverläufe.
• Ergebnisse über Personen: Scores, Prognosen, Klassifizierungen oder generierte Texte über Menschen sind selbst personenbezogene Daten – auch wenn sie falsch sind.

Zentrale Anforderungen der DSGVO

Rechtsgrundlage und Zweckbindung

Jede Phase braucht eine Rechtsgrundlage nach Art. 6 DSGVO, bei besonderen Kategorien wie Gesundheitsdaten zusätzlich nach Art. 9. Für das Training wird häufig das berechtigte Interesse (Art. 6 Abs. 1 lit. f) herangezogen; das erfordert eine dokumentierte Interessenabwägung. Wer vorhandene Kunden- oder Beschäftigtendaten für das Training nutzen will, muss prüfen, ob der neue Zweck mit dem ursprünglichen Erhebungszweck vereinbar ist.

Transparenz

Nach Art. 13 und 14 müssen Betroffene über die Verarbeitung informiert werden. Bei automatisierten Entscheidungen im Sinne von Art. 22 gehören dazu aussagekräftige Informationen über die involvierte Logik sowie die Tragweite und die angestrebten Auswirkungen. Das Auskunftsrecht nach Art. 15 erstreckt sich auch auf Daten, die ein KI-System über eine Person erzeugt hat.

Automatisierte Einzelentscheidungen (Art. 22)

Entscheidungen, die ausschließlich automatisiert getroffen werden und rechtliche oder ähnlich erhebliche Wirkung haben – etwa die Ablehnung einer Bewerbung, eines Kredits oder eines Vertrags – sind nur in engen Ausnahmen zulässig. Der EuGH hat im SCHUFA-Urteil (C-634/21, Dezember 2023) klargestellt, dass bereits die Berechnung eines Scores unter Art. 22 fallen kann, wenn ein Dritter seine Entscheidung maßgeblich darauf stützt. Eine „menschliche Prüfung“, die das KI-Ergebnis nur abnickt, genügt nicht.

Richtigkeit und Betroffenenrechte

Generative KI kann falsche Aussagen über reale Personen erzeugen. Der Grundsatz der Richtigkeit (Art. 5 Abs. 1 lit. d) und das Recht auf Berichtigung und Löschung lassen sich bei trainierten Modellen technisch nur eingeschränkt umsetzen. Umso wichtiger sind Filter auf Ausgabeebene und klare Prozesse zur Bearbeitung von Betroffenenanfragen.

Datenschutz durch Technikgestaltung und Sicherheit

Art. 25 verlangt Datenminimierung schon beim Systemdesign, Art. 32 angemessene technische und organisatorische Maßnahmen. Dazu zählen Pseudonymisierung von Trainingsdaten, Zugriffsbeschränkungen, Löschkonzepte für Prompts und Protokolle sowie Schutz gegen Angriffe, mit denen sich Trainingsdaten aus Modellen rekonstruieren lassen.

Vorgehen in der Praxis

1. KI-Anwendungen erfassen: Legen Sie ein Verzeichnis aller eingesetzten KI-Systeme an, einschließlich KI-Funktionen in bestehender Software, und ergänzen Sie das Verzeichnis der Verarbeitungstätigkeiten.
2. Rolle klären: Sind Sie Verantwortlicher, gemeinsam Verantwortlicher oder nutzt ein Anbieter Ihre Daten auch für eigene Zwecke? Letzteres schließt eine reine Auftragsverarbeitung aus.
3. Verträge prüfen: Auftragsverarbeitungsvertrag nach Art. 28, Ausschluss der Nutzung Ihrer Eingaben zum Training des Anbietermodells, Serverstandort und Grundlage für Drittlandübermittlungen.
4. Datenschutz-Folgenabschätzung: Beim Einsatz neuer Technologien mit voraussichtlich hohem Risiko ist eine DSFA nach Art. 35 erforderlich – bei KI-Systemen, die Personen bewerten oder Beschäftigte betreffen, regelmäßig der Fall.
5. Nutzungsrichtlinie erstellen: Regeln Sie, welche Daten Mitarbeitende in KI-Tools eingeben dürfen und welche Werkzeuge freigegeben sind.
6. Menschliche Kontrolle wirksam gestalten: Entscheidungsträger müssen befugt, qualifiziert und zeitlich in der Lage sein, KI-Ergebnisse zu hinterfragen.
7. Datenschutzbeauftragten früh einbinden: Nicht erst vor dem Go-live, sondern bei der Auswahl des Systems.

Verhältnis zum EU AI Act

Der EU AI Act ergänzt die DSGVO, ersetzt sie aber nicht. Für Hochrisiko-KI-Systeme fordert er unter anderem Daten-Governance, Protokollierung und menschliche Aufsicht; viele dieser Dokumente lassen sich mit der DSFA verzahnen. Die Datenschutzkonferenz (DSK) hat 2024 eine Orientierungshilfe „Künstliche Intelligenz und Datenschutz“ veröffentlicht, die bei Auswahl und Einsatz von KI-Anwendungen hilft.

Fazit

DSGVO-konformer KI-Einsatz gelingt, wenn Sie jede Verarbeitungsphase einzeln betrachten, Anbieterverträge genau prüfen und automatisierte Entscheidungen bewusst mit echter menschlicher Kontrolle versehen. SecTepe unterstützt bei der Verzahnung von Datenschutz, Informationssicherheit und KI-Governance.

Häufige Fragen

Dürfen Mitarbeitende Kundendaten in ChatGPT und ähnliche Dienste eingeben?

Nur wenn das Werkzeug vom Unternehmen freigegeben ist, ein Auftragsverarbeitungsvertrag besteht und die Nutzung der Eingaben für das Training ausgeschlossen ist. Private Konten sind dafür ungeeignet.

Reicht es, Daten vor dem Training zu anonymisieren?

Echte Anonymisierung entzieht die Daten der DSGVO, ist bei Freitexten aber schwer zu erreichen. Häufig handelt es sich nur um Pseudonymisierung, für die die DSGVO weiterhin gilt.