Algorithmic Accountability: Verantwortung für KI

Was bedeutet Rechenschaft bei Algorithmen konkret?

Sobald ein Algorithmus über Menschen mitentscheidet – bei Bewerbungen, Kreditlimits, Versicherungstarifen, Schichtplanung oder der Priorisierung von Kundenanfragen – stellt sich die Frage: Wer steht für das Ergebnis ein? Algorithmic Accountability beantwortet sie mit vier Bausteinen:

• Zuständigkeit: Für jedes System gibt es eine benannte verantwortliche Person oder Funktion, die über Einsatz, Änderungen und Abschaltung entscheidet.
• Nachvollziehbarkeit: Zweck, Datengrundlage, Logik und Grenzen des Systems sind dokumentiert. Einzelne Entscheidungen lassen sich im Nachhinein rekonstruieren, etwa über Protokolle.
• Überprüfbarkeit: Interne oder externe Prüfer können das System auf Fehler, Verzerrungen (Bias) und Einhaltung von Vorgaben testen.
• Korrektur und Beschwerde: Betroffene haben einen Weg, Entscheidungen anzufechten, und das Unternehmen kann falsche Ergebnisse tatsächlich korrigieren.

Abzugrenzen ist der Begriff von „Explainable AI“: Erklärbarkeit ist ein technisches Hilfsmittel, Rechenschaft dagegen ein organisatorisches Prinzip. Auch ein gut erklärbares Modell nützt wenig, wenn niemand zuständig ist, die Erklärung zu prüfen.

Wo Unternehmen typischerweise Lücken haben

In der Praxis scheitert Rechenschaft selten am Willen, sondern an fehlender Struktur. Häufige Schwachstellen sind:

• Ein zugekauftes Bewerbermanagement-Tool sortiert Kandidaten vor, doch niemand im Unternehmen weiß, nach welchen Kriterien.
• Fachabteilungen führen KI-Funktionen in bestehender Software ein, ohne dass IT, Datenschutz oder Geschäftsleitung davon erfahren.
• Die „menschliche Prüfung“ besteht faktisch aus einem Klick, mit dem Vorschläge des Systems ungesehen übernommen werden (Automation Bias).
• Es gibt keine Protokolle, mit denen sich eine beanstandete Entscheidung später nachvollziehen ließe.

Die Risiken sind konkret: Benachteiligungen nach dem Allgemeinen Gleichbehandlungsgesetz (AGG), Auskunftsansprüche nach DSGVO, die nicht beantwortet werden können, und Reputationsschäden, wenn eine fehlerhafte Automatisierung öffentlich wird.

Rechtlicher Rahmen

DSGVO

Art. 5 Abs. 2 DSGVO verankert die Rechenschaftspflicht des Verantwortlichen ausdrücklich. Art. 22 gibt Betroffenen das Recht, keiner ausschließlich automatisierten Entscheidung mit rechtlicher oder ähnlich erheblicher Wirkung unterworfen zu werden, sofern keine Ausnahme greift; dann sind Schutzmaßnahmen wie das Recht auf menschliches Eingreifen nötig. Nach Art. 13 bis 15 müssen Betroffene in solchen Fällen aussagekräftige Informationen über die involvierte Logik erhalten. Der Europäische Gerichtshof hat 2023 im sogenannten SCHUFA-Urteil (C-634/21) klargestellt, dass bereits ein Score unter Art. 22 fallen kann, wenn er für die Entscheidung eines Dritten maßgeblich ist. Bei hohem Risiko ist zudem eine Datenschutz-Folgenabschätzung nach Art. 35 erforderlich.

EU AI Act

Die KI-Verordnung (Verordnung (EU) 2024/1689) übersetzt Rechenschaft für Hochrisiko-KI in konkrete Pflichten: Risikomanagement (Art. 9), Daten-Governance (Art. 10), technische Dokumentation (Art. 11), Protokollierung (Art. 12), Transparenz gegenüber Betreibern (Art. 13) und menschliche Aufsicht (Art. 14). Unternehmen, die solche Systeme einsetzen, haben als Betreiber eigene Pflichten nach Art. 26, darunter kompetente Aufsichtspersonen und das Aufbewahren von Protokollen. Betroffene erhalten nach Art. 86 ein Recht auf Erläuterung bestimmter Einzelentscheidungen. KI im Personalbereich, etwa zur Bewerberauswahl, zählt nach Anhang III zu den Hochrisiko-Anwendungen. Durch den Digital Omnibus (in Kraft seit 27. Juli 2026) gelten diese Pflichten für Hochrisiko-Systeme nach Anhang III ab 2. Dezember 2027.

Rechenschaft praktisch umsetzen

1. KI- und Algorithmenregister anlegen: Erfassen Sie alle Systeme, die Entscheidungen über Personen treffen oder vorbereiten, inklusive zugekaufter Software mit KI-Funktionen.
2. Verantwortliche benennen: Jedes System erhält einen fachlichen Owner mit klaren Befugnissen, einschließlich der Befugnis, es zu stoppen.
3. Risiko einstufen: Bewerten Sie Auswirkungen auf Betroffene und ordnen Sie Systeme den Risikoklassen des EU AI Act zu. ISO/IEC 23894 bietet dafür einen methodischen Rahmen.
4. Menschliche Aufsicht wirksam gestalten: Prüfer brauchen Zeit, Informationen und die Befugnis, abzuweichen. Messen Sie, wie oft Vorschläge tatsächlich geändert werden.
5. Dokumentieren und protokollieren: Halten Sie Zweck, Datenbasis, Tests und Änderungen fest und bewahren Sie Entscheidungsprotokolle angemessen auf.
6. Fairness regelmäßig prüfen: Vergleichen Sie Ergebnisse über relevante Gruppen hinweg, um systematische Benachteiligungen früh zu erkennen.
7. Beschwerdeweg einrichten: Betroffene müssen wissen, an wen sie sich wenden können, und eine Antwort in angemessener Frist erhalten.

Ein KI-Managementsystem nach ISO/IEC 42001 bündelt diese Elemente in einem zertifizierbaren Rahmen und lässt sich gut mit einem bestehenden ISMS nach ISO/IEC 27001 verbinden.

Fazit

Algorithmic Accountability bedeutet: Automatisierung ändert nichts daran, dass ein Mensch im Unternehmen für die Entscheidung einsteht. Wer Zuständigkeiten, Dokumentation und Beschwerdewege früh festlegt, erfüllt nicht nur Pflichten aus DSGVO und EU AI Act, sondern schafft auch Vertrauen bei Kunden und Mitarbeitenden. SecTepe unterstützt beim Aufbau von KI-Governance-Strukturen im Zusammenspiel mit Datenschutz und Informationssicherheit.

Häufige Fragen

Sind wir verantwortlich, wenn die KI von einem Softwareanbieter stammt?

Ja. Nach DSGVO bleiben Sie Verantwortlicher für die Verarbeitung, nach EU AI Act haben Sie als Betreiber eigene Pflichten. Der Anbieter muss Ihnen jedoch die nötigen Informationen liefern – fordern Sie diese vertraglich ein.

Genügt es, wenn ein Mitarbeiter die KI-Entscheidung bestätigt?

Nur wenn die Prüfung echt ist. Eine reine Formalbestätigung ohne inhaltliche Befassung gilt nicht als wirksame menschliche Beteiligung.