Mit dem AI Act und der KI-Haftungsrichtlinie ändern sich die Spielregeln. Worauf Geschäftsführer jetzt achten müssen.
Das Wichtigste in Kürze
- Haftungsadressat ist in aller Regel der Betreiber – also das Unternehmen, das die KI einsetzt.
- Der EU AI Act ordnet KI-Systeme in Risikoklassen ein und knüpft daran gestufte Pflichten.
- Was nicht dokumentiert ist, lässt sich im Streitfall nicht verteidigen: Dokumentation ist die eigentliche Haftungsvorsorge.
- Verträge mit KI-Anbietern regeln Haftung, Datenrechte und Nachweispflichten oft unzureichend.
Warum die Frage überhaupt gestellt wird
Künstliche Intelligenz übernimmt zunehmend Entscheidungen, die früher von Menschen getroffen wurden – von der Bonitätsprüfung über die Schichtplanung bis zur Diagnose. Doch wer haftet, wenn die KI falsch liegt? Die Antwort ist unbequem: Der Umstand, dass ein Modell statistisch arbeitet, entlastet niemanden. Aus Sicht des Geschädigten ist die KI Teil des Betriebs – und der Betrieb hat einen Verantwortlichen.
Die neue Rechtslage
Der EU AI Act tritt schrittweise in Kraft und definiert Risikoklassen für KI-Systeme. Hochrisiko-Anwendungen unterliegen strengen Transparenz- und Dokumentationspflichten. Parallel dazu erleichtert die KI-Haftungsrichtlinie Geschädigten den Beweis von Schäden durch KI-Systeme – insbesondere über Auskunfts- und Offenlegungsansprüche sowie Beweiserleichterungen.
Für die Praxis bedeutet das eine Verschiebung: Nicht mehr der Geschädigte muss die Black Box erklären, sondern das Unternehmen muss zeigen, dass es sorgfältig gearbeitet hat.
Was Unternehmen jetzt tun sollten
- Inventarisierung: Alle eingesetzten KI-Systeme erfassen – auch die, die über Fachabteilungen und SaaS-Tools ins Haus gekommen sind.
- Klassifizierung: Einordnung nach Risiko-Kategorien und Ableitung der jeweiligen Pflichten.
- Dokumentation: Trainingsdaten, Modellversionen, Testergebnisse und Modell-Entscheidungen nachvollziehbar festhalten.
- Verträge prüfen: Haftungsregelungen, Freistellungen, Auditrechte und Datenrechte mit den Anbietern klären.
- Menschliche Aufsicht: Festlegen, wer eine KI-Entscheidung wann überstimmen darf – und das auch dokumentieren.
Die typische Lücke: Schatten-KI
In fast jedem Unternehmen, das ich prüfe, existieren KI-Anwendungen, die nie durch eine formale Freigabe gelaufen sind: ein Chatbot im Kundenservice, ein Übersetzungs-Add-on, ein Scoring-Modul im CRM. Diese Systeme fallen bei der Inventarisierung durch – und sind genau die, die im Schadensfall unangenehm werden.
Was nicht dokumentiert ist, existiert im Verfahren nicht. Das gilt für Trainingsdaten genauso wie für die Frage, wer den Output geprüft hat.
Was ich als Sachverständiger prüfe
- Datengrundlage: Herkunft, Qualität und Rechtekette der Trainings- und Eingabedaten.
- Modellqualität: Wurden Leistungskennzahlen vereinbart – und wurden sie erreicht?
- Bias und Fairness: Führt das System zu systematischen Benachteiligungen?
- Aufsicht: War eine wirksame menschliche Kontrolle vorgesehen und praktisch möglich?
- Dokumentation: Lässt sich der Zustand des Systems zum Schadenszeitpunkt rekonstruieren?
Mehr dazu auf der Seite Gutachten zu KI-Projekten.
Verträge mit KI-Anbietern
Der häufigste Fehler ist ein Vertrag, der Verfügbarkeit regelt, aber nicht Qualität. Wer KI einkauft, sollte messbare Leistungskennzahlen vereinbaren, Nachweis- und Auditrechte sichern, die Nutzung der eigenen Daten für das Training klar regeln und festhalten, was bei Modellwechseln passiert – denn ein Update kann das Verhalten des Systems verändern, ohne dass eine Zeile eigener Code angefasst wurde.
Häufig gestellte Fragen
Wer haftet, wenn ein KI-System einen Fehler macht?
Grundsätzlich haftet der Betreiber der KI – also das einsetzende Unternehmen. Bei Hochrisiko-Systemen kann zusätzlich der Hersteller in Anspruch genommen werden, sofern Konstruktions- oder Trainingsdaten-Fehler nachweisbar sind.
Was schreibt der EU AI Act vor?
Der AI Act klassifiziert KI-Systeme in vier Risikoklassen (verboten, hochrisiko, begrenzt, minimal) und schreibt für die obersten Klassen Transparenz, Dokumentation, Risikomanagement und menschliche Aufsicht vor.
Wie erkenne ich, ob mein System als Hochrisiko-KI gilt?
Maßgeblich ist der Einsatzzweck, nicht die Technik. Anwendungen in Bereichen wie Personalauswahl, Kreditvergabe, kritischer Infrastruktur oder Zugang zu wesentlichen Diensten fallen typischerweise in die obere Kategorie. Die Einordnung sollte dokumentiert und begründet werden.
Reicht es, sich auf den KI-Anbieter zu verlassen?
Nein. Der Betreiber bleibt für den Einsatz im eigenen Kontext verantwortlich – insbesondere für die Auswahl, die Konfiguration, die eingespeisten Daten und die Kontrolle des Outputs.
Welche Dokumentation ist im Streitfall entscheidend?
Modellversionen und Änderungszeitpunkte, Herkunft und Stand der Trainings- und Eingabedaten, Testergebnisse und Leistungskennzahlen, Freigabeentscheidungen sowie Protokolle der menschlichen Prüfung.
Wie hängt die DSGVO mit der KI-Haftung zusammen?
Beide greifen ineinander: Werden personenbezogene Daten verarbeitet, kommen Rechtsgrundlage, Zweckbindung, Transparenz und Betroffenenrechte hinzu. Ein KI-Fehler ist dann häufig zugleich ein Datenschutzvorfall.
Was ist Schatten-KI und warum ist sie riskant?
KI-Anwendungen, die ohne formale Freigabe im Unternehmen genutzt werden – oft über SaaS-Tools. Sie tauchen in keinem Inventar auf, sind nicht geprüft und erzeugen im Schadensfall genau die Dokumentationslücken, die teuer werden.
Kann ein Sachverständiger die Entscheidung einer KI nachvollziehen?
Vollständig selten, aber ausreichend häufig: über Modellversion, Eingabedaten, Protokolle und reproduzierbare Tests lässt sich in der Regel rekonstruieren, ob das System im konkreten Fall erwartungsgemäß gearbeitet hat.
Was sollte in einem Vertrag mit einem KI-Anbieter stehen?
Messbare Leistungskennzahlen, Nachweis- und Auditrechte, Regelungen zu Trainingsdaten und Datennutzung, Umgang mit Modellwechseln und Updates sowie klare Haftungs- und Freistellungsklauseln.
Wann sollte ich einen IT-Sachverständigen einschalten?
Vor dem Streit: bei Einführung eines risikoreichen Systems oder vor der Abnahme. Und im Streit: sobald ein Schaden im Raum steht, dessen Ursache im KI-System vermutet wird.
Unsicher, wie Ihre KI-Systeme im Streitfall dastehen?
Ich prüfe Inventar, Dokumentation und Verträge Ihrer KI-Anwendungen und sage Ihnen, wo die Lücken sind – bevor es jemand anderes tut.
Unverbindliches Erstgespräch