KI-basierte Entscheidungsprozesse: Welche Rechte haben Betroffene?

„Black-box-Problematik“ und „XAI“

Aufgrund der sogenannten „Black-Box-Problematik“, also dem Phänomen, dass KI-gestützte Prozesse oft nicht vollständig nachvollziehbar sind, hat sich ein ganzer Forschungsbereich mit dem Ziel der Verwirklichung erklärbarer KI oder „explainable AI“ (XAI) herausgebildet. Zwar gibt es bisher keine einheitliche Definition von XAI, allerdings umfasst dieser Bereich grundsätzlich zwei Dimensionen: Zum einen sollen KI-Modelle von vornherein so gestaltet werden, dass ihre Funktionsweise unabhängig von konkreten Einzelfällen durch generische (globale) Erklärungen verstanden werden kann. Zum anderen bezieht sich XAI auf Systeme, die auch fallbezogene (lokale) Erklärungen zu konkreten Entscheidungen bieten. Zusammengefasst soll XAI in der Lage sein, ihre Operationen zu erläutern, die nächsten Schritte zu prognostizieren und die genutzten Informationsquellen offenzulegen, damit automatisierte Entscheidungen besser überprüft und erklärt werden können.

So soll beispielsweise ein Unternehmen erklären können müssen, aufgrund welcher Kriterien ein in Bewerbungsprozessen eingesetztes KI-Tool bestimmte Bewerber:innen aussortiert. Abgelehnte Kreditwerber:innen wollen zudem häufig erfahren, aus welchen Gründen ihr Kreditantrag von einer Bank abgelehnt wurde, die sich bei der Entscheidung über die Kreditvergabe auf KI-errechnete Bonitätswerte stützt. Auch Versicherungsunternehmen sollten verstehen, warum ihre KI bei manchen Personen eine höhere Versicherungsprämie ansetzt als bei anderen.

Ein Querschnitt durch die aktuelle Rechtslage

Die Datenschutz-Grundverordnung (DSGVO) verbietet automatisierte Entscheidungen im Einzelfall, sobald dazu personenbezogene Daten (zB Name, Alter, Adresse) verarbeitet werden und die Entscheidung rechtliche oder sonstige nachteilige Auswirkungen auf eine Person hat. Diese Verbotsnorm kann jedoch unter gewissen Voraussetzungen ausgehebelt werden, beispielsweise wenn die Entscheidung für den Abschluss eines Vertrages erforderlich ist oder gesetzliche Deckung findet. In solchen Fällen sind Betroffene allerdings bereits bei der Erhebung ihrer Daten darüber zu informieren, dass sie einer automatisierten Entscheidung unterliegen werden.

Werden KI-basierte Systeme in Entscheidungsprozessen eingesetzt, befinden wir uns darüber hinaus im Anwendungsbereich der neuen EU KI-Verordnung (KI-VO), welche KI gewissen Produktstandards unterwirft, um den europäischen Binnenmarkt vor deren schädlichen Auswirkungen zu schützen. Beim Einsatz von KI in Bewerbungsprozessen, in der Kreditvergabe oder in der Prämienberechnung von Lebens- und Krankenversicherungen, aber auch im Bildungsbereich und in der Justiz, handelt es sich regelmäßig sogar um sogenannte „Hochrisiko-KI“, deren Einsatz strengen Anforderungen unterliegt. In diesen Fällen haben Betroffene besondere Rechte, beispielsweise vorab über den Hochrisiko-KI-Einsatz in Entscheidungsprozessen informiert zu werden. Diese Informationspflicht gilt jedoch erst ab 2. August 2026.

Datenschutzrechtliche Abhilfemaßnahmen

Um darüber hinaus die Hintergründe von KI-basierten Entscheidungen zu verstehen, sieht die DSGVO ein Auskunftsrecht von Betroffenen gegenüber Unternehmen vor. Demnach können Betroffene Informationen über das Bestehen einer automatisierten Entscheidung, deren Tragweite und Auswirkungen sowie die „involvierte Logik“ einer derartigen Datenverarbeitung verlangen. Was genau unter der „involvierten Logik“ zu verstehen ist und welche Informationen offenzulegen sind, war bereits Gegenstand zahlreicher Gerichtsverfahren und juristischer Debatten im Schrifttum. Wie in einem rezenten Urteil des Gerichtshofs der Europäischen Union (EuGH) festgestellt, bezeichnet die involvierte Logik zusammenfassend alle Informationen, die das Verfahren und die Grundsätze erläutern, die zum Erreichen eines bestimmten Ergebnisses konkret angewandt wurden. Die Auskunft muss es der betroffenen Person somit ermöglichen, zu verstehen, welche ihrer personenbezogenen Daten im Rahmen des Entscheidungsprozesses auf welche Art verwendet wurden. Möglich sind hier auch sogenannte „kontrafaktische Erklärungen“, die darlegen, inwieweit abweichende Daten zu einem anderen Ergebnis geführt hätten. Der Algorithmus selbst oder mathematische Formeln müssen hingegen aufgrund ihrer Komplexität nicht offengelegt werden. Entscheidend ist jedenfalls, den betroffenen Personen präzise, verständliche und in klarer Sprache abgefasste Informationen zu übermitteln, die hinreichend bestimmt und kontextbezogen sind. Der EuGH stellt hier somit die Weichen für fallbezogene, lokale Erklärungen; die alleinige Abgabe von generischen, globalen Erklärungen ist somit nicht ausreichend. Droht durch die Auskunft eine Offenlegung von Geschäftsgeheimnissen, ist die jeweilige Aufsichtsbehörde bzw in Österreich die Datenschutzbehörde (DSB) mit der Sache zu befassen, die anschließend eine Interessenabwägung durchzuführen hat.

Ein neues Betroffenenrecht in der KI-VO

Auch, wenn Betroffene mithilfe des Auskunftsrechts nach der DSGVO wertvolle Erklärungen gewinnen können, deckt dieses jedoch nicht alle relevanten Aspekte von KI-basierten Entscheidungen ab. So lässt es beispielsweise die Frage komplett außen vor, welche konkrete Rolle dem KI-System eigentlich im Entscheidungsprozess zukommt. Außerdem kann es Fälle geben, in denen das Auskunftsrecht nach der DSGVO nicht zusteht und Betroffene daher auf anderem Wege zu Informationen gelangen müssen. Aus diesem Grund enthält die neue KI-VO ein „Recht auf Erläuterung der Entscheidungsfindung im Einzelfall“, das mit 2. August 2026 anwendbar wird und Entscheidungsprozesse betrifft, in denen Hochrisiko-KI eingesetzt wird.

Das Recht auf Erläuterung ist als einziges Betroffenenrecht der KI-VO direkt gegen den KI-Betreiber (Einrichtungen, die KI in eigener Verantwortung verwenden) durchsetzbar und steht Betroffenen zu, wenn sie von der Entscheidung rechtlich oder ihrer Ansicht nach in ihrer Gesundheit, Sicherheit oder in ihren Grundrechten erheblich beeinträchtigt sind. In diesen Fällen können Betroffene eine klare und aussagekräftige Erklärung zu den wichtigsten Elementen der getroffenen Entscheidung und zur Rolle des KI-Systems im Entscheidungsprozess verlangen. Konkrete Handlungsanweisungen bleibt diese Bestimmung jedoch schuldig. Die daraus resultierenden Unklarheiten in der Praxis werden wohl noch durch höchstgerichtliche Rechtsprechung zu klären sein, wobei davon auszugehen ist, dass zu den wesentlichen Elementen der Entscheidung jedenfalls Eingabedaten, Merkmalsgewichtungen und Informationen über den Systemprozess sowie die grobe Operationsweise der Anwendung zählen. Erklärungen zur Rolle des KI-Systems umfassen wohl Informationen über die Art sowie die Maßgeblichkeit der Beiträge des Systems zur Entscheidung, was umgekehrt Erläuterungen über den menschlichen Beteiligungsgrad am Entscheidungsprozess impliziert.

Praktische Durchsetzung

Datenschutzrechtliche Auskunftsbegehren können sowohl schriftlich als auch mündlich gestellt werden und müssen von Unternehmen grundsätzlich innerhalb eines Monats und kostenlos beantwortet werden. Verarbeitet das Unternehmen hingegen keine personenbezogenen Daten der Person oder liegt keine automatisierte Entscheidung vor, ist auch das der Person im Sinne einer „Negativauskunft“ mitzuteilen. Bei Nichteinhaltung dieser Bestimmungen drohen dem Unternehmen hohe Geldbußen bis zu 20 Millionen Euro oder bis zu 4 % des gesamten weltweiten Jahresumsatzes.

Die KI-VO hingegen regelt diese praktischen Umsetzungsfragen nicht oder nur unzureichend und einschlägige Leitlinien fehlen bislang. Ebenso ist nicht eindeutig festgelegt, ob Unternehmen Betroffene vorab über ihr Recht auf Erläuterung aufklären müssen. Davon ist allerdings auszugehen, da Betroffene das Recht nicht geltend machen können, wenn sie nicht darum wissen. Für eine endgültige Klärung gilt es jedoch nationale Durchführungsrechtsakte und die Rechtsprechung abzuwarten. Betroffenen steht jedenfalls das Recht zu, bei Verstößen gegen die KI-VO Beschwerde bei der betreffenden Marktüberwachungsbehörde einzureichen.

Fazit und aktuelle Forschung

Das Recht auf Erläuterung in der KI-VO ist mit einigen offenen Fragen verbunden und auch das Auskunftsrecht der DSGVO ist immer wieder Auslöser von Auslegungsstreitigkeiten. Doch gerade im Zeitalter des zunehmenden KI-Einsatzes durch Unternehmen in Entscheidungsprozessen ist es essenziell, im Sinne von Transparenz und Rechtsschutz derartige Entscheidungen nachvollziehen zu können. Dazu gehört, Betroffenen wirksame Instrumente in die Hand zu geben, damit diese Informationen über die Entscheidung erwirken und darauf basierend weitere Rechte geltend machen können (beispielsweise die Entscheidung anfechten).

Aus diesem Grund nimmt die Forschung diese Thematik mittlerweile vermehrt in den Blick. Als Beispiel kann das Projekt „Aufklärung 4.0 – Entscheidungen der KI als Mensch verstehen„ genannt werden, das von Forscher:innen im Bereich KI, Recht und Ethik am Research Institute – Digital Human Rights Center im Auftrag des Bundesministeriums für Arbeit, Soziales, Gesundheit, Pflege und Konsumentenschutz durchgeführt wurde. Im Rahmen des Projekts wurden im engen Austausch mit relevanten Stakeholdern konkrete Leitlinien für den Umgang mit dem Recht auf Erläuterung nach der KI-VO in der Praxis entwickelt. Die Projektergebnisse sind auf der Webseite des Sozialministeriums sowohl auf Deutsch als auch auf Englisch abrufbar. Mit dieser und weiteren Forschungsinitiativen soll die Basis für einen verantwortungsvollen und vertrauenswürdigen Umgang mit KI in der Praxis geschaffen und die beteiligten Akteur:innen darüber aufgeklärt werden, welche Rechte und Pflichten ihnen in diesem Zusammenhang zukommen. KI-Betreiber sind daher jetzt schon gut beraten, ihre Prozesse darauf einzustellen und Konformität mit den Anforderungen der KI-VO und weiteren relevanten Rechtsakten herzustellen.

(Madeleine Müller, 25.08.25)