Wenn Algorithmen über Menschen mitentscheiden: KI in der Verwaltung

Chancen und Risiken von Künstlicher Intelligenz in der öffentlichen Verwaltung – warum klare Regeln, Transparenz und Grundrechtsschutz unverzichtbar sind

In Zeiten des Budgetlochs soll die Verwaltung effizienter werden. Der Einsatz von Automatisierung und Künstlicher Intelligenz scheint naheliegend. Doch wo Maschinen über Menschen entscheiden könnten, steht mehr auf dem Spiel als nur Zeit und Geld. Software, wie künstliche Intelligenz, kann nur sinnvoll in der Verwaltung eingesetzt werden, wenn klare Rechtsgrundlagen, Transparenz und Grundrechte mitgedacht werden.

Verantwortungsvoller Einsatz im öffentlichen Sektor

Im aktuellen Regierungsprogramm findet sich die Absichtserklärung, im öffentlichen Sektor verstärkt Künstliche Intelligenz heranzuziehen. Mögliche Einsatzbereiche sind vielfältig: Chatbots zur Stärkung der Behördenkommunikation, Prognosemodelle für Vorhersagen von Hochwasserereignissen, Betrugsbekämpfungs-KI oder KI zur Content-Erstellung von Broschüren.

Davon verspricht man sich vor allem Effizienzsteigerung und Kostenersparnis. Die Automatisierung der Verwaltung birgt jedoch bei mangelhafter Umsetzung gravierende Risiken für Bürgerinnen und Bürger. Gefahren fehlerhafter Software zeigten sich bereits in der Vergangenheit, etwa beim niederländischen Kinderbeihilfenskandal, wo ein Algorithmus tausende Familien fälschlich des Sozialbetrugs bezichtigte und in den Ruin trieb. Oder bei der automatisierten Parkraumüberwachung in den Niederlanden, die Berechtigungen von Menschen mit Behinderung nicht erkennt. Über allgemeine Risiken beim Einsatz generativer KI wurde zuletzt in diesem Blogbeitrag berichtet. Auch der Einsatz von klassischen deterministischen oder probabilistischen Algorithmen wie dem AMS-Algorithmus kann erhebliche Risiken in sich bergen.

Wann kann man von „KI“ in der Verwaltung sprechen?

Bevor von „Künstlicher Intelligenz“ in der Verwaltung die Rede sein kann, muss zunächst eine grundlegende Frage beantwortet werden: Liegt eine KI im Sinne der europäischen KI-VO vor? Diese Feststellung ist in der Praxis alles andere als trivial. Denn Begriffe wie „KI“ werden oft unscharf verwendet. Das birgt die Gefahr von Missverständnissen. Die Abgrenzung zwischen (reiner) Statistik und Künstlicher Intelligenz erscheint nicht immer einfach, eine abschließende, einheitliche Definition von KI existiert nicht. Nach der KI-VO kommt es wesentlich auf die Fähigkeit eines Systems an, aus Eingaben eigenständig Ergebnisse abzuleiten.

Unabhängig davon, ob die Pflichten der KI-VO im Einzelfall anwendbar sind oder nicht, müssen die verfassungsrechtlichen Anforderungen bei grundrechtsinvasiven Technologien stets erfüllt werden.

Handeln nur aufgrund der Gesetze

Neben dem Regime der KI-VO ist es Aufgabe des Staates, allgemeingültige Regelungen für die Verwendung von KI und ähnlichen Technologien zu treffen und deren Einsatz im eigenen, staatlichen Bereich festzulegen.

Bevor Behörden KI-Anwendungen einsetzen, sollten sie stets prüfen, ob diese mit unionsrechtlichen, sowie mit verfassungs- und einfachgesetzlichen Vorgaben vereinbar sind. Insbesondere verlangt das Legalitätsprinzip, dass die gesamte staatliche Verwaltung nur aufgrund der Gesetze ausgeübt werden darf. Im Sinne des rechtsstaatlichen Prinzips muss das Handeln der Verwaltung für Bürger:innen vorhersehbar und berechenbar sein, was beim Einsatz einer KI, die für Anwendende meist eine Blackbox darstellt, besonders schwierig ist.

Der Einsatz von KI-Systemen durch Verwaltungsbehörden ist aktuell jedoch weder in Österreich noch in anderen EU-Mitgliedstaaten selten explizit geregelt. Daher besteht die Gefahr, dass öffentliche Stellen KI-Systeme einsetzen, deren Verwendung nicht auf einer speziellen Rechtsgrundlage beruht. Dies ist vor allem im Bereich der hoheitlichen Aufgabenerfüllung problematisch und dort, wo es zu Grundrechtseingriffen durch den Einsatz von KI kommen kann.

Dementsprechend bemängelte zuletzt auch der Rechnungshof, dass es (abgesehen von vereinzelten Sonderbestimmungen, wie im Abgabenverfahren, für die Finanzmarktaufsicht und in der Sozialversicherung) noch keine nationalen Rechtsvorschriften zum Einsatz von KI gibt.

Ein erster Schritt folgte mittlerweile mit dem oberösterreichischen Informationstechnologien-Einsatz-Gesetz, das u. a. die vollständig automatisierte Entscheidungsfindung bei Förderanträgen ermöglichen soll. Im finalen Gesetzestext wurde (aus kompetenzrechtlichen Gründen) klargestellt, dass derartige Entscheidungen nur mit Informationstechnologie erfolgen dürfen, die nicht unter die Definition von KI nach der KI-VO fällt. Allerdings sind beim Einsatz auch die Vorgaben der DSGVO einzuhalten, die auch für Behörden verbindlich sind. Diese verlangt bei rechtlich wirksamen Entscheidungen stets einen menschlichen Entscheidungsspielraum.

Weichenstellung für die KI-Aufsicht

Bislang fehlt eine gesetzliche Regelung, welcher Behörde in Österreich die Durchsetzung der KI-VO zukommen wird. Nach der KI-VO müssen bis zum 2.8.2025 bestimmte nationale Behörden vorgesehen werden. Dabei bleibt es dem Gesetzgeber überlassen, auf bereits bestehenden Behördenstrukturen aufzubauen oder aber neue Behörden zu schaffen. Laut Regierungsprogramm soll die KI-Behörde institutionell auf der KI-Servicestelle der Rundfunk- und Telekom-Regulierungs-GmbH (RTR) aufbauen, mit Schwerpunkt auf Beratung in Abstimmung mit anderen Stellen, wie der Datenschutzbehörde.

Praktische Anforderungen an die Umsetzung

Empfehlenswert ist jedenfalls die Erstellung von klaren Vorgaben für Verfahrensaufgaben: Was darf das KI-System machen, was dürfen User mit KI-System machen, welche Daten dürfen und dürfen nicht eingegeben werden? Gerade mit dem Einsatz von KI-Systemen ist meistens die Verarbeitung enormer Mengen an Daten verbunden, die sich auf natürliche Personen beziehen. Dies stellt einen Grundrechtseingriff dar, der gerechtfertigt werden muss. Dabei ist zu beachten, dass Datenschutz nicht nur die digitale Privatsphäre schützt, sondern Voraussetzung für weitere Grundrechte ist, wie Meinungsäußerung, Gleichbehandlung und gesellschaftliche Teilhabe.

Wenn durch den Einsatz neuer Technologien, insbesondere der Verwendung von künstlicher Intelligenz, ein hohes Risiko für die Rechte und Freiheiten natürlicher Personen zu erwarten ist, müssen öffentliche Stellen vorab eine Datenschutz-Folgenabschätzung (DSFA) durchführen. Diese Pflicht entfällt, wenn der konkrete Verarbeitungsvorgang durch ein Gesetz geregelt ist und mögliche Folgen bereits auf Gesetzesebene evaluiert wurden. Der Gesetzgeber kann jedoch ausdrücklich vorsehen, dass trotz einer solchen abstrakten Folgenabschätzung zusätzlich eine konkrete DSFA durch die verantwortliche Stelle durchzuführen ist.

Ist eine Anwendung als Hochrisiko-KI-System im Sinne der KI-VO zu qualifizieren, müssen Einrichtungen des öffentlichen Rechts zudem eine Grundrechte-Folgenabschätzung (unter Umständen in Ergänzung zur genannten DSFA) durchführen. Als Hochrisiko-KI gelten vor allem Systeme, die darüber entscheiden, ob jemand Anspruch auf staatliche Leistungen hat, diese gekürzt werden oder zurückgezahlt werden muss.

Rechnungshof fordert klare Vorgaben

Wie oben bereits erwähnt, hat sich auch der Rechnungshof unlängst der Thematik Künstliche Intelligenz in der Verwaltung angenommen und dabei deutlichen Handlungsbedarf verortet. Er bemängelte etwa das Fehlen von Risikoklassifikationen und KI-spezifischen Zertifizierungen. Kritisiert wurde auch, dass Vorgaben für Bedienstete zum Einsatz von KI größtenteils fehlen. Die Vorbereitung auf die Umsetzung des AI-Acts sollte rechtzeitig erfolgen. Bei der Personalplanung sollten nötige KI-Fachkenntnisse mitgedacht werden.

Empfohlen wurde weiters, dass sich die Bundesregierung verpflichtet, den Leitfaden „Digitale Verwaltung: KI, Ethik und Recht“ umzusetzen, an dem das Research Institute maßgeblich mitgewirkt hat. Dieser bietet öffentlichen Stellen eine fundierte rechtliche und ethische Orientierung für den KI-Einsatz. Darüber hinaus legte der Rechnungshof den Ministerien den Einsatz und die Umsetzung des Handbuchs für angewandte vertrauenswürdige KI nahe, das derzeit im Rahmen des FFG-Forschungsprojekts FAIR-AI erarbeitet wird. Auch an diesem Projekt ist das Research Institute beteiligt.

Nächste Schritte für einen verantwortungsvollen KI-Einsatz

Damit Automatisierung und der Einsatz von KI in der öffentlichen Verwaltung nicht nur effizient, sondern auch grundrechtskonform gelingt, bedarf es klarer gesetzlicher Rahmenbedingungen, der Umsetzung der Empfehlungen des Rechnungshofs und der Benennung einer (oder mehrerer) zuständigen Aufsichtsbehörde. Ziel muss eine KI-Nutzung sein, die dem Gemeinwohl dient, kontrollierbar ist und den Schutz personenbezogener Daten als Voraussetzung für eine vertrauenswürdige, rechtsstaatliche Verwaltung ernst nimmt.

(Heidi Scheichenbauer, Mirjam Tercero, 24.7.2025)

Hinweis: Dieser Beitrag wurde als Blogpost (Verlinkung zum Orginialbeitrag) im Blog: Digital Human Rights auf derstandard.at publiziert.