Aktenberge auswerten, Dokumente zusammenfassen – Künstliche Intelligenz verspricht, Verwaltung und Justiz effizienter zu machen. Bürgerrechtler hingegen warnen vor Massenüberwachung und Diskriminierung. Welche Regeln braucht es?
Auf dem Schreibtisch von Richter H. ist ein neuer Schriftsatz gelandet. Doch statt einen dicken Ordner aufzuschlagen, leuchtet im elektronischen Aktensystem des Richters ein Hinweis auf: Die Klage passt zu vielen ähnlichen Fällen, in denen H. schon früher geurteilt hat. Ein Fluggast will Geld für eine Verspätung. Datum, Flugnummer - die wichtigen Informationen sucht eine Künstliche Intelligenz (KI) aus den vielen Seiten heraus. Weil H. die KI mit seinen eigenen Beispielen angelernt hat, kann sie sogar helfen, eine Entscheidungsvorlage auszufüllen – und zeigen, wo sich der Fall vom Muster unterscheidet.
Das Beispiel, das vom niedersächsischen Justizministerium stammt, beschreibt nicht etwa eine ferne Zukunft, sondern einen sehr realen KI-Assistenten, der bereits an mehreren Gerichten in Niedersachsen getestet wird. Im Fokus stehen vor allem Routinefälle und Massenverfahren. Egal ob Dieselklagen oder Klagen von Fluggästen, von denen allein im Jahr 2023 in Deutschland rund 125 000 erhoben wurden – oft geht es um zahlreiche Schriftsätze, die sich stark ähneln. Teils kommen sie von sogenannten Legal-Tech-Firmen, die sie aus den immer wieder gleichen Textbausteinen zusammensetzen.
Maschinelle Hilfe sollte auch die Justiz nutzen, meint Anke Morsch – nicht nur zur Entlastung, sondern auch, um damit den Zugang zum Recht zu vereinfachen. Sie ist Präsidentin des saarländischen Finanzgerichts und setzt sich als Vorsitzende des Deutschen EDV-Gerichtstags für die Digitalisierung der Justiz ein. „In einer digitalen Welt kann die Justiz kein gallisches Dorf des analogen Arbeitens sein“, sagt sie. Je standardisierter Fälle seien, desto eher eigne sich KI zur Hilfestellung. „Die klare verfassungsrechtliche Vorgabe ist aber: Am Ende muss immer die Richterin oder der Richter das letzte Wort haben“, betont Morsch.
Kann KI den Umgang mit Aktenbergen erleichtern?
Niedersachsen ist nicht das einzige Bundesland, in dem die Justiz solche Systeme testet. Am Amtsgericht Frankfurt wertet „Frauke“ Fluggastklagen aus, am Oberlandesgericht Stuttgart durchsucht „Olga“ die Schriftsätze der Dieselklagen nach den entscheidenden Stellen. Maschinelles Lernen zur Datenauswertung spielt zwar in vielen davon eine Rolle, gegen texterzeugende Systeme wie das kommerzielle ChatGPT gibt es laut Morsch aber diverse rechtliche Bedenken, nicht zuletzt beim Datenschutz. Umso mehr sei es zu begrüßen, dass in einem Forschungsprojekt nun auch ein eigenes Justiz-Sprachmodell entwickelt werden soll.
Und nicht nur bei Gericht stellt sich die KI-Frage, sondern überall, wo große Informationsmengen und viele Dokumente zum Alltag von Staatsbediensteten gehören. Für Florian Stegmann, baden-württembergischer Staatsminister, ist die Antwort klar: Auch in der Verwaltung wird die Technologie über kurz oder lang Einzug halten. Nicht nur, weil sich damit Routinearbeiten beschleunigen ließen, sondern weil der Fachkräftemangel gar keine andere Wahl lasse. „Nur wenn wir es schaffen, die Mitarbeiterinnen und Mitarbeiter zu entlasten, wird das vorhandene Personal in Zukunft die Aufgaben der Verwaltung für die Bürgerinnen und Bürger effizienter erfüllen können“, ist er sich sicher.
Das Projekt, mit dem Stegmann wirbt, heißt F13. Verwaltungsmitarbeitende des Bundeslandes haben seit vergangenem Jahr Zugriff auf eine Anwendung, die Texte zusammenfassen, in Landtagsdokumenten recherchieren oder Textbausteine liefern soll – als „Experimentierfeld“, wie Stegmann sagt. Bald soll sich entscheiden, ob das Projekt mit dem großen Sprachmodell des KI-Startups Aleph Alpha in den Dauerbetrieb geht. Verantwortung, gerade bei Entscheidungen mit Ermessensspielraum, trage aber auch in der Verwaltung immer der Mensch, betont Stegmann – „unterstützt durch Systeme wie F13, aber niemals ersetzt.“
Staatliche Macht über den Bürger – mit KI?
Denn die Frage, wie der Staat KI einsetzt, hat auch eine Kehrseite: Was bedeutet das für die Bürgerinnen und Bürger, die sich staatlicher Macht gegenüber sehen? Fehler oder blinde Flecken kommen auch in hochentwickelten Systemen vor. Das ist auch Befürwortern klar, wenn sie menschliche Verantwortung hervorheben – doch Bürgerrechtsorganisationen blicken deutlich skeptischer auf staatlichen KI-Einsatz.
Lena Rohrbach, Expertin für digitale Grundrechte bei Amnesty Deutschland, warnt: „Wenn eine KI bereits mit Daten gefüttert ist, die Diskriminierung enthalten, dann kann sie diese Diskriminierung verstärken.“ Extreme Beispiele von rassistischen Vorurteilen in Algorithmen stammen häufig aus den USA. Doch auch in den Niederlanden machte vor einigen Jahren ein System Schlagzeilen, das vermeintliche Betrugsfälle beim Kindergeld erkennen sollte. Laut niederländischer Datenschutzbehörde hatte der selbstlernende Algorithmus Menschen mit doppeltem Pass diskriminiert, am Ende der Affäre standen eine Millionenstrafe für den Staat und der Rücktritt der Regierung.
Aktuell wirft Amnesty in einem Bericht dem serbischen Staat vor, mithilfe eines Algorithmus besonders benachteiligte Menschen von der Sozialhilfe auszuschließen – die oft gar nicht wüssten, dass die Entscheidung automatisch getroffen werde. Ein Gerichtsverfahren steht noch aus. Aus der Sicht von Bürgerrechtlern macht es dabei nur einen graduellen Unterschied, ob ein staatliches System KI im engeren Sinne ist, also mit maschinellem Lernen trainiert wurde, oder von Menschen festgelegte Regeln nutzt – so wie das Computersystem des britischen Post Office, das derzeit in den Schlagzeilen steht, weil es hunderten Angestellten fälschlich unterstellte, Geld unterschlagen zu haben.
KI-Assistenten zur Aktenbearbeitung wirken im Vergleich dazu zwar deutlich weniger problematisch. Dennoch mahnt Rohrbach zu einem kritischen Umgang mit den Ergebnissen: „Häufig haben Menschen den Eindruck, dass ein Computer objektiver entschieden hat als sie selbst.“ Wegen dieses Vorurteils, in der Psychologie „automation bias“ genannt, komme es nicht nur darauf an, ob rein rechtlich ein Mensch entscheide, sondern auch: „Ist das Personal geschult im Umgang mit dem System? Gibt es überhaupt genug Personal in den Behörden?“ Anke Morsch ist sich hingegen sicher: Sich den „automation bias“ bewusst zu machen, sei wichtig. „Trotzdem glaube ich, dass kaum eine Berufsgruppe wie die der Richterinnen und Richter so gut darauf trainiert ist, Aussagen, auch wenn sie perfekt formuliert sind, kritisch zu hinterfragen“, sagt Morsch.
Kritik am AI Act und KI in der Strafverfolgung
Ab 2026 könnte so manches staatliche KI-System in Europa unter neue Regeln fallen: Zum Beispiel den Einsatz in der Justiz, am Arbeitsplatz oder beim Zugang zu Sozialhilfe stuft das gerade beschlossene KI-Gesetz der EU als „Hochrisiko-Systeme“ ein, strengere Anforderungen an Transparenz und Kontrolle inklusive. Trotzdem geht das Gesetz Bürgerrechtsorganisationen in anderen Punkten nicht weit genug, speziell im Bereich der Polizei. Sie hatten zum Beispiel gefordert, Gesichtserkennung in der Öffentlichkeit ganz zu verbieten, das Gesetz erlaubt sie nun unter bestimmten Umständen. Rohrbach sieht darin die Gefahr von Massenüberwachung – „weil alle Menschen, die auf den Aufnahmen auftauchen, mitbetroffen sind.“
Denn am Ende bedeutet KI auch im Staatsdienst Automatisierung: Wird ein Algorithmus breit eingesetzt, so kann er sich potenziell auf viel mehr Menschen auswirken als die Entscheidungen eines einzelnen Beamten. „Wie es in der IT immer heißt“, sagt Rohrbach: „Es skaliert.“
Neuer Rechtsrahmen
AI Act
Das KI-Gesetz der EU, auf das sich Parlament, Kommission und Mitgliedsstaaten geeinigt haben, soll 2026 in Kraft treten. Es bewertet Anwendungen von Künstlicher Intelligenz nach ihren Risiken. Sogenanntes „Social Scoring“, also die umfassende algorithmische Bewertung von Menschen, wird gänzlich verboten, andere Anwendungen werden als „Hochrisiko-Systeme“ geführt.
Definition
Welche Systeme letztlich unter die Definition des EU-Gesetzes fallen werden, ist noch nicht klar. Möglicherweise erfasst sie nur Systeme, die eigenständig aus Trainingsdaten lernen, und keine einfacheren Algorithmen mit vom Menschen vordefinierten Regeln.