Direkt zum Inhalt Direkt zur Navigation
Sie sind hier: Startseite → Berichte → Vermischtes → Quo vadis justitia – Wie der Einsatz von KI die Justiz grundlegend verändern könnte

Quo vadis justitia – Wie der Einsatz von KI die Justiz grundlegend verändern könnte

Freigeschaltet am 16.05.2025 um 18:39 durch Sanjo Babić
Bild: SS Internetseite: "https://netzwerkkrista.de/2025/05/15/quo-vadis-justitia-wie-der-einsatz-von-ki-die-justiz-grundlegend-veraendern-koennte/" / Eigenes Werk
Bild: SS Internetseite: "https://netzwerkkrista.de/2025/05/15/quo-vadis-justitia-wie-der-einsatz-von-ki-die-justiz-grundlegend-veraendern-koennte/" / Eigenes Werk

Mag das geflügelte Wort eines Rechtssuchenden, man „gehe bis nach Karlsruhe“ auch noch geläufig sein, so hat (seit der Corona-Zeit) der verbreitete Einsatz von Videotechnik zur Durchführung von Video-Verhandlungen zu einer beginnenden Ent-Örtlichung von Justiz und einer beginnenden Entwöhnung von den ortsgebunden Ritualen bei Gericht1 gesorgt. Was mit Ent-Örtlichung begann, könnte durch den KI-Einsatz mit Ent-Menschlichung enden. Dies schreibt Falk Meinhardt vom Netzwerk Kritische Richter und Staatsanwälte n.e.V. (KRiStA).

Weiter schreibt Meinhardt: "I. Einleitung

Der Koalitionsvertrag zwischen CDU, CSU und SPD „Verantwortung für Deutschland“ spricht, was die Frage der Digitalisierung, Datennutzung und KI-Einsatz betrifft, eine deutliche Sprache. Das Agenda-Setting in Sachen Digitalisierung kennt in Deutschland 2, anders als etwa in Schweden 3, nur die Richtung des „Mehr“, obwohl im Zuge der Koalitionsverhandlungen auch problematische Interessenkonflikte beim SPD-Vorsitzenden Lars Klingbeil zutage getreten sind, dessen Ehefrau, Lena-Sophie Müller, die Geschäftsführerin der auch staatlich finanzierten NGO Initiative D21 e.V. ist, die sich als größtes Netzwerk Deutschlands für die digitale Gesellschaft versteht. 4 

Die Koalition tritt, so kann man u. a. lesen, für ein „offeneres und positiveres Datennutzungsverständnis“ 5 der Verwaltung ein; Daten sollen zur „strategischen Steuerung, Modellierung und Wirkungskontrolle“ gebündelt und besser genutzt 6 und Justiz soll – wie sollte es auch anders sein – in vielerlei Hinsicht „modern“ werden. Die Digitalisierung der Justiz soll „konsequent“ fortgeführt 7 und „die Nutzung von Künstlicher Intelligenz in der Justiz [ermöglicht]“ werden. Damit bewegt sich die Terminologie des Koalitionsvertrags auf der Höhe des Zeitgeists, denn kaum ein Projekt, welches sich „Modernisierung“ auf die Fahne geschrieben hat, kommt ohne den Willen zur (stärkeren) Nutzung von Künstlicher Intelligenz (KI) aus. 

In den letzten Jahren sind bereits vielfältige Projekte zum KI-Einsatz in der Justiz durch einzelne Bundesländer 8 angestoßen worden. So vermeldete das Unternehmen Materna („Wir digitalisieren Ihre Welt!“) den Start eines gemeinsamen Forschungs- und Entwicklungsprojekts zusammen mit Infora, dem Ministerium für Justiz und für Migration Baden-Württemberg, Aleph Alpha und dem GovTech Campus Deutschland zur Schaffung einer „Allgemeinen KI–RichterAssistenz“ (kurz: AKIRA) für die Sozialgerichtsbarkeit des Landes, 9 um eine KI-gesteuerte Aktenerschließung und -strukturierung zu ermöglichen. 10 Andere Projekte tragen Namen wie „OLGA“, 11 „FRAUKE“ 12 oder „StruKI“ 13 und reichen bis hin zum Aufbau eines generativen Sprachmodells für die Justiz. Für 2026 ist dann eine gemeinsame KI-Plattform zum länderübergreifenden Austausch der Anwendungen geplant. 14

 Gleichzeitig hat die Juris GmbH, deren Mehrheitsgesellschafter der Bund ist, auf dem EDV-Gerichtstag im Herbst 2024 die KI-Integration in die Recherche-Optionen angekündigt, 15 an deren Testphase aktuell etwa die Obergerichte des Landes Baden-Württemberg teilnehmen. Der Beck-Verlag bietet mittlerweile verschiedene KI-Chatbots im Zusammenhang mit Einzelwerken (Frag den Grüneberg 16, Frag den Schmidt, Frag den Küttner) an, die nicht nur zur Recherche dienen, sondern auch (generativ) längere Schreiben entwerfen können. Zudem: auch in Deutschland setzen einzelne Bundesländer Softwareprodukte von Palantir („Verfahrensübergreifendes Recherche- und Analysesystem“ kurz: VeRa) zu polizeilichen Ermittlungszwecken ein 17 und auch Interpol hat mit dem Big-Data-System „Insight“ ab 2020 ein vorhersagendes Analyse- und Überwachungssystem aufgebaut 18 (sog. Predictive Policing). 

Zudem wurde jüngst bekannt, dass das britische Justizministerium ein „Mord-Vorhersage“-KI-Werkzeug entwickeln lässt, um Vorhersagen darüber zu treffen, wer ein mögliches Opfer eines Gewaltverbrechens werden könnte, um dieses zu schützen. 19 Ein Gedanke an den Spielfilm „Minority Report“ 20 liegt bei alledem nicht fern. Wer angesichts dieser Projekte, des gesellschaftlichen Umfelds und des in diesem Zusammenhang investierten Kapitals meint, der Einsatz von (generativer) KI in der Justiz sei (zeitlich und/oder inhaltlich) fernliegend, dürfte sich schon bald (selbst-)getäuscht sehen. Auf den Fluren der Gerichte und im kollegialen Gespräch spielt das Thema allerdings gegenwärtig nahezu keine Rolle, ebenso wie auch ein ernsthaftes Nachdenken über Fragen, die mit einem KI-Einsatz in der Justiz verbunden sind, kein Gewinnerthema für die richterliche Kaffeerunde ist, obwohl man kaum einen größeren Bogen zwischen den Imperativen der Effizienzsteigerung und der Rechtsstaatlichkeit spannen könnte.

Der vorliegende Beitrag will einen kritischen Blick auf einige Aspekte eines KI-Einsatzes in der Justiz werfen. Dabei soll zunächst der hier verwendete KI-Begriff geklärt (II), anschließend die Frage, mit welchen Argumenten der KI-Einsatz in der Justiz begründet wird, nachgegangen (III) und der Rechtsrahmen für einen KI-Einsatz erörtert (IV) werden. Anschließend soll ein weiter Blick auf den KI-Einsatz im Kontext des Überwachungskapitalismus genommen (V) und die Frage nach den gesellschaftlichen Kosten von Digitalisierung und KI-Einsatz angerissen werden (VI), bevor ein Fazit (VII) gezogen werden soll.

II. Begriffsbestimmung

Eine allgemeingültige Definition von KI gibt es nicht. Üblicherweise wird zwischen algorithmisch verschieden funktionierenden Systemen unterschieden (Expertensystemen/Systemen zur Mustererkennung/Deep Learning). 21 Art. 3 Nr. 1 des AI Act 22 bestimmt ein „KI-System“ als ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können. 

Begriffsbildend sind insbesondere die Aspekte Autonomie (im Gegensatz zum „Wenn-Dann-Schema“) und Anpassungsfähigkeit. 23 Von dieser Definition soll auch im Folgenden ausgegangen werden, da diese Definition berücksichtigt, dass infolge des rasanten technischen Fortschritts nicht allein die Technologie im Zentrum der Definition stehen kann, sondern auch immer das Ziel und die Potentiale des Technikeinsatzes mitgedacht werden müssen, also Vorhersagen und Prognosen, bis hin zum Treffen selbständiger Entscheidungen als Ziel des Technikeinsatzes. 24

III. Warum überhaupt KI in der Justiz einsetzen?

Warum sollte die Justiz überhaupt KI einsetzen? Ist es wirklich selbstverständlich und alternativlos und wünschenswert, dass sich das gesamte staatliche Handeln in Richtung eines „Smart Government“ entwickelt? Erzwingt das Mantra der „Effizienzsteigerung“ auch in der Justiz die Abwendung vom fehlbaren Menschen? Folgt die Justiz als Teilsystem der überall feststellbaren Limitierung und (Selbst-)Abschaffung von Autonomie? Übernimmt das autonome System „Technik“ die Justiz?

Das Verhältnis des Menschen zur Technik, die Frage, wer Herr und wer Diener sei, ist spätestens seit Mitte des 20. Jahrhunderts eine der wichtigsten Fragen der Moderne. Jacques Ellul verdanken wir die Erkenntnis, dass Technologie als Gesamtsystem auf absolute Effizienz ausgerichtet ist und sich dieses System zunehmend unabhängig von menschlichen Zwecken und gesellschaftlichen Bedürfnissen entwickelt. Technik ist nicht länger Werkzeug, sondern ein selbst bestimmender Faktor, der soziale und politische Veränderungen konditioniert und provoziert. 25

Dies vorausschickend kann man also getrost antworten, dass die Technologie ihren Einsatz auch in der Justiz selbst erzwingt. Das wäre wohl die ehrliche Antwort auf die Frage des „Warum“, aber noch keine Antwort auf ein „Wie“. Digitalisierung stellt die Gretchenfrage: Kann der Mensch noch autonom sein? Wer ist es, der in digitalen Zeiten herrscht? Wie können Strukturen und Institutionen (die „unabhängige“ Justiz) der lenkenden Kraft der digitalen Transformation („instrumentäre Macht“) widerstehen 26 und weiter – tatsächlich – Autonomie für sich beanspruchen?

Wenn man die Fahne der (institutionellen) Autonomie – insbesondere über der „Wie“-Frage – noch schwingen wollte, stellte es jedenfalls keine Begründung dar, einfach darauf zu verweisen, die Justiz könne sich der fortschreitenden Digitalisierung (in seiner Totalität) nicht verweigern. Allerdings scheinen Begründungen vielfach über solche Phrasen des Alternativlosen nicht hinauszugehen, 27 was zeigt: Denken wird durch Funktionieren substituiert; nicht mehr Würde, Freiheit oder Langzeitfolgen spielen für die Argumentation eine Rolle, sondern der Use Case, die Machbarkeit und Skalierung. Dies berücksichtigt jedoch weder die Bedeutung der Justiz als Dritte Gewalt noch die damit verbundenen Gewährleistungsdimensionen. Immerhin finden sich in den Schlussfolgerungen des Rates der Europäischen Union „Zugang zur Justiz – die Chancen der Digitalisierung nutzen“ 28 durchaus auch nachdenkliche Äußerungen, doch die Stoßrichtung ist klar: Der Einsatz der KI in der Justiz muss kommen, weil er nutzt (wem eigentlich?), geht es doch – wie zuletzt im Dezember 2024 betont – um die Schaffung eines „günstigen Umfelds für die Entwicklung von KI-Systemen mit Mehrwert“. 29

Kaum besser sind Argumentationsmuster, die den bereits vorhandenen generativen KI-Einsatz in der Anwaltschaft zum Ausgangspunkt nehmen. Weil Großkanzleien, so kann man dann hören, diese Technik bereits zur Durchsetzung der Parteiinteressen verwendeten, müsse auch die Justiz – gleichsam in einem Wettrüsten – (hoffentlich dann die bessere) KI einsetzen und den Teufel mit dem Beelzebub austreiben. Wenn der Einsatz generativer KI durch die Prozessbevollmächtigten geeignet ist, den Richter oder gar ganze Teile der Justiz „ins Schwitzen“ zu bringen, weil mit wenig Aufwand hunderte von Seiten an Vortrag generiert werden können, so offenbart diese Argumentation wohl eher, dass man bei der Einführung der „elektronischen“ Akte und des elektronischen Rechtsverkehrs in der Justiz tatsächlich zu kurz gesprungen ist. Statt die Papierakte und die mit ihr verbundenen Verwaltungsabläufe  in der Form einer PDF-Sammlung in der E-Akten-Welt abzubilden und den Prozessstoff herkömmlich zu sammeln (siehe bspw. §§ 130a ff. ZPO), wäre es notwendig gewesen, die gesamte Prozessstruktur durch eine umfassende Änderung des Prozessrechts zu verändern und im Sinne eines „Formularvortrags“ vorzustrukturieren. 30 Tatsächlich wurden die EDV-Lösungen zur elektronischen Akte auf den Zustand des Zivilprozesses des 19. Jahrhunderts zugeschnitten, statt einen Zivil- oder Verwaltungsgerichtsprozess des 21. Jahrhunderts zu schaffen. Diesen Mangel nun mittels KI-Einsatzes  technisch „korrigieren“ zu wollen, erscheint geradezu grotesk, passt aber zu einer technikgläubigen Gesellschaft, die ihre Probleme lieber der Technik zu Lösung überantwortet, als die Strukturen zu verändern, welche die Probleme verursachen.

Im Zentrum eines anderen Begründungsansatzes, der insb. von David Nink vorgetragen wird, steht die Fehleranfälligkeit menschlicher Erkenntnis und menschlichen Entscheidens. 31 Das Zustandekommen menschlicher Entscheidungen, Denkfehler, Rationalitätsschwächen, Diskriminierungspotentiale sind Ausgangspunkt, um im zweiten Schritt die Vorteile und Grenzen des „Smart Judging“ zu erörtern. Seit ca. 300.000 Jahren wandelt homo sapiens nun mutmaßlich auf der Erde und müht sich mittlerweile auch seit tausenden von Jahren, Streit rechts- und justizförmig zu schlichten. Dass dabei Fehler unterlaufen, ist menschlich, ist Teil der conditio humana, waren es doch häufig „Fehler“, die den Menschen zu neuen Schlüssen trieben. Doch dem Menschen scheint der Mensch nicht mehr zu genügen. Nun mag es sein, dass – von Transparenzproblemen einmal abgesehen – der menschliche Bias, der sich aus Lebensumständen, politischen und anderen Einstellungen speist, tatsächlich anders liegt, als der technische KI-Bias, der sich aus Algorithmen und übernommenen Trainingsdaten ergeben kann. Doch ist es nicht dasselbe Denken, welches den Menschen überwinden und „verbessern“ will? Verweist dieser Begründungszusammenhang nicht direkt auf den Transhumanismus? Es irrt der Mensch, so lang‘ er strebt. 32 Und die Lehre vom Erkennen und Wissen, die Lehre des Zweifelns und Fragens, d. h. die Philosophie, ist eine menschliche Disziplin; sie setzt Sprache und deren inhaltliches Verständnis voraus. Nullen und Einsen philosophieren nicht. Daraus kann man für das „Wie“ nur folgern, dass der Einsatz der KI in der Justiz so gestaltet werden sollte, dass deren Werkzeughaftigkeit „by design“ abgesichert ist.

Menschlicher, also naheliegender erscheint es, den KI-Einsatz in der Justiz (ausschließlich) mit der Komplexität der Rechtsmaterie, dem Knäuel aus nationalen Gesetzen und Verordnungen, europäischen Verordnungen und Richtlinien, den Vorgaben der Verfassung und dem nicht immer konsistenten Richterrecht von EGMR, EuGH, BVerfG, BGH, BAG; BVerwG, BFH usw. (im Mehrebenensystem) zu rechtfertigen. KI würde in diesem Begründungszusammenhang eindeutig – und richtigerweise – als bloßes Werkzeug wahrgenommen, das zur Komplexitätsbewältigung auf den Ebenen der Vorstrukturierung des Sachverhalts, wie auch auf der Ebene des Auffindens des „richtigen“ Rechts eingesetzt werden könnte.

IV. Der Rechtsrahmen

Im Folgenden soll kurz auf den Rechtsrahmen eines künftigen KI-Einsatzes eingegangen werden, wobei es hier ausschließlich um verfassungsrechtliche Vorgaben und den AI Act gehen soll.

1. Vorgaben des Grundgesetzes

Verfassungsrechtliche Grenzen ziehen vor allem Art. 92 GG 33, Art. 97 Abs. 1 GG 34, Art. 101 Abs. 1 Satz 2 GG 35 und Art. 103 Abs. 1 GG 36. Ob in diesem Zusammenhang bereits der Wortlaut („Richter“) verfassungsrechtlich 37 einen Menschen (personales Element) erzwingt, erscheint tatsächlich weniger eindeutig, 38 als allgemein angeführt. 39 Richtig ist aber, dass aus „anvertraut“ (Art. 92 GG) auch „Verantwortung für“ folgt und nur ein Mensch eine Entscheidung „verantworten“ kann. 40 Diese richterliche Verantwortung folgt aus dem demokratischen Strukturprinzip der Rollenumkehrbarkeit; nur den menschlichen Richter träfe – ihn in die Rolle des Prozessbeteiligten gedacht – die Entscheidung im gleichen Maße. 41 Eine richterliche Unabhängigkeit und ausschließliche Gesetzesbindung (Art. 97 Abs. 1 GG) kann nur einem Menschen zukommen. Ein Algorithmus – ungeachtet einer eingebauten Anpassungs- bzw. Lernfähigkeit – bleibt ein Bindungsbefehl, den die Maschine trifft. 42

 Schließlich lässt auch Art. 97 Abs. 2 GG erkennen, dass ein Richter nur ein Mensch sein kann, denn Amtsenthebung, Altersgrenzen oder Ruhestand kommen nur für eine natürliche Person in Betracht. 43 Daher ist es im Ergebnis richtig, dass nur Personen rechtsprechende Gewalt ausüben können. 44 In Gefahr ist diese richterliche Unabhängigkeit aber auch, wenn eine faktische Bindungswirkung erzeugt würde, die etwa durch einen Rechtfertigungsdruck entstehen könnte, wenn der Richter von einem KI-Entscheidungsvorschlag abweichen wollte. Ein „Übernahmeautomatismus“ und der „Automation Bias“, also die Neigung, das von der Maschine ausgeworfene Ergebnis zu übernehmen, sind die großen Gefahren eines KI-Einsatzes in der Justiz 45 und deshalb bei der Frage des „Wie“ bei der Implementierung (Ausgestaltung des Systems) zu beachten. 46 Viel zu kurz griffe die bloße Aufforderung an den Richter, sich ständig selbst zu vergewissern und zu reflektieren, dass es sich nur um einen Vorschlag eines Algorithmus handelt. 47 Und naheliegend ist die Gefahr, dass Effizienzanforderungen, der Erledigungsdruck bei Gericht, der Gerichtsdurchschnitt, die PEBB§Y 48-Zahlen einen faktischen Druck erzeugen, nicht tiefer „zu bohren“, sondern den KI-Entscheidungsvorschlag zu übernehmen. 49

Gemäß Art. 103 Abs. 1 GG hat vor Gericht jedermann Anspruch auf rechtliches Gehör. Rechtliches Gehör ist nicht nur ein „prozessuales Urrecht” des Menschen, sondern auch ein objektivrechtliches Verfahrensprinzip, das für ein rechtsstaatliches Verfahren im Sinne des Grundgesetzes schlechthin konstitutiv ist. 50 Dies setzt eine strukturelle Gehörsfähigkeit des Richters voraus, die sich nicht in einer „Textverarbeitung“ erschöpft, sondern die persönliche Ansprache und die Erwägung individueller Umstände auf zwischenmenschlicher Augenhöhe gewährleisten muss. 51 Zuspitzen lässt sich die Frage nach dem rechtlichen Gehör – außerhalb der mündlichen Verhandlung – wie folgt: Setzt die Gewährung voraus, dass der Richter das Originalvorbringen der Partei zur Kenntnis nimmt, oder ist es ausreichend, die KI-Zusammenfassung, den KI-Tatbestand zu lesen? Das Bundesverfassungsgericht verlangt, dass das entscheidende Gericht die Ausführungen der Beteiligten zur Kenntnis nehmen und in Erwägung ziehen muss. 52 Im Parteienprozess dürfte dies ausschließen, lediglich die KI-Zusammenfassung zur Grundlage einer Entscheidung zu machen. Der Richter muss sich selbst ein vollständiges Bild machen (können). 

Doch wie ist dies im Rahmen einer Amtsermittlung? Auch hier dürfte eine KI-Zusammenfassung nur Hilfestellung bieten und der Richter weiter verpflichtet sein, selbst Dokumente und Unterlagen zu sichten. Diese Pflichten treffen freilich den Staatsanwalt nicht. Sehen wir uns staatsanwaltschaftlichen (KI-)Abschlussverfügungen (Ermittlungs-, Einstellungs- oder Anklageverfügung), jedenfalls aber Entwürfen dazu bald gegenüber, bei der nur KI die polizeiliche Ermittlungsakte „gescannt“ hat? Die jüngere Rechtsprechung des Bundesverfassungsgerichts dürfte dem entgegenstehen, denn es ist bei lernenden KI-Systemen nicht auszuschließen, dass das System Annahmen und Einschätzungen erzeugt (z. B. durch Halluzinationen 53), die sich von der ursprünglichen Programmierung gelöst haben, was aber nicht transparent ist. 54 Dies greift in das Recht auf informationelle Selbstbestimmung (Art. 2 Abs. 1, Art. 1 Abs. 1 GG) ein und bedarf einer Rechtsgrundlage, die den verfassungsrechtlichen Anforderungen Rechnung trägt. 55 Auch für den geplanten Einsatz von AKIRA in der Sozialgerichtsbarkeit bedürfte es wohl einer Rechtsgrundlage für die Datenverarbeitungsvorgänge 56, wobei das Tatbestandsmerkmal der Erforderlichkeit (Art. 6 Abs. 1 Buchst. e DSGVO) die Begrenzung der Verarbeitung personenbezogener Daten auf das absolut Notwendige bedingt. 57

Schließlich ist auch das Gebot des effektiven Rechtsschutzes nach Art. 19 Abs. 4 Satz 1 GG 58, der einen lückenlosen richterlichen Rechtsschutz gegen Akte der öffentlichen Gewalt gewährleistet, zu beachten. Einschränkungen drohen beim KI-Einsatz etwa, wenn im Instanzenzug die zu überprüfende Entscheidung infolge des „Black-Box-Phänomens“ 59 nicht mehr nachvollzogen werden kann. Das auszuwählende KI-System muss sicherstellen, dass die Ergebnisse nachvollzogen werden können.

2.         Regelungen des AI Act

Der 113 Artikel, 180 Erwägungsgründe und 13 Anhänge umfassende AI Act wurde am 12. Juli 2024 veröffentlicht und trat am zwanzigsten Tag danach in Kraft (Art. 113 Abs. 1), Geltung erlangen die einzelnen Bestimmungen aber zeitlich gestuft. 60 Ziel des AI Acts ist es, die Akzeptanz von KI zu fördern, was letztlich zu einer Steigerung der Nachfrage nach KI-Anwendungen führen soll. 61 Um dieses Ziel zu erreichen, stellt der AI Act im Wesentlichen produktsicherheitsrechtliche Vorgaben für KI-Nutzung in der EU auf 62 und etabliert ein Stufensystem, nach welchem sich der Pflichtenumfang nach dem Risiko (Art. 3 Nr. 2) der konkreten Anwendung bestimmt. Anhand verschiedener Kriterien, die ausschlaggebend für die jeweilige Risikoklassifizierung sind, werden KI-Systeme in verbotene KI-Praktiken (Art. 5 AI Act), Hochrisiko-Systeme (Art. 6 AI Act), Systeme mit beschränktem Risiko (Art. 50 AI Act), Systeme mit geringem Risiko (Art. 95 AI Act) und Systeme mit allgemeinem Verwendungszweck (Art. 51 ff. AI Act) unterteilt. 63 Sachlich gilt der AI Act für KI-Systeme i. S. v. Art. 3 Nr. 1 64 (siehe oben) und personell für Anbieter und Betreiber (Art. 2 Abs. 1 a und b).

Unterfällt ein IT-System dem AI Act und handelt es sich um ein Hochrisiko-System i. S. v. Art. 6 Abs. 2 i. V. m. Anhang III AI Act, so muss der Anbieter etwa ein Risikomanagementsystem (Art. 9 AI Act) errichten, er muss Daten-Governance- und Datenverwaltungsverfahren für Trainings-, Validierungs- und Testdatensätze (Art. 10 AI Act) entwickeln, technische Dokumentationen erstellen (Art. 11 AI Act), die Anforderungen zu den Aufzeichnungspflichten (Art. 12 AI Act) erfüllen, Informationen für die Betreiber bereitstellen (Art.13 AI Act), die menschliche Aufsicht ermöglichen (Art. 14 AI Act) und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit gewährleisten (Art. 15 AI Act). Mit anderen Worten: Dann wird der Einsatz eines solchen Systems teuer, da Anbieter sich den Aufwand vergüten lassen werden. 65

Die in Anhang III aufgeführten Systeme gelten als Hochrisiko-Systeme. Anhang III Nr. 8 („Rechtspflege und demokratische Prozesse“) Buchst. a AI Act definiert: „KI‑Systeme, die bestimmungsgemäß von einer oder im Namen einer Justizbehörde verwendet werden sollen, um eine Justizbehörde bei der Ermittlung und Auslegung von Sachverhalten und Rechtsvorschriften und bei der Anwendung des Rechts auf konkrete Sachverhalte zu unterstützen, oder die auf ähnliche Weise für die alternative Streitbeilegung genutzt werden sollen“. Unter „Justizbehörden“ sind nur Gerichte zu verstehen, der KI-Einsatz zur Strafverfolgung ist im Anhang III Nr. 6 gesondert aufgenommen (Strafverfolgungsbehörden sind in Art. 3 Nr. 45 AI Act legaldefiniert). „Bestimmungsgemäße Verwendung“ bezieht sich auf die Zweckbestimmung. 66 Nach dem weiteren Wortlaut ist ein KI-System dann hochriskant, wenn es zur Sachverhaltsaufbereitung („Ermittlung und Auslegung von Sachverhalten“) und zur Subsumtion („Ermittlung und Auslegung von … Rechtsvorschriften und bei Anwendung des Rechts auf konkrete Sachverhalte“) eingesetzt wird. 

Liest man Erwägungsgrund Nr. 61, der explizit das Risiko von Verzerrungen, Fehlern und Undurchsichtigkeiten bei Einsatz von KI-Systemen in der Justiz anspricht, welches sich bereits auf der Ebene allein der Sachverhaltsaufbereitung verwirklichen kann, spricht viel dafür, trotz des Wortlauts („und“) von alternativen Voraussetzungen auszugehen. 67 Setzt ein Richter ein KI-System bestimmungsgemäß zur Konstituierung des Sachverhalts oder zur Konkretisierung der Rechtsnorm im Einzelfall (sachverhaltsbezogen) ein, dürfte – vorbehaltlich der Ausnahmen in Art. 6 Abs. 3 AI Act – immer ein Hochrisikosystem vorliegen.

Ausnahmsweise ist ein System nicht als hochriskant einzustufen, „wenn es kein erhebliches Risiko der Beeinträchtigung in Bezug auf die Gesundheit, Sicherheit oder Grundrechte natürlicher Personen birgt, indem es unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflusst“, Art. 6 Abs. 3 Unterabs. 1 AI Act. 68 Dies wiederum soll der Fall sein (Art. 6 Abs. 3 Unterabs. 2 AI Act), wenn das KI-System dazu bestimmt ist,

  • eine eng gefasste Verfahrensaufgabe durchzuführen (Buchst. a),
  • das Ergebnis einer zuvor abgeschlossenen menschlichen Tätigkeit zu verbessern (Buchst. b),
  • Entscheidungsmuster oder Abweichungen von früheren Entscheidungsmustern zu erkennen, und nicht dazu gedacht ist, die zuvor abgeschlossene menschliche Bewertung ohne eine angemessene menschliche Überprüfung zu ersetzen oder zu beeinflussen (Buchst. c), oder
  • eine vorbereitende Aufgabe für eine Bewertung durchzuführen, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist (Buchst. d).

Ungeachtet dessen liegt aber immer ein Hochrisikosystem vor, wenn es ein Profiling natürlicher Personen vornimmt (Art. 6 Abs. 3 Unterabs. 2, Satz 2 AI Act).

Besonders relevant für die Justiz ist Art. 6 Abs. 3 Unterabs. 2 Buchst. d AI Act, denn er nimmt einen bestimmungsgemäßen KI-Einsatz vom Verdikt „hochriskant“ aus, wenn eine vorbereitende Aufgabe für eine Bewertung durchzuführen ist, die für die Zwecke der in Anhang III aufgeführten Anwendungsfälle relevant ist. Danach dürfte für den Dispens entscheidend („vorbereitende Aufgabe“) das Kriterium der menschlichen Letztentscheidung und Verantwortung im Sinne einer bloßen Assistenz sein. Je weniger die menschliche Letztentscheidung durch den vorbereitenden Vorgang determiniert werden kann, desto geringer sind die Auswirkungen auf das Ergebnis, was den Dispens rechtfertigt. 69 Wird jedoch ein generatives KI-System eingesetzt, welches nicht lediglich den Sachverhalt aufbereiten hilft, sondern liefert das System einen Entscheidungsentwurf, welcher dem Richter lediglich noch eine Plausibilitätsprüfung abverlangt, wäre ein solches System nicht mehr nur „vorbereitend“. 70 Jedenfalls würde ein KI-System, welches mittels generativer KI Entscheidungsentwürfe produziert – ungeachtet der menschlichen Letztverantwortung – für die Justiz finanziell teuer. Ob sich überhaupt Anbieter solcher Systeme für die Justiz finden werden, ist fraglich. Schließlich verpflichtet Art. 6 Abs. 4 AI Act einen Anbieter, der der Auffassung ist, dass ein in Anhang III aufgeführtes KI-System nicht hochriskant ist, seine Bewertung zu dokumentieren, bevor dieses System in Verkehr gebracht wird. Zudem unterliegt der Anbieter der Registrierungspflicht nach Art. 49 Abs. 2 (Art. 6 Abs. 4 Satz 2 AI Act). Da die Selbsteinschätzung des Anbieters zum Befreiungsgrund von der zuständigen Behörde überprüft werden kann, ist eine solche Einstufung mit erheblichen Risiken verbunden. 71

V.        KI-Einsatz und Überwachungskapitalismus

Die Entwicklung hin zu einem breiten Einsatz von KI-Systemen findet nicht im luftleeren Raum statt. Die ökonomischen Imperative und Machtverschiebungen werden von Shoshana Zuboff zutreffend mit dem Begriff des Überwachungskapitalismus beschrieben. 72 Der KI-Einsatz in der Justiz wie auch die private Nachfrage nach Legal-Tech kann in diesen Bedeutungszusammenhang eingeordnet werden.

1.         Überwachungskapitalismus – eine Begriffsklärung

Dem Begriff „Überwachungskapitalismus“ liegt die Erkenntnis zugrunde, dass wir auf eine Automatisierung der Gesellschaft zusteuern. Die Verfügbarkeit von Daten lässt an die Stelle des bisherigen Gesellschaftsvertrags (die Summe des Gesollten), der insbesondere Vertrauen in Personen oder Institutionen voraussetzt, Maschinenprozesse treten, hinter denen ökonomische Imperative stehen. 73 An die Stelle von Vertrauen tritt „Gewissheit“. Grundlage der Verarbeitungsvorgänge sind – enteignete – Verhaltensdaten (bspw. der sog. „Schattentext“, der beim Surfen und interagieren auf Social Media oder durch Gesundheitsdaten beim Tragen von Fitness-Trackern als Verhaltensüberschuss anfällt), mit deren Hilfe Vorhersageprodukte (bspw. für Werbetreibende) geschaffen werden. 

So wird es etwa möglich, Werbung genau dann auf das Smartphone zu schalten, wenn der Nutzer dafür emotional empfänglich ist 74 oder mittels Microtargeting personalisierte Wahlwerbung an den Wähler zu senden. 75 Voraussetzung wie auch Folge ist eine Wissens- und Entscheidungsbewusstseins-Asymetrie (Wer weiß? Wer entscheidet? Wer entscheidet, wer entscheidet?). Für den Einzelnen ist nicht ansatzweise erkennbar, welche Verhaltensdaten wann, von wem und zu welchem Zweck gespeichert, verarbeitet und Teil eines Vorhersageprodukts wird und wie diese Verhaltensdaten wiederum Grundlage einer Verhaltenssteuerung werden. Was wissen etwa die Autohersteller über die Telematikdaten moderner PKW, mit wem werden solche Daten gehandelt und zu welchen Produkten (bspw. Versicherungsmodellen 76) verarbeitet? 77

 Dies führt zu einem erheblichen Machtgefälle und letztlich zur Kommerzialisierung aller Lebensbereiche und stellt auch demokratische Prozesse infrage. Ist der Mensch tatsächlich nicht mehr als die Summe der erzeugten Datenpunkte? Die neuen Technologien verheißen unendliche Möglichkeiten der Erkenntnis und Vorhersage. Was dem Menschen bisher verborgen blieb, ist die Zukunft. Die Möglichkeit zur Zukunftsschau bedeutet Macht, 78 und Politik wird durch ein datengetriebenes Systemmanagement abgelöst. 79 Der Überwachungskapitalismus entpuppt sich damit als ein marktorientierter coup d’État von oben im Gewand des technologischen trojanischen Pferdes, der durch die Annexion menschlicher Erfahrung exklusiv Wissen und Macht konzentriert. 80

Die Rechtsordnung stellt den Überwachungskapitalismus bisher kaum, sondern legitimiert ihn sogar erst in wichtigen Teilbereichen. Die DSGVO ist in Bezug auf den Überwachungskapitalismus ein zahnloser Tiger, da diese personenbezogene Daten – also Informationen, die direkt oder indirekt einer identifizierbaren natürlichen Person zugeordnet werden können – schützt. Der Überwachungskapitalismus hingegen arbeitet zunehmend mit dem „Schattentext“ oder abgeleiteten Profilen, die aus riesigen Datenmengen generiert werden und oft nicht eindeutig einer bestimmten Person zugeordnet sind. Der AI Act verfolgt gerade das Ziel, Vertrauen in KI-Anwendungen zu stärken, die ohne Trainingsdaten nicht auskommen. Explizit verbietet der AI Act nur sog. verbotene Praktiken (Art. 5 AI Act), die mit einem inakzeptablen Risiko einhergehen. Systemische Risiken oder gar das Geschäftsmodell des Überwachungskapitalismus werden kaum adressiert. Der Rechtsakt, der tatsächlich etwas im Kräftegefüge hätte ändern können, die ePrivacyVO, ist demgegenüber im Februar 2025 endgültig gescheitert. 81

Und gleichzeitig schaffen die Nationalstaaten bzw. die EU erst die Voraussetzungen zur weiteren Durchdringung aller Lebensbereiche durch den Überwachungskapitalismus. Mit der elektronischen Patientenakte 82 (ePA), die nun trotz der vom Chaos Computer Club aufgedeckten Schwachstellen startet, 83 und dem European Health Dataspace Act 84 (EHDS Act) wird eine umfassende, zentralisierte Sammlung und Verknüpfung von Gesundheitsdaten aller Bürger ermöglicht. Die ePA wird der zentrale Speicherort von Gesundheitsdaten. Für ca. 73 Millionen gesetzlich Versicherte wird sichtbar, welche Medikamente und Leistungen jeweils abgerechnet werden. Zusätzlich sollen die Daten der ePA der Forschung dienen. Sie werden für ein „gemeinwohlorientiertes Forschungsprojekt“ pseudonymisiert zusammengetragen und analysiert. Der EHDS basiert auf der europäischen Datenstrategie und auf der Vorstellung, bereichsspezifisch gemeinsame europäische Datenräume zu etablieren. Im Zusammenhang mit dem EHDS und der ePA steht das am 22. März 2024 verabschiedete Gesundheitsdatennutzungsgesetz (GDNG). 

Dies stellt die nationalen Weichen für die Verwendung von Gesundheitsdaten im Rahmen der Sekundärnutzung, die Einrichtung von Datenzugangsstellen und die Bereitstellung von Daten über sichere Verarbeitungsumgebungen. 85 Diese Aggregation macht aus dem Patienten ein „Datenpunktbündel“, dessen Daten für vielfältige Zwecke – von Forschung über Versicherungen bis hin zu wirtschaftlichen Interessen – genutzt werden können. Bisher nicht vorstellbare Vorhersageprodukte werden damit ermöglicht. Bekommt künftig ein Bürger automatisiert genau in dem Moment einen Arzttermin, wenn der in seinem Körper herangereifte Krebs in der Behandlung den meisten Profit verspricht?

2.         Judikate als Verhaltensdaten und Vorhersageprodukte

Die bisher in juristischen Datenbanken (juris, beck-online etc.) gespeicherten Entscheidungen sind nichts anderes als Sammlungen von Verhaltensdaten, und zwar in doppelter Hinsicht. Einerseits dokumentiert jede gerichtliche Entscheidung das Verhalten der am Prozess Beteiligten, von Angeklagten, Klägern und Beklagten im Tatbestand. Andererseits dokumentiert es das Verhalten des entscheidenden Spruchkörpers und ggf. das von Vorinstanzen in der Prozessgeschichte (Tatbestand) und in den Entscheidungsgründen. Auch die „gelebte Rechtsordnung“, das tatsächlich durchgesetzte Recht, ist nichts anderes als ein Bündel von Datenpunkten. Große juristische Datenbestände lassen es damit zu, ein wahrscheinliches Verhalten eines Gerichts in derselben Rechtsordnung bei vergleichbaren Sachverhalten vorherzusagen. 

Künstliche Intelligenz ermöglicht also etwas, woran der einzelne Prozessbeteiligte und auch Gerichte vor Jahren nicht zu denken vermochten, dass mittels ihrer (pseudomisierten) Verhaltensdaten im Bündel mit anderen Datenpunkten Vorhersageprodukte entwickelt werden. 86 In diesem Kontext sind die Gerichte zunächst einmal Lieferanten von Verhaltensdaten, aus denen private Anbieter ihre Vorhersageprodukte aufbauen können. Hielten generative KI-Systeme in der Justiz Einzug, wäre die Justiz auch gleichzeitig Nachfrager der Vorhersageprodukte, die nur infolge der vorausgegangenen Judikate angeboten werden können. Diese Entwicklung verschiebt die Machtbalance im Rechtssystem: Wer über die besten Daten und die leistungsfähigsten KI-Modelle verfügt, kann strategische Vorteile erlangen – sei es bei der Prozessführung, der Beratung oder der Entwicklung neuer Legal-Tech-Produkte. Ob die Justiz nun selbst KI-Anwendungen nachfragen wird oder nicht, spielt möglicherweise eine untergeordnete Rolle; die Privatwirtschaft wird die Vorhersageprodukte nachfragen und tut dies bereits; die Forderung an die Justiz, hochwertige Verhaltensdaten zu liefern, wird sicher weiter zunehmen. 

Eine Einführung von KI in der Justiz, verbunden mit der Verpflichtung, mehr anonymisierte Entscheidungen zu liefern, wofür auch die technischen Voraussetzungen durch Anonymisierungstools gleich mit geschaffen werden, würde sich so letztlich nur als trojanisches Pferd entpuppen, um „die Verfügbarkeit einer großen Menge an hochwertigen Daten zu gewährleisten, um ein günstiges Umfeld für die Entwicklung von KI-Systemen mit Mehrwert zu schaffen“. 87 Freilich wird dies mit dem Argument verkauft, es gehe darum, „die Effizienz, Fairness und Unabhängigkeit der Justiz zu verbessern“. 88 Am Ende stellt sich dann aber die Frage, warum sollten Rechtssuchende in der Zukunft noch die Justiz in Anspruch nehmen? Die Inanspruchnahme der Justiz fußt auch auf dem Vertrauen, welches ihr entgegengebracht wird. Private (bspw. Anwaltskanzleien) können zukünftig aber auf „Gewissheit“, jedenfalls aber Wahrscheinlichkeitswerte verweisen, welche die Vorhersageprodukte für den Ausgang eines möglichen Rechtsstreits vor Gericht ausweisen. 

Wie auch in anderen Teilen der Gesellschaft wird Vertrauen durch die implizite Forderung nach „Gewissheit“ ersetzt. Damit endet aber zugleich auch die Vorstellung des Gerichtsprozesses als (idealisierter) Diskursraum (Jürgen Habermas 89 oder Robert Alexy 90), in dem jede rationale Äußerung infolge ihrer Kritisierbarkeit verbesserungsfähig ist und am Ende das bessere Argument gewinnt. Geltungsansprüche werden nicht mehr kommunikativ ausgehandelt, denn ein KI-System begründet nicht, sondern berechnet. Die Richterrolle verschiebt sich vom Argumentationsführer zum Validierer von Wahrscheinlichkeiten.

VI.       Kosten des KI-Einsatzes

Die bisherigen Digitalisierungsprozesse sind bereits mit hohen gesellschaftlichen Kosten verbunden. So ist die in den letzten Jahren zu beobachtende Cancel Culture als forcierte Gruppenpolarisierung ohne die Kommunikationsdynamiken in digitalen Räumen kaum denkbar. 91 Die rasante Zunahme von psychischen Erkrankungen bei Kindern und Jugendlichen seit 2010 erklärt Jonathan Haidt schlüssig durch den Verlust an Möglichkeiten zum freien Spiel, dem Verlust an Reallebenserfahrungen in der Peer-Group und dem Ersatz durch Kommunikation in digitalen Räumen mit all den negativen Begleiterscheinungen für eine gesunde Hirnentwicklung. 92 

Die Kommunikation in digitalen, überwachungskapitalistisch eingerichteten Räumen atomisiert und narzifiziert die Gesellschaft und macht taub gegenüber der Stimme des Anderen, was wiederum im Empathieverlust mündet. 93 Zudem verändern sich auf breiter Front auch andere menschliche Fähigkeiten: Was verrät es uns über die Konzentrationsfähigkeit des Publikums, als dieses am 3. Oktober 1854 zunächst dem demokratischen Präsidentschaftskandidaten Stephen A. Douglas für drei Stunden zuhörte und ebenso Abraham Lincoln am Folgetag, als dieser mit einer ebenfalls dreistündigen Gegenrede antwortete? 94 Heute ist wissenschaftlich belegt, dass die Aufmerksamkeitsspanne infolge des veränderten Medienkonsums und Kommunikationsverhaltens in digitalen Räumen immer kürzer wird. 95 Schließlich ist instrumentäre Macht ein Element zur Schaffung faktischer Machtverhältnisse, wie sie dem Konzept des „umgekehrten Totalitarismus“ von Sheldon Wolin zugrunde liegt. 96

Sind die Auswirkungen der bisherigen digitalen Transformation also schon bisher bestenfalls mit „ambivalent“ zu beschreiben, welchen Einfluss wird der verbreitete Einsatz von KI auf die Gesellschaft und die Justiz und die dort beschäftigten Richter haben? In der Bildungsforschung wird der Einsatz von KI auch mit dem Phänomen des „deskilling“ 97 verbunden. 98 Digitalisierung und KI-Einsatz sind immer auch mit Standardisierung verbunden und verdrängen oder entwerten komplexe Fähigkeiten. Das Vertrauen in die „perfekte“ KI-Lösung lässt den Zweifel an eigenen Fähigkeiten wachsen. So weist auch der Deutsche Ethikrat auf diesen negativen Effekt des KI-Einsatzes hin. 99 Wie sähe also eine Justiz aus, in welcher der einzelne Richter sich seiner eigenen Kenntnisse, seiner eigenen Fähigkeiten und Fertigkeiten nicht mehr sicher ist?

VII.      Fazit

  1. Nicht die Justiz fordert den KI-Einsatz, sondern die Technik selbst. Weil damit aber über die Frage des „Wie“ nicht entschieden ist, gilt es sicherzustellen, dass es in der Justiz nur zu einer human-centered AI by design kommt. Nur der Mensch kann Verantwortung tragen, nur er kennt Schuld, Reue und Gewissenskonflikte. Das Nachdenken darüber ist bei den Beschäftigten der Justiz noch nicht hinreichend angekommen.
  2. Zwar existiert bisher keine verfestigte (insb. gerichtliche) Praxis zur Auslegung und Anwendung des AI Acts, aber schon bedingt durch seine Zwecksetzung dürfte es eher das deutsche Verfassungsrecht sein, welches klare Leitplanken für einen KI-Einsatz in der Justiz einzieht.
  3. Richterliche Unabhängigkeit kann nur gewahrt bleiben, wenn ein Druck, KI-generierte Entscheidungsvorschläge zu übernehmen, erst gar nicht aufkommen kann. Dies muss innerhalb der KI-Projekte berücksichtigt werden (etwa durch Begrenzung auf Sachverhaltsassistenz oder als Recherchetool) und würde auch einem „deskilling“ entgegenwirken. Es bleibt aber die Gefahr, dass, sollte es zum generativen KI-Einsatz kommen, in Zeiten von Personalknappheit ein bloßes Verweisen auf eine richterliche Selbstvergewisserung um sich greifen könnte. Das wäre eine Verantwortungsdiffusion hin zum Individuum, obwohl die Ursachen systemisch sind. Eine solche Aufforderung zur Selbstvergewisserung diente nur der Aufrechterhaltung der Illusion von Rechtsstaatlichkeit, wo tatsächlich eine Dezentrierung von Verantwortung stattfindet.
  4. Ungeachtet des KI-Einsatzes durch die Justiz selbst, wird der Einsatz von KI durch die Anwaltschaft und andere Prozessbeteiligte den Charakter des Prozesses verändern. Das Ringen um argumentative Geltung wird schleichend ersetzt werden durch die strategische Optimierung auf Basis statistischer Muster. Der Diskursraum wird zum Rechenraum mit dem Richter als Entscheidungsendpunkt in einem vorstrukturierten Spiel. Es werden nicht länger Gerechtigkeit, sondern Muster rekonstruiert.
  5. Mit dem KI-Einsatz bei Gerichtsprozessen ist eine Machtverschiebung verbunden. Es ist nicht mehr der Staat (allein) mit seinem Gewaltmonopol, dem Macht zukommt, sondern in immer stärkerem Maße ist es die instrumentäre Macht der Dataisten. Bei unveränderter Rechts- und Institutionenordnung sind es zunehmend (intransparente) faktische Machtverhältnisse, denen der Bürger ausgesetzt ist. Das gilt es zu erkennen und unter Rückbesinnung auf die grundlegenden Prinzipien allen zwischenmenschlichen Handelns zu vermeiden – nur so kann die Dritte Gewalt ihre (geteilte) Macht erhalten.

Endnoten

Quelle: Netzwerk Kritische Richter und Staatsanwälte n.e.V. (KRiStA)

Gern gelesene Artikel

Videos
Daniel Mantey Bild: Hertwelle432
"MANTEY halb 8" deckt auf - Wer steuert den öffentlich-rechtlichen Rundfunk?
Mantey halb 8 - Logo des Sendeformates
"MANTEY halb 8": Enthüllungen zu Medienverantwortung und Turcks Überraschungen bei und Energiewende-Renditen!
Weitere Videos
Termine
Kommende Termine
Newsletter
Wollen Sie unsere Nachrichten täglich kompakt und kostenlos per Mail? Dann tragen Sie sich hier ein:
Schreiben Sie bitte kommen in folgendes Feld um den Spam-Filter zu umgehen

Oder nutzen sie unseren
News-Feed News-Feed
Anzeige