Die EU-KI-Verordnung und ihre Auswirkungen auf die (teil-) automatisierte Kreditvergabe

Einführung

Spätestens seit der Ankunft von KI-Systemen im Mainstream durch einfach zugängliche Systeme wie ChatGPT und Google Gemini ist das Thema KI auch in der (Fach-)Öffentlichkeit angekommen. Mit der EU-KI-Verordnung (KI-VO) gibt es nunmehr das weltweit erste Gesetz zur Regelung von künstlicher Intelligenz. Selbsterklärtes Ziel der Verordnung: jedenfalls die Verbesserung des Binnenmarktes durch einen einheitlichen Rechtsrahmen, um die Einführung von menschenzentrierter und vertrauenswürdiger KI zu fördern, ein hohes Schutzniveau sicherzustellen, Schutz vor schädlichen Auswirkungen zu gewährleisten und Innovation zu unterstützen (vgl. Erwägungsgrund 1 KI-VO, Art. 1 Abs. 1 KI-VO).

In Umsetzung dieses Ziels verfolgt die KI-Verordnung einen risikobasierten Ansatz. Sie unterteilt KI-Anwendungen in vier Risikostufen mit unterschiedlichen Rechtsfolgen: nicht annehmbares, hohes, begrenztes und minimales/kein Risiko. Wohingegen KI-Anwendungen mit nicht annehmbarem Risiko verboten sind (Art. 5 KI-VO), sind Hochrisiko-KI-Anwendungen prinzipiell zulässig. Die Akteure sind allerdings – wenngleich in unterschiedlicher Strenge – einem Regime von teilweise bußgeldbewährten Pflichten unterworfen.

Automatisierte Kreditwürdigkeitsprüfung als Hochrisiko-KI-System

Grundsatz

Von besonderem Interesse für Banken ist die Einordnung von KI-Systemen zur Entscheidung über die Kreditwürdigkeit von Kunden. Nach Art. 6 Abs. 2 i.V.m. Nr. 5 Buchst. b Anhang III KI-VO gelten KI-Systeme - ausgenommen solcher zur Aufdeckung von Finanzbetrug - als Hochrisiko-KI-Systeme, die bestimmungsgemäß für die Kreditwürdigkeitsprüfung und Bonitätsbewertung natürlicher Personen verwendet werden sollen. KI-Systeme im (nicht-risikorelevanten) Privatkundengeschäft fallen ins Auge. Hier werden derzeit bspw. im Ratenkreditgeschäft sowohl teil- als auch vollautomatisierte Verfahren eingesetzt (BaFinJournal vom 11. Mai 2023). Doch auch im Firmenkundengeschäft findet KI Einzug in die Kreditvergabe (BaFinJournal vom 11. Mai 2023), etwa durch die Implementierung von Natural Language Processing (NLP), mit dessen Hilfe die jährlichen Geschäftsberichte der Unternehmen ausgewertet und nach Schlüsselbegriffen durchsucht werden können, die Rückschlüsse auf das Kreditrating zulassen (BaFin, Big Data und künstliche Intelligenz, S. 10). Die KI-Systeme werden weit überwiegend – aber nicht ausschließlich – von externen Dienstleistern entwickelt (BaFinJournal vom 11. Mai 2023).

Ausnahmen

Art. 6 Abs. 3 KI-VO enthält Kategorien von KI-Systemen, die trotz der Aufführung im Anhang III KI-VO nicht als hochriskant einzustufen sind, nämlich dann, wenn sie kein erhebliches Risiko der Beeinträchtigung in Bezug auf Gesundheit, Sicherheit oder Grundrechte natürlicher Personen bergen, indem sie unter anderem nicht das Ergebnis der Entscheidungsfindung wesentlich beeinflussen (UAbs. 1). Daneben ist erforderlich, dass eine der Bedingungen des UAbs. 2 zutreffend ist, von denen im hier betrachteten Kontext Buchstaben a und d hervorgehoben werden sollen. Danach gilt die Ausnahme für KI-Systeme, die bestimmungemäß eine eng gefasste Verfahrensaufgabe durchführen (Buchst. a) oder eine vorbereitende Aufgabe für eine Bewertung durchführen (Buchst. b). Nach UAbs. 3 gilt dies zwar nicht, wenn ein Profiling einer natürlichen Person vorgenommen wird (zum Begriff s. Art. 3 Nr. 52 KI-VO i.V.m. Art. 4 Nr. 4 DSGVO), sodass die Retail-Sparte hiervon ausgenommen ist. Ein Anwendungsbereich ist damit allerdings im Firmenkundengeschäft denkbar. Entscheidend ist dabei die Ausprägung der KI-gestützten Unterstützung im Zusammenspiel mit der für die Kreditvergabe zuständigen Person. Hier gilt es, die KI-Beteiligung nicht nur sauber im Hinblick auf den unbestimmten Rechtsbegriff der Wesentlichkeit zu prüfen und gemäß Art. 6 Abs. 4 Satz 1 KI-VO rechtssicher zu dokumentieren. Der zu einem positiven Ergebnis gelangende Anbieter unterliegt in der Folge nach Art. 6 Abs. 4 Satz 2 KI-VO einer Registrierungsverpflichtung nach Art. 49 Abs. 2 KI-VO. Daneben ist auch die Entwicklung der Anwendungspraxis im Blick zu behalten. Tritt bspw. der KI-gestützte, eng gefasste Verfahrensgang zunehmend in den Vordergrund der zu treffenden Entscheidung, etwa weil die Letztentscheidenden dem Umstand mit der Zeit höhere Bedeutung beimessen, kann der Verlust der Privilegierung mit weitergehenden Pflichten (s. sogleich) die Folge sein. Ein Umstand der freilich durch Wegfall oder Änderung der Ausnahmebedingungen gleichsam eintreten kann. Durch Art. 6 Abs. 7 KI-VO ist die EU-Kommission ausdrücklich zu derlei Änderungen mittels des Instruments der delegierten Rechtsakte ermächtigt worden.

Einzelne Akteure und ihre Pflichten

Maßgeblich für die hier beschriebenen Konstellation ist insbesondere die Unterscheidung zwischen Anbietern und Betreibern. An diese Einordnung knüpft die KI-Verordnung dem Grunde nach unterschiedlich ausgestaltete Pflichten.

Verpflichtete

Im hier relevanten Kontext fallen verkürzt ausgedrückt jene Personen unter den Begriff des Anbieters (Art. 3 Nr. 3 KI-VO), die KI-Systeme entwickeln; Betreiber (Art. 3 Nr. 4 KI-VO) sind Personen, die im beruflichen Kontext KI-Systeme verwenden. Besonderes Augenmerk ist dem Umstand zu widmen, dass das Merkmal des Anbieters auch dann erfüllt ist, wenn das KI-System unter dem eigenen Namen oder der eigenen Handelsmarke in Betrieb genommen wird, unabhängig davon, ob es selbst oder durch einen Dritten entwickelt wurde. Unter „Inbetriebnahme“ ist neben der Bereitstellung zum Erstgebrauch direkt an einen Betreiber auch der Fall des Eigengebrauchs zu verstehen (Art. 3 Nr. 11 KI-VO). Um Anbieter i.S.d. Verordnung zu sein, ist es folglich – ab vom intuitiven Verständnis des Begriffs – nicht zwingend, dass das entwickelte KI-System den eigenen Wirkkreis verlässt. Dies sollte insbesondere bei der Vertragsgestaltung von im Auftrag von Banken entwickelten KI-Systemen vor dem Hintergrund des umfangreichen Pflichtenkanons der Anbieter von Hochrisiko-KI-Systemen berücksichtigt werden.

Ausgewählte Pflichten

Wohingegen Anbieter von Hochrisiko-KI-Systemen umfangreichen Pflichten unterworfen sind (Art. 16 Buchst. a bis l i.V.m. Artt. 8 bis 15, 17 bis 20, 43, 47 bis 50, 72 KI-VO), sind jene der Betreiber vergleichsweise überschaubar. Ihre Pflichten sind in Artt. 26 und 27 KI-VO geregelt.

Art. 26 KI-VO gibt ihnen im Wesentlichen die ordnungsgemäße, zweckentsprechende Verwendung nach der Betriebsanleitung auf, die sie zu überwachen haben. Für sog. Finanzinstitute, die Anforderungen in Bezug auf ihre Regelungen oder Verfahren der internen Unternehmensführung unterliegen, ist dahingehend die Fiktion der ordnungsgemäßen Überwachung nach Art. 26 Abs. 5 UAbs. 2 KI-VO für den Fall vorgesehen, dass sie die Vorschriften über Regelungen, Verfahren oder Mechanismen der internen Unternehmensführung gemäß einschlägigem Recht über Finanzdienstleistungen einhalten. Eine mit der Aufsicht betraute und geeignete natürlich Person ist einzusetzen und automatisch erzeugte Protokolle angemessen lange, mindestens aber sechs Monate lang aufzubewahren. Hervorzuheben ist die Pflicht, die Betroffenen der Hochrisiko-KI-Systeme zu informieren (Abs. 11 Satz 1).

Dezidiert geregelt ist daneben die Grundrechte-Folgenabschätzung nach Art. 27 KI-VO. Diese richtet sich ausdrücklich auch an Betreiber von KI-Systemen zur Prüfung der Kreditwürdigkeit von natürlichen Personen (Abs. 1 Satz 1). Art. 27 Abs. 1 Satz 2 Buchst. a bis f KI-VO macht hierbei einige inhaltliche Vorgaben, die zwingend zu beachten sind. Wer sich insoweit an die Datenschutz-Folgenabwägung nach Art. 35 DSGVO erinnert fühlt und doppelten Aufwand fürchtet, wurde durch den EU-Gesetzgeber erhört. Dieser hat in Art. 27 Abs. 4 KI-VO vorgesehen, dass im Doppelungsfall die Datenschutz-Folgenabschätzung um die in Absatz 1 nicht erfassten Umstände zu ergänzen ist.

Auch im Übrigen gibt es hier einige Erleichterungen für Betreiber. So gilt die Verpflichtung zur Grundrechte-Folgenabschätzung nur für die erste Verwendung (Art. 27 Abs. 2 Satz 1 KI-VO). Dies fügt sich in die Vorgabe nach Art. 27 Abs. 1 Satz 1 KI-VO ein, dass die Grundrechte-Folgenabschätzung vor der Inbetriebnahme durchzuführen ist. Unter Beachtung des Begriffs der Inbetriebnahme (s.o.) sind damit sich bereits in Verwendung befindende Hochrisiko-KI-Systeme grundsätzlich ausgenommen (vgl. insoweit Art. 111 Abs. 2 Satz 1 KI-VO). Zudem ist die Möglichkeit vorgesehen, sich auf Grundrechte-Folgenabschätzungen in ähnlichen Fällen oder auf eine etwaig bereits durch den Anbieter durchgeführte Folgenabschätzung zu stützen (Art. 27 Abs. 2 Satz 2 KI-VO). Wann ein vergleichbarer Fall vorliegt und ob bzw. inwieweit der Betreiber der Folgenabschätzung des Anbieters ungeprüft folgen darf, ist freilich ungeklärt und bedarf sorgsamer Prüfung.

Versteckte Pflichten

Hingewiesen werden soll an dieser Stelle zunächst noch darauf, dass ein Betreiber zu einem Anbieter avanciert, sobald er ein von ihm bislang in Verkehr gebrachtes oder in Betrieb genommenes Hochrisiko-KI-System mit dem eigenen Namen oder der eigenen Handelsmarke, unabhängig von vertraglichen Regelungen zwischen Anbieter und Betreiber, versieht (Art. 25 Abs. 1 Buchst. a KI-VO). In diesem Fall treffen von nun an ihn die umfangreichen Anbieterpflichten (s.o.). Der vormalige Anbieter gilt hingegen nicht mehr als Anbieter i.S.d. Verordnung (Art. 25 Abs. 2 S. 1 KI-VO), sodass die oben erwähnten Pflichten insoweit entfallen. Ihm gegenüber erwachsen allerdings neue Pflichten (Art. 25 Abs. 2 S. 2 KI-VO).

Wohingegen das Vorgenannte eher weniger überraschend eintritt, ist demgegenüber bei der Inbetriebnahme eines durch den Anbieter gemäß Art. 6 Abs. 3 UAbs. 1, UAbs. 2 Buchst. a KI-VO als nicht hochriskant eingestuften Hochrisiko-KI-System Vorsicht angebracht (vgl. oben Ziffer II Buchst. b). Auf eine fälschliche Einordnung durch den Anbieter wird sich der Betreiber aufgrund der auf den Schutz der Betroffenen von Hochrisiko-KI-Systemen ausgerichteten Betreiberpflichten nicht berufen können. Eine formelle Prüfung, respektive eine entsprechende Zulassung durch die Behörden, findet nicht statt (vgl. Art. 6 Abs. 4 Satz 2 KI-VO). Die vorzunehmende Registrierung nach Art. 6 Abs. 4 S. 1 i.V.m. Art. 49 Abs. 2, Art. 71 KI-VO hat nicht die Wirkung einer die Einschätzung des Anbieters förmlich bestätigenden Wertung. Den Betreiber treffen in diesem Fall mitunter unerkannt die vorangestellten Pflichten. Dies sollte nicht leichtfertig abgetan werden, denn von diesen sind jene nach Art. 26 KI-VO gemäß Art. 99 Abs. 4 Buchst. e KI-VO mit bis zu 15 Mio. € oder 3 % des gesamten weltweiten Jahresumsatzes des vorangegangenen Geschäftsjahres bußgeldbewährt. Freilich wird bei der Bestimmung der konkreten Bußgeldhöhe die fälschliche Einordnung durch den Anbieter aber nicht unbeachtet bleiben können.

Fazit

Die schiere Existenz der KI-Verordnung ist schon jetzt ein Meilenstein in der Regulierung von Künstlicher Intelligenz. Ob die den Akteuren auferlegten Pflichten praxistauglich sind, wird sich hingegen erst noch zeigen müssen. Trotz der Geltung der beschriebenen Pflichten in Bezug auf Hochrisiko-KI-Systeme erst ab dem 2. August 2027 (Art. 113 UAbs. 3 Buchstabe c KI-VO) sollten diese nicht unterschätzt werden. Banken sind gut beraten, die weitere Entwicklung zu verfolgen und ihre Workflows insoweit stetig zu kontrollieren.