Anbieter & Betreiber nach dem AI Act - Teil I

Die Klassifizierung als Anbieter oder Betreiber eines KI-Systems ist eine der zentralen Fragen für die Compliance mit dem AI Act. Die Einordnung in eine der Rollen und die Abgrenzung der beiden Rollen voneinander kann im Einzelfall schwierig zu bestimmen sein. Das ist insbesondere vor dem Hintergrund problematisch, dass die Anbieter von Hochrisiko-KI-Systemen die Hauptadressaten des AI Acts sind und deutlich umfangreichere Pflichten zu erfüllen haben als die Betreiber.

Zu dieser Problematik trägt auch der teils unklare Gesetzeswortlaut bei, der nach der Veröffentlichung des AI Acts in deutscher Amtssprache im Amtsblatt der Europäischen Union am 12.07.2024 in vielen Punkten nicht eindeutiger geworden ist.

Dies bietet Anlass, sich mit ausgewählten Problemen der Anbieter-Betreiber-Einordnung zu beschäftigen und insbesondere auf Wortlaut-Fragen einzugehen. Im ersten Teil des Blog-Betrags wird es um die Frage der originären Einordnung unter die beiden Begriffe gehen. Im zweiten Teil wird Art. 25 AI Act und die der darin normierte Wechsel vom Betreiber zum Anbieter in den Blick genommen.

I. Allgemeines

In persönlicher Hinsicht erfasst der AI Act Anbieter primär („Provider“) und Betreiber („Deployer“).

Ein Anbieter ist nach Art. 3 Nr. 3 AI Act „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System oder ein KI-Modell mit allgemeinem Verwendungszweck entwickelt oder entwickeln lässt und es unter ihrem eigenen Namen oder ihrer Handelsmarke in Verkehr bringt oder das KI-System unter ihrem eigenen Namen oder ihrer Handelsmarke in Betrieb nimmt, sei es entgeltlich oder unentgeltlich“.

Betreiber ist nach Art. 3 Nr. 4 AI Act „eine natürliche oder juristische Person, Behörde, Einrichtung oder sonstige Stelle, die ein KI-System in eigener Verantwortung verwendet, es sei denn, das KI-System wird im Rahmen einer persönlichen und nicht beruflichen Tätigkeit verwendet“.

Der räumliche Anwendungsbereich für Anbieter und Betreiber wird in Art. 2 Abs. 1 a) - c) AI Act definiert. Während für Anbieter nach Buchstabe a) das Marktortprinzip gilt, also das Inverkehrbringen oder Inbetriebnehmen von KI-System in der Union, wird für Betreiber nach Buchstabe b) auf einen Sitz bzw. Ansässigkeit in der Union abgestellt (Niederlassungsprinzip). Buchstabe c) normiert eine Art stark erweitertes Marktortprinzip, indem es rein auf den Output von KI-Systemen abstellt, der in der Union verwendet wird (ausführlicher dazu unter IV.).

II. Wer ist Anbieter?

Anbieter nach dem AI Act sind nach der oben genannten Definition nicht nur die klassischen Entwickler und Hersteller von KI-Systemen oder General Purpose AI Modellen (nachfolgend einheitlich „KI-System“), sondern auch alle Unternehmen, die KI-Systeme entwickeln lassen und unter eigenem Namen in Verkehr bringen oder in Betrieb nehmen.

Während das Inverkehrbringen bzw. das Inbetriebnehmen in Art. 3 Nr. 9 - 10 AI Act legaldefiniert ist, fehlt eine Begriffsbestimmung für das „Entwickeln“ (lassen) von KI-Systemen. Ab wann liegt ein „Entwickeln“ im Sinne der Verordnung vor?

Diese Frage stellt sich beispielsweise bei auf Large Language Models (LLMs) basierenden KI-Systemen, die für eine ideale Anwendung an den jeweiligen Einsatz angepasst werden müssen. Während das Prompten (auch bei komplexen Prompts) eher als bloße Benutzerinteraktion im laufenden Betrieb des KI-System einzustufen sein dürfte, liegt ein „Entwickeln“ bei dem Fine-Tuning eines LLMs schon deutlich näher. Denn hierbei wird mittels Einstellung der Gewichte des LLM gezielt die technische Funktionsweise der KI für ein spezifisches Einsatzgebiet angepasst.

Als weniger aufwändige Alternative zum Fine-Tuning kann man das LLM für den spezifischen Einsatz auch durch das Anbinden von Wissensdatenbanken anpassen (Retrieval Augmented Generation). Dem LLM werden Wissensquellen wie z.B. ein Intranet zur Verfügung gestellt, auf das das LLM anstatt „eigenem“ Wissen zugreifen kann. Dies dürfte ebenfalls kein „Entwickeln“ darstellen, weil das System an sich dadurch nicht verändert wird.

Es sind viele weitere Grenzfälle denkbar, wo die Schwelle des „Entwickelns“ nicht klar erkennbar ist.

III. Wer ist Betreiber?

Bei der Definition des Betreibers drängt sich die Frage auf, wann eine Verwendung „unter eigener Verantwortung“ gegeben ist.

Erwägungsgrund 13 des AI Acts verwendet den Begriff „Befugnis“ anstatt „Verantwortung“, sodass es naheliegt, die selbst bestimmte Entscheidung über die Verwendung des KI-Systems und dessen Outputs als Voraussetzung ausreichen zu lassen. Dieses sehr weite Verständnis würde sämtliche Einsatzmöglichkeiten von KI-Systemen durch Verwender erfassen, solange die Verwendung nicht auf Anweisung Dritter erfolgt.

Wichtig ist außerdem, dass auch natürliche Personen im beruflichen Kontext, also z.B. Arbeitsnehmer, nach der Definition in Art. 3 Nr. 4 AI Act leicht als Betreiber einer Hochrisiko-KI gelten können.

Beispiel: Ein Mitarbeiter einer HR-Abteilung eines Unternehmen verwendet aus eigener Initiative eine Online-Software, die mittels KI Bewerbungen bewerten und filtern kann. Er lässt verschiedene Bewerbungen analysieren und automatisch alle aussortieren, bei denen die Person weniger als 2 Jahre Berufserfahrung hat.

Der Mitarbeiter wäre nach der Definition in Art. 3 Nr. 4 AI Act Betreiber einer Hochrisiko-KI und müsste insbesondere die Pflichten nach Art. 26 AI Act erfüllen. Für Verstöße drohen Geldbußen bis zu 15 Millionen Euro.

IV. Widerspruch beim Output-Prinzip in Art. 2 Abs. 1 c) AI Act

Weitere Unklarheiten finden sich in der Definition des „Output-Prinzips“ in Art. 2 Abs. 1 c) AI Act.

Danach werden auch Anbieter und Betreiber erfasst, die zwar nicht in der EU sitzen oder ansässig sind und auch das betreffende KI-System nicht in der EU in den Verkehr gebracht oder in Betrieb genommen wurde, der Output des KI-Systems aber in der Union verwendet wird. Mit der Vorschrift sollen insbesondere potenzielle Umgehungen der Verordnung vermieden werden.

Zum einen stellt sich die Frage, wie weit oder eng der Begriff des „Verwendens in der EU“ zu interpretieren ist. Ein weites Verständnis würde jede zufällige und unbeabsichtigte Verwendung des KI-Output erfassen. In Erwägungsgrund 22 wird jedoch darauf abgestellt, dass „beabsichtigt wird, die von diesem System erzeugte Ausgabe in der Union zu verwenden.“ Zufällige Verwendungen des KI-Outputs in der EU dürften also nicht von Art. 2 Abs. 1 c) AI Act erfasst sein.

Eine weitere Unklarheit, die höchstwahrscheinlich aus einem redaktionellen Versehen resultiert, ist die Verwendung des Begriffes „Anbieter“ in der Definition des „Output-Prinzips“. Die Rolle des Anbieters wird - wie bereits dargestellt - in Art. 3 Nr. 3 AI Act legaldefiniert und setzt ein Inverkehrbringen oder Inbetriebnehmen voraus. Diese beiden Begriffe wiederum beziehen sich nach ihrer Definition ausschließlich auf den Unionsmarkt. Somit entsteht ein Widerspruch zu dem „Output-Prinzip“, welches gerade für Anbieter gelten soll, dessen KI-Systeme nicht auf dem EU-Markt verfügbar ist.

Dieser Widerspruch wird sich vermutlich so auflösen, dass klargestellt wird, dass für ein Anbieter im Sinne des „Output-Prinzips“ nach Art. 2 Abs. 1 c) AI Act die Definition des Art. 3 Nr. 3 AI Act nicht bzw. angepasst gilt.