FAQ

Wie kann ich überprüfen, ob ich betroffen bin?

Die KI-Verordnung (kurz: KI‑VO) verfolgt einen risikobasierten Ansatz und sieht unterschiedlich strenge Anforderungen für verschiedene Arten von KI-Systemen und -Modellen vor. Für bestimmte KI-Systeme und -Modelle gelten Ausnahmen. In Folge des risikobasierten Ansatzes der KI-VO gelten unterschiedlich strenge Pflichten je nach Art des KI-Systems bzw. -Modells. Zudem sieht die KI-VO abgestufte Anforderungen für die einzelnen Wirtschaftsakteure vor. Prüfen Sie jetzt die Betroffenheit Ihrer KI-Technologie und die damit verbundenen Pflichten mit unserem kostenlosen Quick-Check.

Was ist die KI-VO und welche Ziele werden mit ihr verfolgt?

Die KI-Verordnung (kurz: KI-VO, im Englischen: AI Act oder kurz AIA) ist eine produktbezogene Verordnung, die strenge Anforderungen für die Entwicklung und Nutzung von Künstlicher Intelligenz (KI) festlegt. Mit der KI-VO soll in der EU erstmals ein Rechtsrahmen für den sicheren und transparenten Einsatz von KI geschaffen werden. Die KI-VO ist spezifisches Produktsicherheitsrecht. Je nach Schwere des Risikos, welches ein KI-System für die Grundwerte der EU darstellt, gelten unterschiedlich strenge Pflichten.  Adressaten sind Anbieter, Produkthersteller, Betreiber, Bevollmächtigte, Einführer oder Händler, für die wiederum abgestufte Pflichten gelten. Die KI-VO ist seit dem 1. August 2024 in Kraft und die neuen Anforderungen finden schrittweise bis zum 2. August 2027 Anwendung. Bei Verstößen drohen Behördenmaßnahmen und hohe Bußgelder. Neben der KI-VO können weitere Rechtsakte Anwendung finden, wie z.B. die Datenschutz-Grundverordnung, der Cyber Resilience Act, das Urheberrecht und das Verbraucherrecht. Unternehmen sollten sich daher bereits jetzt auf die neuen Anforderungen einstellen und frühzeitig mit der Überprüfung ihrer Systeme und Prozesse beginnen.

Gesetzgeberisches Ziel ist es, den Schutz vor schädlichen Auswirkungen von KI in der Union zu gewährleisten und gleichzeitig Innovation unterstützen. Deshalb verfolgt die KI-VO einen risikobasierten Ansatz. Grundsätzlich gilt: Je höher das Risiko für die Grundwerte der EU (wie z.B. Freiheit, Demokratie, Sicherheit, Grundrechte), welches von einem KI-System oder -Modell ausgeht, desto höher der Grad der Regulierung. Bei Verstößen gegen die Regulierungsvorgaben drohen Behördenmaßnahmen und hohe Bußgelder.

Wie ist die KI-VO in das EU-Regelungskonstrukt einzuordnen?

Die KI-VO ist spezifisches Produktsicherheitsrecht, das sektorübergreifend (horizontal) wirkt und insofern verschiedenste Branchen erfasst. Sie ergänzt in vielen Bereichen bestehendes Unionsrecht sowie nationales Recht (wie z.B. in den Bereichen Datenschutz oder Produkthaftung), ohne es zu ersetzen. Neben der KI-VO können daher weitere Rechtsakte und Regelungen Anwendung finden, die es in der Praxis zu beachten gilt.

Was ist ein KI-System im Sinne der KI-VO?

Gemäß Art. 3 Nr. 1 KI-VO handelt es sich bei einem KI-System um ein maschinengestütztes System, das für einen in unterschiedlichem Grade autonomen Betrieb ausgelegt ist und das nach seiner Betriebsaufnahme anpassungsfähig sein kann und das aus den erhaltenen Eingaben für explizite oder implizite Ziele ableitet, wie Ausgaben wie etwa Vorhersagen, Inhalte, Empfehlungen oder Entscheidungen erstellt werden, die physische oder virtuelle Umgebungen beeinflussen können. Angesichts der offenen Begriffsmerkmale stellt es in der Praxis bereits eine erste Hürde dar, zu beurteilen, ob die in Frage stehende Technologie nach dieser Definition von der KI-VO erfasst wird. Zur Orientierung hat die EU-Kommission Leitlinien zur Definition von KI-Systemen veröffentlicht, die Unternehmen als praktische Hilfe zur Beurteilung nutzen können. Da die KI-VO insgesamt ein weites Begriffsverständnis zugrunde legt, ist in Zweifelsfällen eher von der Einstufung als KI-System auszugehen.

Zudem bestehen einige wenige Ausnahmen vom Anwendungsbereich der KI-VO, insbesondere:

  1. Forschungs-, Test- und Entwicklungstätigkeiten: Die KI-VO gilt nicht für Forschungs-, Test- und Entwicklungstätigkeiten zu KI‑Systemen oder KI‑Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden. Für KI-Reallabore gilt diese Ausnahme jedoch nicht.
  2. Freie und quelloffene KI: Die KI-VO gilt nicht für KI-Systeme, die unter freien und quelloffenen Lizenzen bereitgestellt werden. Liegt jedoch ein Hochrisiko-KI-System (Art. 6) oder als ein KI-System, das eine verbotene KI-Praktik (Art. 5) oder ein KI-System mit begrenztem Risiko darstellt (Art. 50), vor, gilt die Ausnahme nicht.
Was ist ein KI-Modell mit allgemeinem Verwendungszweck (GPAI) im Sinne der KI-VO?

Das KI-Modell als solches wird in der KI-VO nicht definiert. Es kann allerdings als ein spezifischer Algorithmus verstanden werden, der für eine bestimmte Aufgabe wie z. B. Sprachverarbeitung oder Bilderkennung entwickelt wurde. Das KI-Modell bildet eine zentrale, aber isolierte Komponente innerhalb eines umfassenderen KI-Systems, das zusätzliche Funktionen und Strukturen zur praktischen Anwendung enthält. Um ein KI-Modell mit allgemeinem Verwendungszweck (GPAI) handelt es sich gemäß Art. 3 Nr. 63 KI-VO dann, wenn das KI-Modell eine erhebliche allgemeine Verwendbarkeit aufweist und in der Lage ist, unabhängig von der Art und Weise seines Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert werden kann. Für einzelne Bereiche gelten Ausnahmen. Die wesentlichen Anforderungen an KI-Modelle mit allgemeinem Verwendungszweck finden sich in Kapitel V der KI-VO.

Gibt es Ausnahmen für bestimmte KI-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck?

Ja, die KI-VO sieht einzelne Ausnahmen für bestimmte KI-Systeme und KI-Modelle mit allgemeinem Verwendungszweck in bestimmten Konstellationen vor. Ausnahmen gelten u.a. für Forschungs-, Test- und Entwicklungstätigkeiten zu KI-Systemen oder -Modellen, bevor diese in Verkehr gebracht oder in Betrieb genommen werden, wobei Tests unter Realbedingungen nicht unter diesen Ausschluss fallen. KI-Systeme und -Modelle, die ausschließlich zu Zwecken der wissenschaftlichen Forschung und Entwicklung entwickelt und eingesetzt werden unterfallen ebenfalls nicht der KI-VO. Bestimmte Open Source KI-Technologien sind ebenfalls von der KI-VO ausgenommen.

Wie erkenne ich, welche Risikoklasse mein KI-System unterliegt?

Die KI-VO verfolgt einen risikobasierten Ansatz und unterscheidet zwischen verbotener KI, Hochrisiko-KI, KI mit beschränktem Risiko und KI mit minimalem bis keinem Risiko. Daneben werden zudem sog. KI-Modelle mit allgemeinem Verwendungszweck (sog. General Purpose AI (GPAI)) reguliert. Entscheidend ist, ob und wenn ja, mit welcher Intensität, ein Risiko für die Grundwerte der EU (wie z.B. Freiheit, Demokratie, Sicherheit, Grundrechte) vorliegt. Je nach Einstufung des KI-Systems oder -Modells gelten unterschiedlich strenge Pflichten. Die KI-VO unterscheidet zwischen folgenden Risikoklassen:

  • Verbotene KI-Praktiken;
  • Hochrisiko-KI-Systeme;
  • KI-Systeme mit begrenztem Risiko;
  • KI-Systeme mit minimalem bis keinem Risiko.

Verbotene KI

Verboten sind gemäß Art. 5 KI-VO KI-Systeme, die ein unannehmbares Risiko bergen. Betroffen sind KI-Systeme, von denen erhebliche Gefahren für die Grundrechte, die Sicherheit und das gesellschaftliche Zusammenleben ausgehen. Dazu zählen beispielsweise manipulative KI-Systeme, Social-Scoring-Systeme, Scraping-Systeme oder biometrische Kategorisierungssysteme. Als Hilfestellung hat die EU-Kommission Leitlinien zu verbotenen Praktiken der künstlichen Intelligenz veröffentlicht.

Hochrisiko-KI-Systeme
Schwerpunkt der KI-VO ist die Regulierung von Hochrisiko-KI-Systemen. Diese bergen zwar kein unannehmbares Risiko, die Risiken sind jedoch so hoch, dass ihre Entwicklung, ihr Betrieb und ihre Nutzung besonders strengen Regeln unterliegen. Ob ein Hochrisiko-KI-System vorliegt, wird nach Art. 6 KI-VO auf zwei unterschiedliche Arten ermittelt:

a) Regulierte Produkte (Anhang I)
Gemäß Art. 6 KI-VO gilt ein KI-System als Hochrisiko-KI-System, wenn es als Sicherheitsbauteil in einem Produkt verwendet werden soll, das von einer in Anhang I der KI-VO aufgeführten Harmonisierungsrechtsvorschrift der EU erfasst ist, oder wenn das KI-System selbst ein solches Produkt darstellt. Zusätzlich muss das Produkt nach der Harmonisierungsvorschrift einer Konformitätsbewertung durch Dritte unterzogen werden.

Relevante Produkte, die von den Harmonisierungsvorschriften in Anhang I KI-VO erfasst werden, sind z.B.:

  • Maschinen i.S.d. Richtlinie 2006/42/EG
  • Funkanlagen i.S.d. Richtlinie 2014/53/EU
  • Medizinprodukte i.S.d. Verordnung (EU) 2017/745
  • In-vitro-Diagnostika i.S.d. Verordnung (EU) 2017/74

b) Hochrisiko-Kategorien nach Anhang III
Darüber hinaus kann ein Hochrisiko-KI-System vorliegen, wenn das KI-System in einen der in Anhang III KI-VO genannten Bereiche fällt. Dazu gehören insbesondere folgende Systeme:

  • KI-Systeme zur biometrischen Identifizierung
  • KI-Systeme, die als Sicherheitsbauteil in kritischer Infrastruktur verwendet werden
  • KI-Systeme im Rahmen der allgemeinen und beruflichen Bildung
  • KI-Systeme zur Personalverwaltung
  • KI-Systeme zur Vergabe öffentlicher Leistungen, Strafverfolgung, Migration und Rechtspflege

c) KI-Systeme mit begrenztem Risiko
Spezielle Transparenzpflichten gelten gem. Art. 50 KI-VO für Anbieter von KI-Systemen, die für die direkte Interaktion mit natürlichen Personen bestimmt sind. Besonderes adressiert werden hierbei KI-Systeme, welche Text-, Bild-, Ton oder Videoinhalte erzeugen oder manipulieren. Die KI-Systeme, die den Pflichten aus Art. 50 KI-VO unterfallen, sind KI-Systeme mit begrenztem Risiko.

d) KI-Systeme mit minimalem oder keinem Risiko
KI-Systeme mit geringem oder keinem Risiko werden negativ abgegrenzt. Fallen KI-Systeme weder unter die verbotenen KI-Praktiken des Art. 5 KI-VO, den Hochrisiko-KI-Systemen aus Art. 6 KI-VO oder gelten als KI-Systeme mit begrenztem Risiko im Sinne des Art. 50 KI-VO, unterliegen sie nur den allgemeinen Pflichten des Art. 4 KI-VO.

Sonderfall: KI-Modelle mit allgemeinem Verwendungszweck (GPAI)
Als GPAI gelten KI-Modelle, welche eine erhebliche allgemeine Verwendbarkeit aufweisen und in der Lage sind, unabhängig von der Art und Weise ihres Inverkehrbringens ein breites Spektrum unterschiedlicher Aufgaben kompetent zu erfüllen, und in eine Vielzahl nachgelagerter Systeme oder Anwendungen integriert zu werden. Für GPAI sieht die KI-VO besondere (Transparenz-)Pflichten vor. Darüber hinaus sind GPAI in die oben genannten Risikoklassen einzuordnen, sodass je nach Risikoklasse weitere Pflichten gelten.

Gibt es eigene Risikoklassen für KI-Modelle mit allgemeinem Verwendungszweck?

Ja, die KI-VO unterscheidet zwischen KI-Modellen mit allgemeinem Verwendungszweck und KI-Modellen mit allgemeinem Verwendungszweck mit systemischem Risiko. Je nach Einstufung des Modells gelten unterschiedlich strenge Pflichten für dessen Anbieter und dessen Bevollmächtigten. Ausschlaggebend dafür, wann ein KI-Modell mit allgemeinem Verwendungszweck als mit einem systemischem Risiko behaftet gilt,  ist, ob das KI-Modell über sogenannte „Fähigkeiten mit hohem Wirkungsgrad“ verfügt.

Welche Fristen gelten?

Auch wenn die KI-VO bereits am 1. August 2024 in Kraft getreten ist, finden die einzelnen Anforderungen schrittweise Anwendung. Für die Praxis sind insbesondere die folgenden Fristen relevant:

Gibt es Ausnahmen oder Übergangsregelungen für Bestandssysteme?

Ja, für KI-Systeme und KI-Modelle mit allgemeinem Verwendungszweck, die vor Wirksamkeit der KI-VO bereits in Verkehr gebracht oder in Betrieb genommen wurden (sog. Bestandssysteme), sieht die KI-VO einzelne Ausnahmen oder Übergangsregelungen vor. Beispielsweise gilt die KI-VO für Hochrisiko-KI-Systeme, die bereits vor dem 2. August 2026 in Verkehr gebracht oder in Betrieb genommen wurden, nur, wenn sie nachträglich wesentlich verändert werden. Für KI-Modelle mit allgemeinem Verwendungszweck, die vor dem 2. August 2025 in Verkehr gebracht wurden, gilt eine Übergangsfrist bis zum 2. August 2027. Daneben sieht die KI-VO weitere Übergangsregelungen für bestimmte Arten von KI-Systemen bzw. -Modellen vor, wie z.B. für Komponenten bestimmter IT-Großsysteme. Keine Übergangsregelungen oder Ausnahmen gelten für die Vorschriften zu verbotenen KI-Praktiken. Diese sind seit 2. Februar 2025 allgemein verbindlich.

Was bedeuten „Inverkehrbringen“ und „Inbetriebnahme“?

Das „Inverkehrbringen“ ist kein neuer Rechtsbegriff. Er findet sich seit langem im Produktsicherheitsrecht und wird auch in anderen Rechtsakten wie der Medizinprodukte- oder der CRA verwendet. Zur näheren Bestimmung der Frage, wann ein Inverkehrbringen vorliegt, gibt es bereits eine gefestigte EuGH-Rechtsprechung. Diese kann auf die KI-VO übertragen werden. Danach ist ein Produkt in Verkehr gebracht, wenn es den vom Hersteller eingerichteten Prozess der Herstellung verlassen hat und in einen Prozess der Vermarktung eingetreten ist, in dem es in verbrauchs- oder gebrauchsfertigem Zustand der Öffentlichkeit angeboten wird. Eine „Inbetriebnahme“ liegt nach Art. 3 Nr. 11 KI-VO vor, wenn die Bereitstellung eines KI-Systems in der Union zum Erstgebrauch direkt an den Betreiber oder zum Eigengebrauch entsprechend seiner Zweckbestimmung erfolgt. KI-Modelle können für sich genommen nicht in Betrieb genommen werden.

Was ist der räumliche Anwendungsbereich der KI-VO?

Der räumliche Anwendungsbereich der KI-VO richtet sich nach dem sogenannten Marktortprinzip. Die Verordnung findet danach grundsätzlich Anwendung, sofern ein KI-System bzw. -Modell oder dessen Output in der Union in Verkehr gebracht bzw. verwendet wird. Ein Unternehmenssitz oder eine Niederlassung eines Unternehmens in der EU ist daher keine zwingende Voraussetzung.

Was ist der persönliche Anwendungsbereich der KI-VO?

Die KI-VO nimmt die gesamte KI-Wertschöpfungskette in den Blick. Das Feld der adressierten Akteure ist weit und umfasst neben den Anbietern und Betreibern auch Bevollmächtigte, Produkthersteller, Einführer und Händler von KI-Systemen sowie Anbieter von KI-Modellen mit allgemeinem Verwendungszweck und deren Bevollmächtigte. In bestimmten Situationen können Akteure mehr als eine Rolle gleichzeitig einnehmen und müssen daher alle relevanten Pflichten kumulativ erfüllen. Unternehmen müssen ihre Rolle sorgfältig prüfen, um die für sie geltenden Pflichten zu ermitteln. Nutzen Sie unseren kostenlosen Quick-Check für eine erste Einschätzung.

Anbieter
Die Anbieterpflichten bilden den Kern des Anforderungskatalogs der KI-VO. Als Anbieter gilt nach Art. 3 Nr. 3 KI-VO, wer das KI-System oder KI-Modell entwickelt oder entwickeln lässt und es unter dem eigenen Nehmen in Verkehr bringt oder in Betrieb nimmt. Aus den für Anbieter geltenden Verpflichtungen leiten sich abgestuft die Pflichten der weiteren Wirtschaftsakteure ab.

Betreiber
Als Betreiber gilt, wer ein KI-System in eigener Verantwortung verwendet. Die Pflichten, die die KI-VO den Betreibern eines KI-Systems auferlegt, sind im Vergleich zu denen der Anbieter reduziert.

Einführer
Als Einführer gelten in der Union ansässige natürliche oder juristische Personen, die ein KI-System, das den Namen einer in einem Drittland niedergelassenen natürlichen oder juristischen Person trägt, in Verkehr bringen. Sie treffen im Wesentlichen Kontrollpflichten in Bezug auf das importierte KI-System.

Händler
Als Händler gilt, wer ein KI-System auf dem Unionsmarkt bereitstellt. Ein KI-System gilt als bereitgestellt, wenn es im Rahmen einer Geschäftstätigkeit zum Vertrieb oder zur Verwendung auf dem Unionsmarkt abgegeben wird. Auch die Händler treffen im Wesentlichen Kontrollpflichten.

Quasi-Anbieter
Es besteht die Möglichkeit, einen bereits vorhandenen Anbieter in seiner Anbietereigenschaft abzulösen. Die Möglichkeiten eines solchen Adressatenwechsels sind konkret in Art. 25 KI-VO geregelt. Weiterentwicklungen durch Betreiber können eine wesentliche Änderung im Sinne des Art. 3 Nr. 23 KI-VO i.V.m. Art. 25 I lit. b KI-VO darstellen, wodurch der Wirtschaftsakteur selbst zum Anbieter wird.

In bestimmten Situationen können Akteure mehr als eine Rolle gleichzeitig einnehmen und müssen daher alle relevanten Pflichten kumulativ erfüllen. Ein mögliches Szenario ist beispielsweise, dass ein Konzernunternehmen eine KI von einem externen Anbieter erwirbt, diese KI aber einige Zeit später auch anderen Konzernunternehmen als eigene Lösung im eigenen Namen zur Verfügung stellt.

In räumlicher Hinsicht orientiert sich der Anwendungsbereich der KI-VO am sog. Marktortprinzip. Der Sitz oder die Niederlassung eines Unternehmens innerhalb der EU ist daher grundsätzlich keine Voraussetzung. Die KI-VO gilt für KI-Systeme, die auf dem EU-Markt bereitgestellt oder deren Output im EU-Binnenmarkt verwendet werden. Generative KI-Anwendungen, die zur Interaktion mit natürlichen Personen konzipiert wurden, unterfallen dem Anwendungsbereich der KI-VO, wenn sich die betroffenen Personen in der Union befinden.

Welche Pflichten gelten?

Die Pflichten, die von den Wirtschaftsakteuren zu erfüllen sind, richten sich sowohl nach der Risikoklassifizierung des KI-Systems als auch nach der Rolle des Akteurs. Grundsätzlich gilt dabei: Mit steigendem Risiko steigen auch die regulatorischen Anforderungen. Darüber hinaus enthält die KI-VO spezielle Vorgaben für KI-Modelle mit allgemeinem Verwendungszweck (GPAI), die zusätzlich zu den Anforderungen an KI-Systeme Anwendung finden können.

Was ist die Pflicht zur KI-Kompetenz?

Seit dem 2. Februar 2025 sind Betreiber und Anbieter von KI-Systemen dazu verpflichtet, eine ausreichende KI-Kompetenz in ihrer Organisation sicherzustellen. Gemäß Art. 4 KI-VO sind geeignete Maßnahmen zu ergreifen, um sicherzustellen, dass die Beschäftigten und Personen, die im Auftrag einer Organisation handeln, über ausreichende Kenntnisse bezüglich der Funktionsweise, Risiken, Grenzen sowie der rechtlichen und ethischen Implikationen von KI verfügen. Die Pflicht zur KI-Kompetenz gilt für alle KI-Systeme, unabhängig von deren Risikoklasse. Die KI-VO enthält für die konkrete Umsetzung keinen Maßnahmenkatalog. Gemäß dem risikobasierten Ansatz der KI müssen Unternehmen die Maßnahmen an dem konkreten Einsatz des spezifischen KI-Systems und der Nutzergruppen ausrichten. Als mögliche Maßnahmen sind die gängigen Compliance-Maßnahmen wie Schulungen, Richtlinien und Handreichungen oder Zertifizierungen zu nennen. Auch die Ernennung eines KI-Beauftragten kann eine solche Maßnahme sein. Zu beachten ist, dass KI-Kompetenz nach dem Stand der Technik und den aktuellen Entwicklungen gewährleistet sein muss. Es besteht somit eine Fortbildungspflicht, und die ergriffenen Maßnahmen sind fortlaufend zu überprüfen und bei Bedarf anzupassen.

Bezüglich der Schulungen sind die Umstände des Einzelfalls zu berücksichtigen. Grundsätzlich sind die Mitarbeitenden über die technischen Grundlagen und Besonderheiten, die Chancen und Risiken sowie die sozial-ethischen und rechtlichen Anforderungen im Zusammenhang mit KI zu schulen. Entsprechend dem risikobasierten Ansatz der KI-VO sind die Schulungsmaßnahmen an den Kontext und das vorhandene Wissen der Nutzenden anzupassen. In der Praxis sind die Maßnahmen daher je nach Nutzenden, Art der KI und deren Einsatzzweck unterschiedlich auszugestalten.

Welche Folgen drohen bei Verstößen?

Die Marktüberwachungsbehörden verfügen über weitreichende Untersuchungs‑, Abhilfe- und Sanktionsbefugnisse. Bei Verstößen drohen u.a. Produktwarnungen und empfindliche Bußgelder. Im Zusammenhang mit KI-Systemen können abhängig von der Art und Schwere des Verstoßes Bußgelder von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Vorjahresumsatzes verhängt werden. Verstöße gegen die Vorschriften zu KI-Modellen mit allgemeinem Verwendungszweck können mit Bußgeldern von bis zu 15 Millionen Euro oder 3 Prozent des weltweiten Vorjahresumsatzes geahndet werden. Neben behördlichen Maßnahmen können auch privatrechtliche Klagen von Betroffenen oder Wettbewerbern auf Schadensersatz sowie damit einhergehende Reputationsschäden drohen.

Was sollten Unternehmen beim Einsatz von KI beachten?

Bevor KI-Systeme im Unternehmen eingesetzt werden, ist eine Prüfung nach der KI-VO erforderlich. Dabei muss festgestellt werden,

– ob es sich um ein KI-System im Sinne der Verordnung handelt,

– welcher Risikoklasse es im konkreten Nutzungsszenario zuzuordnen ist,

– in welcher Rolle das Unternehmen agiert (z. B. als Anbieter oder Betreiber) und

– welche Pflichten daraus für das Unternehmen folgen.

Nutzen Sie unseren kostenlosen Quick-Check für eine erste Einschätzung.

Was sollten Unternehmen spezifisch beim Einsatz von KI-Tools wie ChatGPT oder Copilot beachten?

Zunächst ist eine Prüfung nach der KI-VO durchzuführen. Mit dieser Prüfung sollte begutachtet werden, ob ein KI-System i.S.d. der KI-VO vorliegt, in welche Risikoklasse das KI-System im konkreten Nutzungsszenario fällt und in welcher Rolle das Unternehmen tätig wird. Je nach Ergebnis der KI-Prüfung gelten unterschiedlich strenge Pflichten.

Tools wie ChatGPT oder Microsoft Copilot sind – abhängig vom konkreten Einsatzszenario – in der Regel als KI-Systeme mit begrenztem Risiko einzustufen. Beim Einsatz von KI-Tools wie ChatGPT oder Copilot ist in jedem Fall die allgemeine Pflicht zur KI-Kompetenz nach Art. 4 KI-VO zu beachten. Danach sind Maßnahmen zu treffen, die sicherstellen, dass die Beschäftigten über ausreichende Kenntnisse bezüglich der Funktionsweise, der Risiken, der Grenzen sowie der rechtlichen und ethischen Implikationen von KI-Systemen verfügen. Die Maßnahmen beziehen sich jedoch nicht nur auf technische Kompetenzen. Auch Kompetenzen in Bereichen wie Datenschutz und Cybersicherheit müssen gezielt geschult werden. Die Entwicklung interner Aus- und Weiterbildungsmaßnahmen sowie der Aufbau organisationsinterner KI-Governance-Strukturen sind daher wesentliche Schritte, um diesen Anforderungen gerecht zu werden. Diese Verpflichtung gilt für alle, die KI-Systeme entwickeln oder betreiben, unabhängig von der Risikoklassifizierung des KI-Systems. Dabei ist es unerheblich, ob die Nutzung des Hochrisiko-KI-Systems lokal auf dem eigenen Server oder Rechner erfolgt, ob auf das KI-System über eine Programmierschnittstelle (API) zugegriffen wird oder ob das KI-System in einer Webanwendung (wie bei ChatGPT) genutzt wird.

Zusätzlich enthält Art. 50 KI-VO spezifische Transparenzpflichten für synthetisch erzeugte Inhalte. Betreiber müssen klar und deutlich offenlegen, wenn es sich bei den erzeugten Inhalten um sogenannte Deepfakes handelt – das betrifft insbesondere Bild-, Ton- oder Videomaterial, das künstlich erzeugt oder verändert wurde. Ebenso müssen Betreiber offenlegen, wenn Texte mithilfe von KI generiert oder verändert wurden und diese Texte mit dem Ziel veröffentlicht werden, die Öffentlichkeit über Angelegenheiten von öffentlichem Interesse zu informieren. Unternehmen sollten daher entsprechende technische und organisatorische Maßnahmen treffen, um eine transparente Kennzeichnung sicherzustellen.

Ganzheitliche Compliance: Unternehmen sind verpflichtet, die Einhaltung der Vorgaben nachvollziehbar zu dokumentieren und fortlaufend zu überprüfen. Das gilt nicht nur für die Compliance nach der KI-VO. Daneben sind die weiteren Regelwerke zu beachten. Nach Art. 2 Abs. 7 KI-VO bleibt z.B. die Datenschutz-Grundverordnung (DSGVO) von der KI-VO unberührt. Darüber hinaus dürfen auch urheberrechtliche Fragestellungen sowie der Schutz von Geschäftsgeheimnissen nicht außer Acht gelassen werden. Auch die Cybersicherheits-Compliance ist sicherzustellen. Schließlich kann die Integration von KI-Tools in betriebliche Abläufe Mitbestimmungsrechte des Betriebsrats auslösen.

Welche Abteilungen im Unternehmen sollten sich wie mit der KI-VO befassen?

Die KI-VO hat weitreichende Auswirkungen auf die Geschäftsprozesse. Für die Entwicklung einer unternehmensweiten KI-Strategie ist ein interdisziplinärer Ansatz unerlässlich. Dies erfordert eine enge Zusammenarbeit – in der Regel – von Geschäftsführung, Rechtsabteilung, IT/OT, Einkauf, ggf. externen Experten sowie ggf. dem Betriebsrat.

Neben den neuen Anforderungen der KI-VO finden regelmäßig weitere Regelwerke Anwendung. Beim Einsatz von KI im Unternehmen stellen sich grundsätzlich auch Fragen im Bereich Datenschutz & Geschäftsgeheimnisschutz, Cybersicherheit, Arbeitsrecht und geistiges Eigentum. Letzteres betrifft u.a. Fragen zum geistigen Eigentum an Trainingsdaten sowie an Input- und Output-Daten. Auch der Schutz von Geschäftsgeheimnissen spielt beim Einsatz von KI im Unternehmen eine bedeutende Rolle. Darüber hinaus kann die Nutzung von KI Mitbestimmungsrechte des Betriebsrats auslösen.

Es bedarf daher eines ganzheitlichen und interdisziplinären Ansatzes zur Gewährleistung der KI-Compliance im Unternehmen. Die bereichsübergreifende Zusammenarbeit muss durch klare Verantwortlichkeiten, transparente Entscheidungswege und ein effektives Projektmanagement unterstützt werden, um die Anforderungen der KI-VO effizient, konsistent und revisionssicher umzusetzen.

Was sollten Unternehmen jetzt tun?

Vor dem Hintergrund der vielfältigen Anforderungen sollten Unternehmen prüfen, ob ihre Produkte oder Systeme von der KI-VO betroffen sind und klären, welche Rolle sie in der Wertschöpfungskette einnehmen. Dies können Sie einfach und schnell mit unserem Quick-Check erledigen. In einer Gap-Analyse ist dann zu prüfen, welche Anforderungen in Bezug auf das Produkt oder System bereits erfüllt sind und was noch umgesetzt werden muss. Darüber hinaus ist es ratsam, die Verträge mit Lieferanten zu überprüfen und an die neuen Vorgaben anzupassen.

Wie kann ein Unternehmen langfristig die KI-Compliance sicherstellen?

KI-Compliance ist ein Prozess, der einer fortlaufenden Überprüfung und Anpassung bedarf. Grundsätzlich sind die folgende 4 Schritte zur KI-Compliance zu empfehlen:

  1. Prüfung der Betroffenheit
  2. Ermittlung der konkreten Anforderungen
  3. Gap-Analyse und Umsetzung
  4. Monitoring der internen Prozesse, der KI-Systeme und der Rechtslage

Um die KI-Compliance im Unternehmen zu gewährleisten, ist in der Regel ein Maßnahmenbündel erforderlich. Welche Maßnahmen in welchem Umfang zu ergreifen sind, richtet sich nach den konkreten Umständen des Einzelfalls, beispielsweise nach dem KI-System, der konkreten Nutzung und den Nutzergruppen. Als Maßnahmen zur KI-Compliance kommen unter anderem die folgenden in Betracht:

Strategie & Governance

  • Bestandsaufnahme aller eingesetzten KI-Systeme inkl. Risikobewertung
  • Entwicklung einer unternehmensweiten KI-Strategie
  • Festlegung interner Richtlinien zur Einhaltung gesetzlicher Pflichten
  • Definition von Verantwortlichkeiten
  • Einrichtung eines KI-Review-Boards zur Bewertung und Freigabe von KI-Einsätzen

Regelungs- & Rechtsrahmen

  • Ermittlung relevanter Vorschriften (z.B.  KI-VO, DSGVO, Cybersicherheit)
  • Vertragsmanagement: Prüfung und Bewertung von Verträgen und Nutzungsbedingungen (insbesondere in der Lieferkette)

Technischer & organisatorischer Umgang mit KI

  • Etablierung eines Prozesses zur Einführung neuer KI-Systeme
  • Ergreifen von erforderlichen technischen und organisatorischen Maßnahmen
  • Monitoring der eigenen Prozesse, der genutzten KI-Anwendungen sowie der Rechtslage

Mensch im System

  • Schulung und Sensibilisierung der Beschäftigten zur sicheren und verantwortungsvollen Nutzung von KI

Ein weiterer wesentlicher Baustein der KI-Compliance ist neben der Etablierung einer KI-Strategie ein vorausschauendes Risikomanagement. Dessen Notwendigkeit ergibt sich nicht nur aus den gesetzlichen Anforderungen, sondern auch aus der unternehmerischen Verantwortung, sichere und zuverlässige KI-Systeme bereitzustellen. Dementsprechend bietet sich die Einrichtung eines Risikomanagementsystems auch für KI-Systeme an, die zwar nicht als Hochrisikosysteme im Sinne des KI-Gesetzes eingestuft werden, aber dennoch erhebliche Risiken bergen können oder besonders geschäftskritisch sind. Oftmals sind bestehende Risikomanagementprozesse nicht ausreichend und müssen gezielt erweitert sowie an technologische, betriebliche, rechtliche, regulatorische und ethische Risiken angepasst werden.

Aufgrund der zunehmenden Komplexität technischer und rechtlicher Anforderungen empfiehlt sich eine möglichst frühzeitige Integration einer zentralen KI-Governance. Diese fungiert sowohl als Kontrollinstanz als auch als internes Kompetenzzentrum. Nach der Implementierung von KI-Prozessen sind klare interne Richtlinien entscheidend, um die Compliance langfristig sicherzustellen. Ohne diese besteht die Gefahr, unbewusst gegen gesetzliche Vorgaben zu verstoßen, was erhebliche rechtliche, finanzielle und Reputationsschäden nach sich ziehen kann.