Neue Verordnung (EU) über Künstliche Intelligenz 2024/1689

Immer mehr Maschinen, Anlagen oder elektrische Geräte nutzen selbstlernende Algorithmen, um den Kunden- bzw. Anwendernutzen zu erhöhen. In Bezug auf die Produktsicherheit stellt dies ein Novum dar. Das Verhalten von Produkten weist nun nicht mehr zwangsläufig einen bestimmten Funktionsumfang zum Zeitpunkt des Inverkehrbringens auf. Dieser kann sich aufgrund der selbstlernenden Softwarekomponenten entsprechend verändern oder erweitern.

Um diesen Herausforderungen zu begegnen hat die EU-Kommission einen Gesetzesvorschlag für ein europäisch gesteuertes Konzept zu künstlicher Intelligenz (KI) vorgelegt. Dieser Gesetzesrahmen fördert die Nutzung von KI und versucht gleichzeitig die Risiken zu berücksichtigen, welche im Zusammenhang mit künstlicher Intelligenz entstehen können. Am Ende dieser Initiative soll eine Verordnung mit harmonisierten Vorschriften stehen, welche die Entwicklung, das Inverkehrbringen sowie die Anwendung solcher KI-Systeme in der EU regelt.

„Bei künstlicher Intelligenz ist Vertrauen ein Muss und kein Beiwerk. Mit diesen wegweisenden Vorschriften steht die EU an vorderster Front bei der Entwicklung neuer weltweiter Normen, die sicherstellen sollen, dass KI vertrauenswürdig ist.“ Mit diesen Worten fasst Exekutiv-Vizepräsidentin Margrethe Vestager das Vorhaben zusammen.

Link und Zeitpunkte

• Am 9.12.2023 erzielten das Europäische Parlament und der Rat eine politische Einigung über den "Artificial Intelligence Act" (AI Act).
• Am 13.3.2024 stimmte das EU-Parlament mit großer Mehrheit für den im Dezember 2023 ausgehandelten Kompromisstext.
• Am 21. Mai 2024 hat der Rat für Verkehr, Telekommunikation und Energie den Kompromisstext  zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (KI-Verordnung) formell gebilligt.
• Die neue KI-Verordnung sollte ursprünglich als Ergänzung zur neuen Maschinenverordnung (EU) 2023/1230 dienen. Letztere wurde jedoch bereits früher, am 29.6.2023, veröffentlicht.
• Am 12.7.2024 wurde die neue Verordnung (EU) 2024/1689 zur Festlegung harmonisierter Vorschriften für künstliche Intelligenz im EU-Amtsblatt veröffentlicht.
• Sie gilt – mit einigen Außnahmen – unmittelbar in jedem EU-Mitgliedsstaat ab 2.8.2026.
  
   

Inhalte der Verordnung (Auswahl)
 

Hintergrund: Regulierungsbedarf für Künstliche Intelligenz

Gerade in den letzten Jahren haben KI-Systeme eine rasante technische Entwicklung erfahren. Hier sieht die EU-Kommission Handlungsbedarf zu einer abgestimmten, europäischen Regulierung, um den Herausforderungen von KI-Systemen entgegenzutreten. Das Ziel ist ein gemeinsamer europäischer Rechtsrahmen, welcher sowohl positive Aspekte als auch Risiken solcher Systeme berücksichtigt. Dadurch wird versucht sowohl Grundrechte als auch Anwender zu schützen und eine legale Basis in die sich rasch weiterentwickelnde KI zu schaffen.
 

Risikoeinstufungen

Mit der neuen Verordnung verfolgt der Gesetzgeber einen risikobasierten Ansatz. Dieser besagt, dass „Art und Inhalt solcher Vorschriften auf die Intensität und den Umfang der Risiken zugeschnitten werden, die von KI-Systemen ausgehen können“. Dies bedeutet, dass KI-Systeme, die ein inakzeptables Risiko für die Sicherheit von Menschen darstellen, verboten sind. Dazu gehören Systeme, die unterschwellige oder absichtlich manipulative Techniken einsetzen, die Schwachstellen von Menschen ausnutzen oder für Social Scoring (Klassifizierung von Menschen auf der Grundlage ihres Sozialverhaltens, ihres sozioökonomischen Status oder persönlicher Merkmale) verwendet werden.

Die Vorschrift der Kommission sieht eine Einstufung solcher Risiken in 4 Stufen vor. Diese decken anhand von Anwendungsfällen die Schwere der potentiell auftretenden Risiken:

• Minimales Risiko
• Hohes Risiko
• Unannehmbares Risiko
• Spezifisches Transparenzrisiko

KI-Systeme mit unannehmbarem Risiko werden somit verboten, da sie eine Sicherheitsbedrohung für Anwender darstellen. Besteht für ein System ein hohes Risiko, so müssen strenge Auflagen erfüllt werden bevor es auf dem Markt zugelassen wird. Für ein geringes Risiko weist die Verordnung lediglich auf mögliche Gefahren hin, bei einem minimalen Risiko soll in die freie Anwendung solcher Systeme möglichst kein Eingriff erfolgen. Beim spezifischen Transparenzrisiko müssen Nutzer informiert werden, wenn biometrische Kategorisierungs- oder Emotionserkennungssysteme verwendet werden. 
 

Hochriskante KI

Im neuen Kompromissvorschlag vom Mai 2023 haben die EU-Abgeordneten die Klassifizierung der Hochrisikobereiche um die Gefährdung der Gesundheit, der Sicherheit, der Grundrechte oder der Umwelt erweitert. Sie fügten auch KI-Systeme zur Beeinflussung von Wählern in politischen Kampagnen und in Empfehlungssystemen, die von Social-Media-Plattformen (mit mehr als 45 Millionen Nutzern gemäß dem Gesetz über digitale Dienste) verwendet werden, der Liste der Hochrisikobereiche hinzu.
 

Geldbußen

Unternehmen, die sich nicht an die Vorschriften halten, müssen mit Geldstrafen rechnen. Die Bußgelder betragen 35 Mio. EUR oder 7 % des weltweiten Jahresumsatzes (je nachdem, welcher Betrag höher ist) für Verstöße gegen verbotene KI-Anwendungen, 15 Mio. EUR oder 3 % für Verstöße gegen andere Verpflichtungen und 7,5 Mio. EUR oder 1 % für die Angabe falscher Informationen. Für KMU und Start-ups sind bei Verstößen gegen das KI-Gesetz verhältnismäßigere Obergrenzen für Bußgelder vorgesehen.
 

KI für allgemeine Zwecke

Mit dem KI-Gesetz werden spezielle Regeln für KI-Modelle für allgemeine Zwecke eingeführt, die die Transparenz entlang der Wertschöpfungskette sicherstellen sollen. Für sehr leistungsfähige Modelle, die systemische Risiken darstellen könnten, wird es zusätzliche verbindliche Verpflichtungen in Bezug auf das Risikomanagement und die Überwachung schwerwiegender Vorfälle geben. Diese neuen Verpflichtungen werden durch Verhaltenskodizes operationalisiert, die von der Industrie, der Wissenschaft, der Zivilgesellschaft und anderen Interessengruppen zusammen mit der Kommission entwickelt werden.
 

Normungsauftrag für harmonisierte Normen zum AI Act

Die Verordnung sieht für harmonisierte Normen eine Schlüsselrolle in der Einhaltung der Bestimmungen der KI-Verordnung vor. Nach Artikel 40 (1) sollen speziell für Hochrisiko-Systeme oder KI-Modelle mit allgemeinem Verwendungszweck harmonisierte Normen erarbeitet werden, die in weiterer Folge als Fundstellen im EU-Amtsblatt veröffentlicht werden. Am 23.6.2025 wurde der Normungsauftrag vonseiten der EU-Kommission an die Normungsorganisationen CEN und CENELEC veröffentlicht. In diesem Dokument werden bereits Details für künftige solcher technischen Standards zur EU-weiten Gewährleistung von Sicherheit, Transparenz und Grundrechtsschutz im Zusammenhang mit der Anwendung des AI Acts kommuniziert. 

In Bezug auf das Anforderungsprofil müssen harmonisierte Normen demnach folgende technischen Aspekte erfüllen: 

• Risikomanagementsysteme für KI (Artikel 9 AI Act).
• Datenqualität und Governance (Artikel 10).
• Logging- und Dokumentationspflichten (Artikel 12).
• Transparenz- und Informationspflichten für Nutzer (Artikel 13).
• Human Oversight (menschliche Kontrolle von KI) (Artikel 14).
• Genauigkeit, Robustheit und Cybersicherheit definieren (Artikel 15).
• Qualitätsmanagement und Konformitätsbewertung (Artikel 17).

Den Volltext des Normungsauftrags (bisher nur in Englisch erhältlich) für den AI Act können Sie über folgenden Link öffnen und herunterladen: 

Normungsauftrag der Kommission für den AI Act

Hauptverantwortlich für die Erstellung der harmonisierten Normen ist das Technische Komitee CEN/CLC JTC 21 "Artificial Intelligence" und seine Untergruppen unter der Leitung von Danish Standards. Der Zeitplan für die Erstellung der harmonisierten Normen sieht folgenden groben Rahmen vor:

• August 2025: Veröffentlichung erster Normentwürfe (prENs)
• August 2026: Veröffentlichung der finalen Normenausgaben durch CEN/CENELEC, anschließend Umsetzung als nationale Standards

Bisher veröffentlichte europäische Normen – welche voraussichtlich auch bei der Erfüllung der Anforderungen des AI Acts Verwendung finden dürften – sind folgende Dokumente:

• EN ISO/IEC 23894:2024 – Informationstechnik - Künstliche Intelligenz - Leitlinien für Risikomanagement
• EN ISO/IEC 22989:2023 – Informationstechnik - Künstliche Intelligenz - Konzepte und Terminologie der Künstlichen Intelligenz
• CEN/CLC ISO/IEC/TR 24027:2023 – Künstliche Intelligenz (KI) - Bias in KI-Systemen und KI-gestützter Entscheidungsfindung
• EN ISO/IEC 8183:2024 – Informationstechnologie - Künstliche Intelligenz - Rahmenwerk für den Datenlebenszyklus
• EN ISO/IEC 12792 – Informationstechnologie - Künstliche Intelligenz - Transparenz-Taxonomie von KI‑Systemen
• ISO/IEC TS 6254 - Objectives and approaches for explainability of ML models and AI systems
• ISO/IEC TS 8200 - Controllability of automated artificial intelligence systems
• ETSI TS 104 223 - Securing Artificial Intelligence (SAI); Baseline Cyber Security Requirements for AI Models and Systems

Künstliche Intelligenz im Maschinenbau

In der neuen Maschinenverordnung (EU) 2023/1230 wird das Thema künstliche Intelligenz als "neue Herausforderung in Bezug auf die Produktsicherheit" (siehe Erwägungsgrund 12) aufgeführt. Im späteren Verlauf (Anhang III, Teil B, "Allgemeine Grundsätze" (1) wird der Begriff KI wie folgt umschrieben: […] "Die Risikobeurteilung und Risikominderung umfassen Gefährdungen, die im Laufe des Lebenszyklus der Maschinen […] auftreten können und die zum Zeitpunkt ihres Inverkehrbringens vorhersehbar sind, da sie sich aus der bestimmungsgemäßen Veränderung ihres vollständig oder teilweise selbstentwickelnden Verhaltens oder ihrer vollständig oder teilweise selbstentwickelnden Logik infolge der Auslegung der Maschinen […] für einen in wechselndem Maße autonomen Betrieb ergeben […] 

Bereits aus dem ersten Entwurf des AI Act ging hervor, dass sich die KI-Verordnung und die Maschinenverordnung gegenseitig ergänzen sollen. Die KI-Verordnung deckt vorrangig von KI-Systemen ausgehende Sicherheitsrisiken ab, welche Sicherheitsfunktionen einer Maschine steuern. Als Ergänzung dazu soll die Maschinenverordnung die Integration des KI-Systems in die Gesamtmaschine sicherstellen, um so die Maschinensicherheit als Ganzes nicht zu gefährden. Zudem betont die Kommission, dass Hersteller für beide Verordnungen nur eine Konformitätsbewertung durchführen müssen.
 

Diskussionen der Expert Group on Machinery und geplanter Leitfaden

Die "Expert Group on Machinery" der EU-Kommission hat zudem die Wechselwirkung des AI Act mit der nuen Maschinenverordnung in einem ihrer Meetings diskutiert. Schwerpunkt war dabei die Einstufung von Maschinen als "Hochrisiko-KI-Systeme" nach Artikel 6 des AI Act. Hier kommen die Experten zu dem Schluss, dass KI-Bestandteile von Maschinen nur dann als Hochrisiko-Systeme einzustufen sind, wenn sie gemäß Anhang I (Teil A) der MVO einer obligatorischen Zertifizierung durch Dritte unterliegen, basierend auf den Wortlauten der Abschnitte 5. und 6. (Sicherheitsbauteile bzw. Maschinen mit vollständig oder teilweise selbstentwickelndem Verhalten). 

Ein weiteres Diskussionsthema war die Begrifflichkeit "selbstentwickelndes Verhalten" in der MVO. Hier geht es darum, ob Aktionen bzw. Reaktionen einer Maschine vorhersehbar sind oder nicht, in letzterem Fall  sollte sie als KI-gestützte Sicherheitsfunktion betrachtet werden. Sofern die KI keine Sicherheitsfunktion ist, so würde sie auch nicht in den Anwendungsbereich der MVO fallen.

Da in diesem Bereich jedoch noch zahlreiche Fragen offen sind, soll es vonseiten der EU-Kommission bis Februar 2026 einen horizontal einheitlichen Leitfaden geben, welcher das Zusammenspiel der beiden Rechtsakte im Detail erläutert.¹
 

Normen und Spezifikationen zu KI im Maschinenbau

Einen Ansatz, die Grenzen maschinellen Lernens in eine Maschine zu integrieren, verfolgt ISO/TR 22100-5:2021-01 „Safety of machinery - Relationship with ISO 12100 - Part 5: Implications of artificial intelligence machine learning“. Inhalte dieses technischen Berichts finden sich auch im Normentwurf zur neuen EN ISO 12100 wieder, welche im Abschnitt "Risikobeurteilung" auf unbeabsichtigtes, sich selbst entwickelndes Verhalten von KI eingeht.

Der Technische Bericht ISO/IEC TR 5469:2024 „Artificial intelligence – Functional safety and AI systems“ stellt erstmals Grundlagen für die Entwicklung und Kontrolle von KI-basierten sicherheitsrelevanten Funktionen auf.
Darin werden die Eigenschaften, die damit verbundenen Risikofaktoren, die verfügbaren Methoden und Verfahren der Verwendung von KI innerhalb einer sicherheitsrelevanten Funktion zur Realisierung der Funktionalität beschrieben. Außerdem beschreibt das Dokument die Verwendung von KI-Systemen zur Gestaltung und Entwicklung sicherheitsrelevanter Funktionen. 

Ausblick

Am 12.7.2024 wurde die Verordnung im EU-Amtsblatt veröffentlicht und trat 20 Tage später – am 1.8.2024 – in Kraft. Verbindlich anzuwenden sein wird sie 2 Jahre nach Veröffentlichung am 2.8.2026, wobei es für einzelne Bestimmungen Ausnahmen geben wird: 

• Verbotene Praktiken im KI-Bereich nach Artikel 5 der Verordnung (z.B. Emotionserkennung und Social Scoring) ab 2.2.2025
• KI-Modelle mit allgemeinem Verwendungszweck (für Governance und Sanktionen) ab 2.8.2025
• Bestimmte Hochrisiko-Systeme nach Arikel 6 (1) ab 2.8.2027

Eine detaillierte Übersicht über die verschiedenen Zeitpunkte der Implementierung finden Sie auf der timeline zum artificial intelligence act.
 

Fazit

• Die Nutzung von KI-Systemen in Steuerungen hat zugenommen, weshalb der Gesetzgeber hier einen Handlungsbedarf zu einer Regulierung dieser Nutzung erkannt hat.
• Hersteller, die KI-Systeme bereits nutzen oder dies planen, sollten sich am besten frühzeitig mit den regulativen Anforderungen auseinandersetzen. So können sie nachträgliche Anpassungen der Systeme vermeiden und reduzieren.
• Über unseren kostenlosen CE-InfoService informieren wir Sie, sobald uns neue Erkenntnisse zur neuen Verordnung über Künstliche Intelligenz vorliegen. Melden Sie sich direkt an und verpassen Sie keine wichtigen Updates!

• Die Durchführungsverordnung (EU) 2025/454 legt die Bestimmungen für die Einrichtung und Arbeitsweise eines wissenschaftlichen Gremiums unabhängiger Sachverständiger im Bereich der Künstlichen Intelligenz fest, das die Durchsetzung der KI-Verordnung (EU) 2024/1689 unterstützen soll.
• Die FAQ-Seite "KI-Kompetenz" der EU-Kommission erläutert die Anforderungen des AI Act an „AI Literacy“ gemäß Artikel 4, wonach Unternehmen sicherstellen müssen, dass alle mit KI-Systemen befassten Personen – intern wie extern – über ausreichende KI-Kompetenz verfügen.
• Auf der FAQ-Seite "KI-Modelle für allgemeine Zwecke" werden Vorgaben des AI Act für Anbieter von KI-Modellen für allgemeine Zwecke erläutert, darunter Anforderungen an technische Dokumentation, Urheberrechtskonformität, Transparenz über Trainingsdaten und den Umgang mit systemischen Risiken.

Verfasst am: 03.07.2025 (Letzte Aktualisierung)