Gesetz über künstliche Intelligenz: Rechtsrahmenvorschlag der EU-Kommission (2021)

Hinweise und Materialien zur medienpädagogischen Thematisierung

Im April 2021 legte die EU-Kommission nach einem umfangreichen Entwicklungs- und Abstimmungsprozess (s.u.) ihren Vorschlag für eine Verordnung zur Festlegung harmonisierter Vorschriften über künstliche Intelligenz (Gesetz über künstliche Intelligenz - Artificial Intelligence Act) vor. Er wird flankiert durch die aktualisierten Kooperationsabsprachen mit den Mitgliedsstaaten im Coordinated Plan on Artificial Intelligence 2021 Review und die aktualisierte “Maschinenrichtlinie“ (Proposal for a Regulation of the European Parliament and of the Council on machinery products) zur Anpassung von Sicherheitsvorschriften.

Wenn die Vorschläge der Kommission vom Europäischen Parlament und vom Ministerrat angenommen werden, werden sie in der gesamten EU gelten – (Ordentliches Gesetzgebungsverfahren) .

Der Artificial Intelligence Act steht auf der gemeinsamen Prioritätenliste für 2021. Im verantwortlichen Ausschuss des Europäischen Parlaments wurde bereits der Berichterstatter ernannt.

Eine gut verständliche erste Übersicht über den Gesetzentwurf bieten der Text Neue Vorschriften für künstliche Intelligenz – Fragen und Antworten und die folgenden Auszüge aus der mit positiven Wertungen versehenen Pressemitteilung der EU Kommission:

Das europäische Konzept für vertrauenswürdige KI

Die neuen Vorschriften werden auf einer zukunftssicheren Definition der KI beruhen und in allen Mitgliedstaaten direkt und in gleicher Weise Anwendung finden. Sie folgen einem risikobasierten Ansatz:

Unannehmbares Risiko: KI-Systeme, die als klare Bedrohung für die Sicherheit, die Lebensgrundlagen und die Rechte der Menschen gelten, werden verboten. Dazu gehören KI-Systeme oder -Anwendungen, die menschliches Verhalten manipulieren, um den freien Willen der Nutzer zu umgehen (z. B. Spielzeug mit Sprachassistent, das Minderjährige zu gefährlichem Verhalten ermuntert), sowie Systeme, die den Behörden eine Bewertung des sozialen Verhaltens (Social Scoring) ermöglichen.

Hohes Risiko: KI-Systeme, bei denen ein hohes Risiko besteht, wenn KI-Technik in folgenden Bereichen eingesetzt wird:

  • kritische Infrastrukturen (z. B. im Verkehr), in denen das Leben und die Gesundheit der Bürger gefährdet werden könnten;
  • Schul- oder Berufsausbildung , wenn der Zugang einer Person zur Bildung und zum Berufsleben beeinträchtigt werden könnte (z. B. Bewertung von Prüfungen);
  • Sicherheitskomponenten von Produkten (z. B. eine KI-Anwendung für die roboterassistierte Chirurgie);
  • Beschäftigung, Personalmanagement und Zugang zu selbstständiger Tätigkeit (z. B. Software zur Auswertung von Lebensläufen für Einstellungsverfahren);
  • wichtige private und öffentliche Dienstleistungen (z. B. Bewertung der Kreditwürdigkeit, wodurch Bürgern die Möglichkeit verwehrt wird, ein Darlehen zu erhalten);
  • Strafverfolgung , die in die Grundrechte der Menschen eingreifen könnte (z. B. Bewertung der Verlässlichkeit von Beweismitteln);
  • Migration, Asyl und Grenzkontrolle (z. B. Überprüfung der Echtheit von Reisedokumenten);
  • Rechtspflege und demokratische Prozesse (z. B. Anwendung der Rechtsvorschriften auf konkrete Sachverhalte).

Für KI-Systeme mit hohem Risiko werden strenge Vorgaben gelten, die erfüllt sein müssen, bevor sie auf den Markt gebracht werden dürfen:

  • Angemessene Risikobewertungs- und Risikominderungssysteme;
  • hohe Qualität der Datensätze , die in das System eingespeist werden, um Risiken und diskriminierende Ergebnisse so gering wie möglich zu halten;
  • Protokollierung der Vorgänge, um die Rückverfolgbarkeit von Ergebnissen zu ermöglichen ;
  • ausführliche Dokumentation mit allen erforderlichen Informationen über das System und seinen Zweck, damit die Behörden seine Konformität beurteilen können;
  • klare und angemessene Informationen für die Nutzer;
  • angemessene menschliche Aufsicht zur Minimierung der Risiken;
  • hohes Maß an Robustheit, Sicherheit und Genauigkeit.

Insbesondere alle Arten biometrischer Fernidentifizierungssysteme bergen ein hohes Risiko und unterliegen strengen Anforderungen. Ihre Echtzeit-Nutzung im öffentlichen Raum zu Strafverfolgungszwecken wird grundsätzlich verboten. Eng abgesteckte Ausnahmen werden strikt definiert und geregelt (z. B. wenn sie unbedingt erforderlich sind, um ein vermisstes Kind zu suchen, um eine konkrete und unmittelbare terroristische Bedrohung abzuwenden oder um Täter bzw. Verdächtige schwerer Straftaten zu erkennen, aufzuspüren, zu identifizieren oder zu verfolgen). Eine solche Nutzung bedarf der Genehmigung einer Justizbehörde oder einer anderen unabhängigen Stelle und unterliegt angemessenen Beschränkungen in Bezug auf die zeitliche und geografische Geltung und die abgefragten Datenbanken.

Geringes Risiko , d. h. KI-Systeme, für die besondere Transparenzverpflichtungen gelten: Beim Umgang mit KI-Systemen wie Chatbots sollte den Nutzern bewusst sein, dass sie es mit einer Maschine zu tun haben, damit sie in voller Kenntnis der Sachlage entscheiden können, ob sie die Anwendung weiter nutzen wollen oder nicht.

Minimales Risiko: Der Legislativvorschlag soll die freie Nutzung von Anwendungen wie KI-gestützten Videospielen oder Spamfiltern ermöglichen. Die große Mehrheit der KI-Systeme fällt in diese Kategorie. Der Verordnungsentwurf soll hier nicht eingreifen, denn diese KI-Systeme stellen nur ein minimales oder kein Risiko für die Bürgerrechte oder die Sicherheit dar.

Bezüglich der KI-Governance schlägt die Kommission vor, dass die Anwendung der neuen Vorschriften von den zuständigen nationalen Marktüberwachungsbehörden beaufsichtigt werden soll. Ferner wird ein Europäischer Ausschuss für künstliche Intelligenz eingerichtet werden, der die Umsetzung begleiten und die Ausarbeitung von Normen auf dem Gebiet der KI vorantreiben soll. Darüber hinaus werden freiwillige Verhaltenskodizes für KI-Anwendungen, die kein hohes Risiko darstellen, und regulatorische “Sandkästen“ vorgeschlagen, um verantwortungsvolle Innovationen zu erleichtern.

Weitere Informationen:

Neue Vorschriften für künstliche Intelligenz – Fragen und Antworten

Neue Vorschriften für künstliche Intelligenz – Faktenseite

Mitteilung zur Förderung eines europäischen Konzepts für künstliche Intelligenz

Verordnung über ein europäisches Konzept für künstliche Intelligenz

Neuer koordinierter Plan für künstliche Intelligenz

Verordnung über Maschinenprodukte

Von der EU geförderte KI-Projekte

Quelle: Für vertrauenswürdige Künstliche Intelligenz: EU-Kommission legt weltweit ersten Rechtsrahmen vor, PM vom 21.4.2021

Ergänzungen:

Die Durchsetzung der Vorschriften des Rechtsrahmens soll von nationalen Behörden in den EU-Staaten erfolgen. Hierfür sind in Artikel 71 Sanktionen beschrieben. Bei Missachtung des Verbots der in Artikel 5 genannten KI-Praktiken und bei Nichtkonformität eines Hochrisiko-KI-Systems mit den in Artikel 10 festgelegten Anforderungen an solche Systeme können z.B. Geldbußen von bis zu 30 Millionen € oder 6 % des weltweiten Jahresumsatzes verhängt werden.

Die Nutzung von KI-Systemen für militärische Zwecke, beispielsweise für “Lethal Autonomous Weapon Systems” wird von der Kommission nicht thematisiert!

Hinweise und Materialien zum Hintergrund

Die EU Kommission veröffentlichte im April 2018 ihre Mitteilung Künstliche Intelligenz für Europa. Ausgangspunkt ihrer Argumentation bildete die durch spekulative, im Konjunktiv formulierte Vorhersagen der Unternehmens- und Strategieberatungsgesellschaften McKinsey (Disruptive technologies: Advances that will transform life, business, and the global economy, 2013) und Accenture 2016 begründete These “Die ökonomischen Auswirkungen der Automatisierung wissensgestützter Arbeit sowie der Nutzung von Robotern und autonomen Fahrzeugen könnten bis 2025 insgesamt 6,5 Bio. bis 12 Bio. EUR pro Jahr erreichen.“ (Anmerkung 2)
Sie nennt hier als Ziele einer europäische KI-Initiative:

  • “Förderung der technologischen und industriellen Leistungsfähigkeit der EU sowie der Verbreitung von KI in der gesamten Wirtschaft“
  • “Vorbereitung auf die mit KI verbundenen sozioökonomischen Veränderungen“
  • “Gewährleistung eines geeigneten ethischen und rechtlichen Rahmens, der auf den Werten der Union basiert und mit der Charta der Grundrechte der EU im Einklang steht.“

Zur Fundierung berief die EU-Kommission eine Arbeitsgruppe aus 52 Experten/innen aus Wissenschaft, Wirtschaft und Zivilgesellschaft, die High-Level Expert Group on AI (AI HLEG). Diese stellte im Dezember 2018 ihren Entwurf der Ethik-Leitlinien für eine vertrauenswürdige KI vor.

Nach Einarbeitung zahlreicher Stellungnahmen aus der “Konsultation der Interessenträger im Rahmen der Europäischen KI-Allianz“ wurde die Endfassung der Ethik-Leitlinien für eine vertrauenswürdige KI im April 2019 veröffentlicht.

Vertrauenswürdige KI sollte aus Sicht der AI HLEG

  • gesetzeskonform - unter Beachtung aller geltenden Gesetze und Vorschriften
  • ethisch - unter Beachtung ethischer Grundsätze und Werte
  • zuverlässig - sowohl aus technischer Sicht als auch unter Berücksichtigung ihres sozialen Umfelds

sein.

Ausgehend von den Grundrechten, wie sie u.a. in der EU-Grundrechtecharta festgelegt sind, definierte die AI HLEG vier als Imperative formulierte ethische Grundsätze, die “beachtet werden müssen, um die Entwicklung, Einführung und Nutzung von KI-Systemen auf vertrauenswürdige Art und Weise zu gewährleisten“ (S. 14):

  • Achtung der menschlichen Autonomie
  • Schadensverhütung
  • Fairness
  • Erklärbarkeit

Für die Entwicklung einer gesetzeskonformen, ethischen und robusten KI werden In den Leitlinien sieben Prinzipien ausgeführt:

  1. “Vorrang menschlichen Handelns und menschliche Aufsicht - z.B. Grundrechte, Vorrang menschlichen Handelns und menschliche Aufsicht
  2. Technische Robustheit und Sicherheit - z.B. Widerstandsfähigkeit gegen Angriffe und Sicherheitsverletzungen, Auffangplan und allgemeine Sicherheit, Präzision, Zuverlässigkeit und Reproduzierbarkeit
  3. Schutz der Privatsphäre und Datenqualitätsmanagement - z.B.Achtung der Privatsphäre, Qualität und Integrität der Daten sowie Datenzugriff
  4. Transparenzz.B. Nachverfolgbarkeit, Erklärbarkeit und Kommunikation Vielfalt, Nichtdiskriminierung und Fairness - z.B. Vermeidung unfairer Verzerrungen, Zugänglichkeit und universeller Entwurf sowie Beteiligung der Interessenträger
  5. Gesellschaftliches und ökologisches Wohlergehen - z.B. Nachhaltigkeit und Umweltschutz, soziale Auswirkungen, Gesellschaft und Demokratie
  6. Rechenschaftspflicht - z.B. Nachprüfbarkeit, Minimierung und Meldung von negativen Auswirkungen, Kompromisse und Rechtsbehelfe“(S. 17 f)

Alle sieben Anforderungen “sind in Bezug auf ihre Bedeutung gleichrangig, unterstützen sich gegenseitig und sollten während des gesamten Lebenszyklus eines KI-Systems umgesetzt und bewertet werden“ (S. 18).

Auf dieser Basis publizierte die AI HLEG zusätzlich eine vorab erprobte Assessment List for Trustworthy AI (ALTAI), die Unternehmen helfen soll, die Vertrauenswürdigkeit ihrer in der Entwicklung befindlichen KI-Systeme selbst einzuschätzen.

Der Philosophieprofessor Thomas Metzinger, selber Mitglied der Expertengruppe, kritisierte öffentlich “die extreme Industrielastigkeit der Gruppe“ und einige deshalb “lauwarm, kurzsichtig und vorsätzlich vage“ formulierte Ergebnisse. Er betonte:

“Die Geschichte von der Trustworthy AI ist eine von der Industrie erdachte Marketing-Narrative, eine Gute-Nacht-Geschichte für die Kunden von morgen. In Wirklichkeit geht es darum, Zukunftsmärkte zu entwickeln und Ethikdebatten als elegante öffentliche Dekoration für eine groß angelegte Investitionsstrategie zu benutzen.“ (Tagesspiegel, 8.04.2019)

Im Juni 2019 legte die HLEG dann noch erste konkretisierende, noch nicht auf einen bestimmten industriellen oder gesellschaftlichen Sektor bezogene Policy and investment recommendations for trustworthy Artificial Intelligence vor.

Im Juli 2020 folgten die Sectoral Considerations on the Policy and Investment Recommendations for Trustworthy AI. Sie basieren auf getrennten workshops mit Akteuren aus den Feldern

  • The Manufacturing and Industrial IoT Sector
  • Public Sector: the e-Government domain
  • Public Sector: Justice and law-enforcement
  • The Healthcare Sector

Sie zeigten, wie wichtig es ist, die Anforderungen an KI auch auf sektoraler Ebene zu diskutieren.

Weitgehend unabhängig von der Arbeit dieser Expertengruppe stellte die EU-Kommission bereits im Dezember 2018 “einen gemeinsam mit den Mitgliedstaaten ausgearbeiteten koordinierten Plan vor, mit dem die Entwicklung und Nutzung der KI in Europa gefördert werden soll.“ An erster Stelle wird dabei die “Maximierung der Investitionen durch Partnerschaften“ genannt. Es folgen “Schaffung europäischer Datenräume“, “Förderung von Talenten, Kompetenzen und lebenslangem Lernen“ und als vierter Bereich “Entwicklung ethischer und vertrauenswürdiger KI“ - mit der erhellenden Begründung: “Um Vertrauen zu schaffen, das für die Akzeptanz und Nutzung der KI durch die Gesellschaften notwendig ist, zielt der koordinierte Plan darauf ab, eine Technik zu entwickeln, bei der die Grundrechte und ethischen Regeln geachtet werden.“)

Im Februar 2020 veröffentlichte dann die EU-Kommission ihr vorläufiges Strategiepapier Weissbuch zur Künstlichen Intelligenz – ein europäisches Konzept für Exzellenz und Vertrauen. Für den vorgeschlagenen Regulierungsrahmen soll weiter eine Strategie verfolgt werden, “die sowohl verstärkte Investitionen in Forschung, Innovation und KI-Kapazitäten in der gesamten EU vorsieht als auch gleichzeitig den sozioökonomischen Aspekten Rechnung trägt.“ (S. 11)

Die sieben - hier als “unverbindlich“ gekennzeichneten - Prinzipien aus den Leitlinien der HLEG wurden in den Vorschlag aufgenommen.

Zusätzlich zu den vorhandenen EU-Produktsicherheits- und Produkthaftungsvorschriften sollen neue verpflichtende Anforderungen für noch differenziert zu beschreibende KI-Anwendungen mit hohem Risiko in einem neuen Rechtsrahmens definiert werden.

Unter Berücksichtigung der Leitlinien der HLEG werden solche Anforderungen bezogen auf die folgenden Schlüsselmerkmale erörtert (S. 22 – 26):

  • Trainingsdaten
  • Aufbewahrung von Daten und Aufzeichnungen
  • Vorzulegende Informationen
  • Robustheit und Genauigkeit
  • Menschliche Aufsicht
  • besondere Anforderungen an bestimmte KI-Anwendungen, z.B. Anwendungen für die biometrische Fernidentifikation.

Der dem Weißbuch beigefügte Bericht über die Auswirkungen künstlicher Intelligenz, des Internets der Dinge und der Robotik in Hinblick auf Sicherheit und Haftung zeigte gewichtige, gesetzlich zu regelnde neue “Herausforderungen“ in den Bereichen Produktsicherheit und Produkthaftung von KI-Systemen.

Im Juli 2020 veröffentlichte die Kommission die über 1200 einzelnen Stellungnahmen zu den im Weißbuch enthaltenen Vorschlägen und eine zusammenfassende Übersicht über deren Inhalte. ( Public consultation on the AI White Paper Final report)

Die Hauptbedenken der Befragten betrafen sowohl die Grundrechte als auch die Sicherheit.

Für eine Begrenzung neuer verpflichtender Anforderungen nur auf Hochrisiko-Anwendungen sprachen 55% der Antworten von Industrie und Wirtschaft und 39% in der Zuordnung Bürger.

“Von akademischer Seite wurde die binäre Unterscheidung zwischen risikoreicher und risikoarmer KI oft als zu vereinfachend kritisiert. Sie schlugen häufig die biometrische Fernidentifikation als eine KI-Anwendung mit hohem Risiko vor. Auch die Zivilgesellschaft argumentierte, dass die binäre Unterscheidung zwischen hohem und niedrigem Risiko zu einfach sei. Eine gemeinsame Forderung war die nach einer grundlegenden oder die Menschenrechte betreffenden Folgenabschätzung.“ (S. 10)

“Die Befragten äußerten ihre Bedenken gegenüber der öffentlichen Nutzung von biometrischen Fernidentifikationssystemen, wobei 28 % von ihnen ein generelles Verbot dieser Technologie im öffentlichen Raum befürworten. ... Nur 6 % der Befragten argumentierten, dass die aktuelle Situation ausreichend sei“ (S. 11)

Der Verbraucherzentrale Bundesverband (vzbv) begrüßte die Absicht, Regeln für riskante KI-Anwendungen einzuführen, kritisierte jedoch: “Es ist kein abgestuftes Regulierungssystem mit mehreren Risikoklassen und dem Risiko entsprechenden Anforderungen vorgesehen. Zudem werden potenzielle Schäden für soziale Gruppen und die Gesellschaft nicht berücksichtigt, etwa, wenn ganze Gruppen durch KI-basierte Entscheidungen systematisch von Dienstleistungen ausgeschlossen werden.
In puncto Transparenzanforderungen gegenüber Verbraucherinnen und Verbrauchern sieht das Weißbuch nur eine Kennzeichnung von Hochrisiko-Anwendungen vor. Hier greift die EU-Kommission deutlich zu kurz, denn Verbraucher müssen auch über die Risiken, Fehlergenauigkeit, die Datengrundlage usw. von KI Anwendungen informiert werden.“ ( “Weißbuch KI“ zu wenig ambitioniert)

Die Philosophieprofessoren Thomas Metzinger und Mark Coeckelbergh, beide Mitglieder der HLEG AI, kritisierten das Weißbuch insgesamt als zu “vage, zu früh, zu unverbindlich, zu unrealistisch.“ Sie heben hervor, “dass der inhaltlich stärkste Vorschlag im Dokument die obligatorische ex ante Konformitätsbewertung für KI-Technologien ist, die auf dem europäischen Markt an europäische Kunden verkauft werden sollen, unabhängig vom Ort der Niederlassung der jeweiligen Firmen. ... Hochproblematisch ist jedoch, dass dieses Vorgehen nur für “Hochrisikosektoren“ vorgeschlagen wird. Die Unterscheidung zwischen Sektoren mit “hohem“ und “niedrigem“ Risiko ist viel zu grobkörnig und undifferenziert.“
Sie kritisieren, dass die Nutzung der KI für militärische Zwecke (Stichwort “Lethal Autonomous Weapon Systems”) im Weißbuch nicht thematisiert wird. ( Und was ist mit der Ethik? Warum das EU-Weißbuch zur Künstlichen Intelligenz enttäuscht, Tagesspiegel, 14.04.2020)

62 Organisationen der Zivilgesellschaft forderten im Januar 2021 in einem gemeinsamen offenen Brief die Einführung von roten Linien im angekündigten offiziellen Vorschlag der Europäischen Kommission. Herausgehoben wurden dabei die Felder

  • Biometrische Massenüberwachung
  • Einsatz von KI an der Grenze und bei der Einwanderungskontrolle
  • Social Scoring und KI-Systeme, die den Zugang zu sozialen Rechten und Leistungen bestimmen
  • Voraussagende Strafverfolgung
  • Einsatz von Tools zur Risikobewertung im Strafrechtssystem und im vorgerichtlichen Kontext.

Am 20. Januar 2021 bekräftigte das Europäischen Parlament seine “Ansicht, dass ein gemeinsamer europäischer Rechtsrahmen mit harmonisierten Begriffsbestimmungen und allgemeinen ethischen Grundsätzen angenommen werden muss, die auch den Einsatz von KI für militärische Zwecke betreffen.“ (Entschließung Künstliche Intelligenz: Fragen der Auslegung und Anwendung von für die EU geltenden internationalen Rechtsvorschriften in Bezug auf die zivile und militärische Nutzung und der Zuständigkeit des Staates außerhalb des Anwendungsbereichs der Strafgerichtsbarkeit)

Im April 2021 legte die EU-Kommission dann ihren endgültigen Vorschlag vor (s.o.).

Bis dahin wurde bereits eine Vielzahl von KI-Projekten mit weit über 200 Millionen € gefördert, um “die europäische Wettbewerbsfähigkeit zu steigern und das auf den EU-Werten beruhende Vertrauen zu stärken“ (EU-funded projects that use Artificial Intelligence technology Stand April 2021). Unabhängig davon werden über die Programme European Defence Industrial Development Programme (EDIDP) und Preparatory Action on Defence Research (PADR) zahlreiche Projekte im militärischen Bereich gefördert. Das EDIDP verfügt über ein Budget von insgesamt 500 Millionen Euro für 2019 und 2020.

Die Kommission will jährlich 1 Mrd. € aus ihren Programmen “Digitales Europa“ und “Horizont Europa“ in KI investieren. Ziel ist es, in diesem Jahrzehnt KI-Investitionen von mehr als 20 Mrd. EUR pro Jahr in der EU zu mobilisieren.“ (Quelle)