Das EU-Gesetz zur künstlichen Intelligenz steht kurz vor der Verabschiedung!

Das Gesetz über künstliche Intelligenz ist ein Legislativvorschlag der Europäischen Kommission zur Regulierung der künstlichen Intelligenz (KI). Im Gegensatz zu anderen Ländern oder Gebieten ist die EU bisher der erste Gesetzgeber, der einen umfassenden Vorschlag zur Regulierung von KI vorlegt. Die EU versucht, einen Spagat zu schaffen: Einerseits dafür zu sorgen, dass die von KI Betroffenen keine Nachteile erleiden, andererseits Innovationen zu fördern und der KI möglichst viel Raum für Entwicklung zu gewähren.

Am 8. Dezember 2023 erzielten das Europäische Parlament und der Rat der Europäischen Union nach dreitägiger Debatte eine vorläufige Einigung über den Vorschlag für eine Verordnung mit harmonisierten Vorschriften über künstliche Intelligenz (das KI-Gesetz). Eine endgültige Abstimmung des Europäischen Parlaments über das KI-Gesetz fand am 13. März 2024 statt. Da die Ausschüsse des Europäischen Parlaments für Binnenmarkt und Verbraucherschutz (IMCO) und für bürgerliche Freiheiten, Justiz und Inneres (LIBE) den vorgeschlagenen Text weitgehend befürwortet haben, kann mit einer baldigen Zustimmung des Europäischen Parlaments gerechnet werden. Nach der endgültigen Verabschiedung durch das Europäische Parlament und den Rat der Europäischen Union wird die Verordnung voraussichtlich im Frühjahr 2024 in Kraft treten.

Welche Bedeutung hat das KI-Gesetz für die Schweiz und Schweizer Unternehmen?

Schweizer KI-Anbieter, die beabsichtigen, KI-Systeme in der EU in Verkehr zu bringen oder in Betrieb zu nehmen, fallen in den räumlichen Geltungsbereich des KI-Gesetzes. In Anbetracht der Tatsache, dass viele oder die meisten KI-Angebote online zugänglich gemacht werden (via Website [browserbasiert] oder via Cloud), werden viele Schweizer KI-Anbieter schnell unter die landesübergreifend Lupe des KI-Gesetzes fallen. Das KI-Gesetz wird auch für Schweizer KI-Anbieter und Nutzer von KI-Systemen anwendbar sein, wenn die vom KI-System produzierten Ergebnisse künftig in der EU verwendet werden. Zudem werden viele Schweizer KI-Anbieter ihre Systeme nicht nur für die Schweiz entwickeln. Demzufolge dürften die neuen europäischen Standards des KI-Gesetzes längerfristig auch für Schweizer KI-Entwickler zu einem üblichen Standard werden.

Wie wird die Schweiz reagieren?

In der Vergangenheit hat sich die Schweiz bei der rechtlichen Regulierung im digitalen Wirtschaftsbereich eher zurückhaltend verhalten. Insbesondere in der KI-Welt hat die Schweiz bisher keine umfassende Regulierung von KI als übergreifendes Phänomen vorgenommen, sondern eher einen prinzipienbasierten Ansatz und eine sektorspezifische Regulierung "nach Bedarf" vorgezogen. So werden beispielsweise Regeln für automatisiert fahrende Autos und ähnliche KI-Tools in Strassenverkehrssicherheitsgesetzen geregelt und werden durch sektorspezifischeAufsichtsehörden überwacht. Regeln für die automatisierte Entscheidungsfindung von Unternehmen sind z.B. im revidierten Schweizer Datenschutzgesetz geregelt. Andere Phänomene werden in anderen sektorspezifischen Bereichen geregelt werden [z.B. können KI-basierte Tools zur Beurteilung von Menschen auch in arbeitsrechtlichen Gesetzen geregelt werden und der Überprüfung durch öffentliche Arbeitsaufsichtsbehörden unterliegen]. Diesem Ansatz will eine Aufblähung bürokratischen Verfahren vermeiden und KI-Risiken von der kompetentesten sektorspezifischen Behörde beurteilen lassen anstatt von einer allgemeinen Behörde, die versucht, sich mit allen erdenklichen Risiken und Fragen zu KI gleichzeitig zu befassen. Da sich die Technologie schnell entwickelt und verändert, bevorzugt die Schweiz zudem "technologieneutrale" Gesetze. Sie bleiben an neue technische Entwicklungen anpassbar und vermögen weiterhin durch allgemeine Grundsätze auf neu entstehende Phänomene reagieren. Dies reduziert nicht zuletzt die Notwendigkeit, Gesetze immer wieder zu überarbeiten, zumal sie sehr schnell veralten. Es steht jedoch ausser Frage, dass das europäische KI-Gesetz auf faktischer Ebene Auswirkungen auf das Schweizer Territorium haben wird, namentlich die Einführung eines EU-Standards, den die meisten Unternehmen anstreben werden. Es ist zudem wahrscheinlich, dass im Laufe der Zeit auch hierzulande ein ähnliches Gesetz zur KI-Regulierung in Kraft treten könnte, doch es ist noch zu früh, diesbezügliche Vorhersagen zu treffen.

Wie reguliert das KI-Gesetz, künstliche Intelligenz?

Das Kernelement des KI-Gesetzes ist ein risikobasierter Ansatz, der je nach potenziellen Fähigkeiten und Risiken verschiedene Anforderungen und/oder sogar Verbote vorsieht. Je höher das Risiko eines KI-Systems für die Gesundheit, die Sicherheit oder die Grundrechte von Personen ist, desto strenger sind die regulatorischen Anforderungen. Das KI-Gesetz kategorisiert daher KI-Anwendungen in verschiedene Risikokategorien mit unterschiedlichen Konsequenzen:

• Inakzeptables Risiko (z.B. Social Scoring) - der Einsatz von entsprechenden KI-Systemen ist verboten.
• Hohes Risiko (z. B. KI-Systeme, die für die biometrische Identifizierung natürlicher Personen oder für die Bewertung von Prüfungen eingesetzt werden sollen).
• Begrenztes Risiko oder kein Risiko (z. B. ein Spam-Filter).

New Media & Technologies

Wandelnde Ge­schäfts­mo­del­le durch neue Technologien

Der Regelungsansatz des KI-Gesetzes besteht im Wesentlichen darin, (i) KI-Systeme mit inakzeptablen Risiken zu verbieten, (ii) KI-Systeme mit hohen Risiken unter der Bedingung zuzulassen, dass bestimmte Sicherheitsvorkehrungen getroffen werden (z.B. Konformitäts-bewertungen, Risikomanagementsysteme, technische Dokumen-tation, Aufzeichnungspflichten, Transparenz und Information der Nutzer, menschliche Aufsicht, Genauigkeit, Robustheit und Cybersicherheit, Qualitätsmanagementsysteme, Meldung schwer-wiegender Zwischenfälle und Fehlfunktionen, Qualitätskriterien für Training und Validierung sowie Testdatensätze) und (iii) KI-Systeme mit begrenztem oder ohne Risiko generell als zulässig zu betrachten. Die Einstufung von KI-Systemen als solche mit inakzeptablem Risiko und solche mit hohem Risiko birgt viel Diskussionsspielraum. Aus diesem Grund versucht das KI-Gesetz, auf Grundlage der folgenden Säulen etwas Klarheit zu schaffen:

Definition von AI-Systemen

Die zuständigen Parlamentarier haben sich auf eine Definition geeinigt, die mit der zukünftigen Definition der OECD harmonisiert ist:

Art. 3(1) KI-Gesetz: "Ein System der künstlichen Intelligenz (KI-System) ist ein maschinengestütztes System, das so konzipiert ist, dass es mit einem unterschiedlichen Grad an Autonomie arbeitet und das Ergebnisse wie Vorhersagen, Empfehlungen oder Entscheidungen erzeugen kann, die sich zu expliziten oder impliziten Zwecken auf die physische oder virtuelle Umgebung auswirken."

Damit ein KI-System in den Anwendungsbereich des KI-Gesetzes fällt, muss das System also ein gewisses Mass an Autonomie aufweisen, d. h. es muss vom menschlichen Bediener oder menschlichen Einfluss unabhängig sein.

Hochriskante KI-Systeme: Zusätzliche Stufen für die Einstufung:

Eine umfassende Liste von risikoreichen KI-Systemen ist im Anhang III des KI-Gesetzes aufgeführt. Der Gesetzgeber hat nun eine zusätzliche materielle Voraussetzung hinzugefügt, d.h. ein risikoreiches KI-System soll nur dann als kritisch gelten, wenn es auch ein erhebliches Risiko für die Gesundheit, die Sicherheit oder die Grundrechte darstellt. Ein solches Risiko kann sich aus der Schwere, der Intensität, der Wahrscheinlichkeit von Verstössen und der Dauer der Auswirkungen für eine Einzelperson, eine grosse Anzahl von Personen oder eine bestimmte Gruppe von Personen ergeben. Fällt ein KI-System unter Anhang III und ist der KI-Anbieter der Ansicht, dass kein erhebliches Risiko besteht, muss er dies der zuständigen Aufsichtsbehörde aber mitteilen, die innerhalb von drei Monaten Einwände erheben kann. Systeme können vor Ablauf dieser drei Monate zwar auf den Markt gebracht werden, aber wenn sich die Bewertung als falsch erweist, kann der Anbieter dafür sanktioniert werden.

Verbotene AI-Systeme: erweiterte Liste

Der Einsatz biometrischer Identifizierungssoftware ist verboten. Nach dem aktuellen Gesetzestext darf eine solche Erkennungssoftware nur bei schweren Straftaten und mit vorheriger richterlicher Genehmigung eingesetzt werden. Verboten ist auch der Einsatz von KI-gestützter Emotionserkennungssoftware in den Bereichen Strafverfolgung, Grenzschutz, Arbeitsplatz und Bildung. Ausserdem sind "absichtlich manipulative oder täuschende Techniken" verboten. Dieses Verbot gilt nicht für KI-Systeme, die zu genehmigten therapeutischen Zwecken auf der Grundlage einer informierten und ausdrücklichen Zustimmung eingesetzt werden. Schliesslich wurde das Verbot von "predictive policing" (Algorithmen zur Vorhersage von Straftaten oder des Rückfallrisikos bei Straftaten) von Straftaten auch auf Ordnungswidrigkeiten ausgedehnt.

Strengere Regeln für Gründungsmodelle und allgemeine KI

Das Aufkommen von ChatGPT und anderen generativen KI-Systemen hat den Gesetzgeber dazu veranlasst, auch "General Purpose AI Systems" (GPAI) und sog. "Foundation Models" näher zu regulieren. Gemeint sind damitKI-Systeme, die keinen bestimmten Zweck verfolgen (die Zwecke können je nach Verwendung variieren).

Der aktuelle Kompromisstext stuft GPAI nicht per se als risikoreich ein. Nur wenn Anbieter GPAI in ihre KI-Systeme integrieren, die ihrerseits als hochriskant gelten, sollen die strengen Anforderungen der Hochrisikokategorie auch für GPAI-Systeme gelten. In diesem Fall sollten GPAI-Anbieter auch nachgelagerte KI-Systemintegratoren bei der Einhaltung der Vorschriften unterstützen, indem sie Informationen und Dokumentationen über das jeweilige KI-Modell bereitstellen.

Das KI-Gesetz schlägt auch strengere Anforderungen für Foundation Models vor, z. B. in Bezug auf Risikomanagement, Qualitätsmanagement, Datenmanagement, Sicherheit und Cybersicherheit sowie den Grad der Robustheit. Das KI-Gesetz regelt die Pflichten von Anbietern von Foundation Models, unabhängig davon, ob sie als eigenständiges Modell oder eingebettet in ein KI-System, unter freien und Open-Source-Lizenzen, durch Bereitstellung vor Ort oder als Dienstleistung oder über andere Vertriebskanäle bereitgestellt werden. Neben einer Reihe detaillierter Transparenzverpflichtungen sind die Anbieter von Foundation Models auch verpflichtet, eine "hinreichend ausführliche" Zusammenfassung der Verwendung urheberrechtlich geschützter Trainingsdaten vorzulegen. Es ist noch nicht klar, wie dies umgesetzt werden soll, zumal Systeme wie z. B. OpenAI ChatGPT auf einem Datensatz von mehr als 570 GB Textdaten trainiert wurden.

Einrichtung eines AI-Büros

Die beiden Ausschüsse des EU-Parlaments waren sich einig, dass die Durchsetzungsarchitektur des AI-Gesetzes idealerweise ein zentrales Element zur Unterstützung einer harmonisierten Anwendung des AI-Gesetzes enthalten sollte. Aus diesem Grund wurde die Einrichtung eines EU-AI-Büros vorgeschlagen. Die Aufgaben dieses Amtes werden im AI-Gesetz näher erläutert.

Sechs AI-Prinzipien

Das KI-Gesetz nennt sogenannte "AI-Prinzipien", die für alle KI-Systeme gelten sollen. Alle Akteure, die unter das KI-Gesetz fallen, sollen KI-Systeme und -Grundlagenmodelle im Einklang mit den folgenden sechs "KI-Grundsätzen" entwickeln und nutzen:

• Menschliches Verhalten und Kontrolle: KI-Systeme sollten Menschen unterstützen, die menschliche Würde und persönliche Autonomie respektieren und so funktionieren, dass sie von Menschen gesteuert und überwacht werden können.
• Technische Robustheit und Sicherheit: Unbeabsichtigte und unerwartete Schäden sollten minimiert werden, und KI-Systeme sollten im Falle unbeabsichtigter Probleme ausreichend robust sein.
• Datenschutz und Data Governance: KI-Systeme sollten im Einklang mit den Datenschutzbestimmungen entwickelt und genutzt werden.
• Transparenz: Rückverfolgbarkeit und Erklärbarkeit müssen möglich sein. Den Menschen muss bewusst gemacht werden, dass sie mit einem KI-System interagieren.
• Diversität, Nichtdiskriminierung und Fairness: KI-Systeme sollten verschiedene Interessengruppen einbeziehen und den gleichberechtigten Zugang, die Gleichstellung der Geschlechter sowie die kulturelle Vielfalt fördern und diskriminierende Auswirkungen vermeiden.
• Soziales und ökologisches Wohlergehen: KI-Systeme sollten nachhaltig und umweltfreundlich sein und zum Nutzen aller Menschen entwickelt und eingesetzt werden.

Unsere Experten bei CMS Schweiz beraten Sie gerne ausführlich über das KI-Gesetz und seine Auswirkungen auf Ihr Unternehmen in der Schweiz.