Die EU hat sich auf eine finale Version der Verordnung zur Künstlichen Intelligenz geeinigt. Aus netzpolitischer Perspektive ist positiv, dass es diese Verordnung nun überhaupt gibt, und dass gegenüber dem ersten Entwurf einige Aspekte aufgenommen oder geschärft wurden. Negativ zu vermerken ist jedoch, dass auf den letzten Metern noch einige Regelungen entschärft wurden, insbesondere die zur biometrischen Identifikation.
Hintergrund
Am 8. Dezember wurde im Rahmen des Trilogs zwischen EU-Parlament, Europäischem Rat und EU-Kommission nach sehr intensiven Verhandlungen eine Einigung zum sogenannten AI-Act erzielt, der den Einsatz der künstlichen Intelligenz in der EU regulieren soll, und der sicher Auswirkungen weit über die EU hinaus, auch auf die Schweiz, haben wird.
Der Geltungsbereich des AI Acts wurde auf Druck Frankreichs eingeschränkt, KI-Systeme, die für militärische oder Verteidigungszwecke eingesetzt werden, sind vom AI Act ausgenommen. Dies gilt auch für nicht-staatliche Akteure («Contractors»). Nach unserem Verständnis gelten die folgenden Ausführungen deshalb nicht für militärische oder Verteidigungssysteme, und es bleibt abzuwarten, wie umfassend diese Bereiche definiert werden.
Der AI-Act sieht wie der ursprüngliche Entwurf der EU-Kommission eine Einteilung von KI-Systemen basierend auf mehreren Risikoklassen vor. Vielen Experten und NGOs (darunter die Digitale Gesellschaft und EDRi) ging der ursprüngliche Ansatz in einigen Bereichen nicht weit genug, vor allem bzgl. biometrischer Identifikation und Gesichtserkennung sowie Emotionserkennung. Im Sommer 2023 verschärfte das EU-Parlament den Entwurf, woraufhin anschliessend der Trilog startete.Mit Spannung erwartet wurde deshalb, welche Bereiche in der höchsten Klasse mit unakzeptablem Risiko landen bzw. bleiben und somit verboten werden, und welche Bereiche als «hochriskant» klassifiziert werden.
Verbotene Systeme
Der finale Text ist noch nicht bekannt, da er in den nächsten Wochen und Monaten fertiggestellt wird, offiziell bekannt ist lediglich eine Kommunikation der EU und Berichte von Euractiv und anderen. Gemäss der Pressekommunikation werden die folgenden Systeme verboten, da zu riskant für Grund- und Menschenrechte der Europäer:innen:
- Systeme zur biometrischen Kategorisierung, die sensitive Charakteristiken wie sexuelle Orientierung oder ethnische Zugehörigkeit verwenden;
- das ungezielte Verwenden («Scraping») von Gesichtsbildern für den Aufbau von Bilddatenbanken;
- Emotionserkennung am Arbeitsplatz und in Bildungsinstitutionen;
- Social Scoring basierend auf Sozialverhalten oder persönlichen Eigenschaften;
- Systeme zur Verhaltensmanipulation, die den freien Willen von Menschen untergraben;
- KI-Systeme zur Ausnutzung von Vulnerabilitäten (Alter, Beeinträchtigung, soziale oder ökonomische Situation);
Es fehlt in dieser Liste offensichtlich die biometrische Identifikation (Gesichtserkennung). Da die Presseerklärung jedoch im nächsten Absatz Ausnahmen des Verbots für die Strafverfolgungsbehörden auflistet, kann davon ausgegangen werden, dass «Echtzeit»-Gesichtserkennung allgemein tatsächlich verboten ist. Die Erklärung listet drei Ausnahmen auf:
- gezielte Suche nach Opfern von schweren Verbrechen (Missbrauch, Menschenhandel, sexuelle Ausbeutung)
- Verhinderung einer konkreten und aktuellen Terrorbedrohung
- die Lokalisierung einer Person, die schwerer Verbrechen wie Terrorismus, Menschenhandel, Kidnapping, Vergewaltigung, bewaffneter Raub, Mitgliedschaft in einer kriminellen Organisation, Umweltkriminalität verdächtigt wird.
Die Liste der schweren Verbrechen ist allerdings nicht nur sehr lang, sondern auch nicht abschliessend definiert. Es wird deshalb befürchtet, dass aufgrund der breiten Ausnahmeregeln nicht wirklich etwas verboten wird. Wie schon in unseren früheren Artikeln zum Thema erläutert (und wie von mehr als 100 NGOs in diesem Prozess argumentiert), öffnet eine breit angelegte Gesichtserkennung die Tür zu einer allgemeinen Überwachung der Gesellschaft, mit diskriminierenden Auswirkungen vor allem auf sowieso benachteiligte Gruppen, und den Chilling Effects, die Menschen daran hindern, ihre demokratischen Rechte wie freie Meinungsäusserung und Versammlungsfreiheit wahrzunehmen.
Beim Lesen der EU-Verlautbarung blieb (zumindest dem Verfasser dieses Textes) zunächst unklar, was mit biometrischer Kategorisierung unter Verwendung sensitiver Attribute gemeint sein soll. Offensichtlich sind mit diesen sensitiven Attributen die Kategorien selbst gemeint, d.h. mit Hilfe biometrischer Verarbeitung wird bestimmt, welche Menschen einer bestimmten Religion angehören oder Gewerkschaftsmitglieder sind. Offensichtlich wollten die Regierungen (also der Rat) diese Systeme erlauben, die Parlamentsvertreter konnten sich hier jedoch durchsetzen.
Überhaupt sind offenbar Rat und Parlament mit sehr gegensätzlichen Positionen in die Schlussverhandlungen gegangen. Zum Beispiel wollten die Regierungen biometrische Identifikation nicht mehr verbieten, d.h. ganz aus Artikel 5 streichen, während das Parlament die Ausnahmen reduzieren/streichen wollte. Man kann das Resultat somit als die Vermeidung von noch Schlimmerem sehen. Aus Sicht der Organisationen, die sich fast drei volle Jahre lang für eine Bewahrung der Grund- und Menschenrechte im AI Act eingesetzt haben, überwiegt doch ein starkes Gefühl der Enttäuschung.
Ähnlich verhält es sich bei der Emotionserkennung. Diese war im ursprünglichen Entwurf nicht verboten, in der nun vereinbarten Version ist sie es, leider aber nur für zwei Bereiche. Sehr wichtige Einsatzbereiche wie Polizei, Migration und Grenzkontrolle sind vom Verbot allerdings nicht betroffen.
Systeme mit hohem Risiko
Für hochriskante Bereiche wurde vereinbart, dass eine » Grundrechtefolgenabschätzung» (fundamental rights impact assessment) vorgeschrieben ist. Zu den hochriskanten gehören ebenfalls solche Systeme, die Wahlen oder das Wähler:innenverhalten beeinflussen können.
Gegenüber dem ursprünglichen Entwurf werden Basismodelle (Foundation Models), die Systemen wie ChatGPT zugrunde liegen, im AI Act berücksichtigt und als «systemrelevant» klassifiziert, wenn sie mit mehr als 10^25 Gleitkommaoperationen (FLOPs) trainiert wurden. Aktuell würden wohl nur GPT4 und einige chinesische Systeme diese Grenze überschreiten. Transparenzvorschriften sollen für alle Modelle gelten, einschliesslich Rapportierung des Energieverbrauchs sowie eine ausreichend detaillierte Übersicht über die Trainingsdaten. Von KI generierte Inhalte müssen als solche erkennbar sein. Schliesslich wird im Zusammenhang mit den Basismodellen ein «AI Office» erwähnt, welches sich um die Durchsetzung der Regeln kümmern soll.
Fazit
Obwohl Europa nun ein KI-Gesetz hat und durch das Engagement netzpolitischer NGOs und Netzwerke der AI Act in vielem verbessert wurde, konnten andererseits einige Ziele nicht erreicht werden. Der Freude über das Erreichte steht somit auch ein Gefühl der Enttäuschung gegenüber.