Europaratskommission verabschiedet zahnlose KI-Konvention

 

Die Digitale Gesellschaft beobachtete die kürzlich abgeschlossenen Verhandlungen zur Rahmenkonvention zu künstlicher Intelligenz im Europarat. Trotz des unermüdlichen Einsatzes der beteiligten zivilgesellschaftlichen Beobachter:innen wurde der ursprünglich starke Konventionsentwurf im geopolitischen Machtgerangel zerrieben.

Am 14. März 2024 hat das Committee on Artificial Intelligence (CAI) des Europarats die Verhandlungen zur internationalen Rahmenkonvention zu Künstlicher Intelligenz, Menschenrechten, Demokratie und Rechtsstaatlichkeit abgeschlossen. Gegründet 1949, hat der Europarat die Wahrung der Menschenrechten, der Demokratie und der Rechtsstaatlichkeit als Ziel und vereint 46 europäische Mitgliedstaaten. Die Digitale Gesellschaft war Teil der CAI-Verhandlungen und hat sich aktiv als zivilgesellschaftliche Beobachterin eingebracht. Wir hatten zwar kein Stimmrecht, konnten aber begrenzt an den Plenarsitzungen teilnehmen sowie einige Zwischenstände der Verhandlungen der Delegationen einsehen und kommentieren.

Entsprechend ihrem Namen verfolgt die KI-Konvention des Europarats das erklärte Ziel, die bereits bestehenden Konventionen zu Menschenrechten, Demokratie und Rechtsstaatlichkeit auf das komplexe Thema der Künstlichen Intelligenz anzuwenden. Parallel dazu hat am 13. März 2024 das Europäische Parlament, ein Organ der Europäischen Union (EU), also nicht des Europarats, den EU AI Act angenommen, welcher als Instrument der EU-Binnenmarktharmonisierung bindende Regeln für die EU-Staaten beim Umgang mit Künstlicher Intelligenz (KI) festlegt. Der EU AI Act teilt dabei KI-Systeme in Risikoklassen ein und verlangt für hochriskante Systeme weitreichende Massnahmen wie Transparenzvorschriften oder Technologie-Folgeabschätzungen. Er gilt für private sowie für staatliche Akteur:innen, was im internationalen Vergleich der KI-Gesetze selten ist. Nach jahrelangem Ringen verbietet er auch diverse zivilgesellschaftlich umstrittene Praktiken wie Predictive Policing und schränkt biometrische Massenüberwachung öffentlicher Plätze ein. Der EU AI Act hat neben der Industriesicht eine starke zivilgesellschaftliche Komponente, welche deutlich spezifischer ausformuliert ist als in der Konvention des Europarats.

Machtpolitische Hintergründe…

Dass beide Vorgänge beinahe gleichzeitig zum Abschluss kommen, ist kein Zufall. Sie bedingen sich gegenseitig. Die EU will kein Abkommen unterschreiben, das ihrer eigenen Gesetzgebung widerspricht. Dass bei den Verhandlungen des Europarats mit 27 von 46 stimmberechtigten Mitgliedsstaaten die EU-Länder die Stimmenmehrheit haben, schafft ein faktisches Meinungs-Monopol. Während der Verhandlungen im CAI hat man jedoch deutlich gespürt, dass die EU ihre Rechtskonzepte nicht per se kompromisslos durchsetzen will, sondern einen offenen Diskurs sucht. Denn die Verhandlungen im KI-Komittee des Europarats zeigten einige Besonderheiten.

Erstens war die von Anfang an interkontinentale Ausrichtung ungewöhnlich. Neben den Mitgliedsländern sassen am Ende auch viele aussereuropäische Verhandlungspartner wie die Vereinigten Staaten von Amerika (USA), Kanada, oder Mexiko am Tisch. Dies führt dazu, dass das Abkommen über stark unterschiedliche Rechtssystemen und Verfassungen mit teils entgegengesetzten Interessen einsetzbar sein muss. Dies könnte als potentielle Neuausrichtung des Europarats gedeutet werden, welcher sich dadurch von den zunehmenden Menschenrechtsdiskussionen innerhalb der EU-Gesetzgebung differenzieren möchte. Wie weit in einem solchen Rahmen zu ihrer Zeit jeweils provokante aber zukunftsweisende Abkommen wie zum Beispiel die Europäische Menschenrechtskonvention noch möglich sind, wir die Zukunft zeigen müssen.

Zweitens hat die EU-Kommission im Namen aller Mitgliedsländer verhandelt. Damit war ein Showdown zwischen der EU und den USA als mächtigste Verhandlungsparteien abzusehen, was gegen Ende auch eingetreten ist.

… führen zur Verwässerung…

Auch wenn sich die meisten Verhandlungsteilnehmer:innen wie die Europarat-Mitgliedsstaaten, potentielle Konventionsunterzeichner und Beobachterinnen mit Herzblut und guten Absichten engagiert haben, wurden die Verhandlungen gegen Ende von der geopolitischen Realität eingeholt. Besonders deutlich wird dies in der Definition des Geltungsbereichs der Konvention, hier zitiert aus der zum Verfassungszeitpunkt noch nicht verabschiedeten Konvention.

Article 3 – Scope

1. The scope of this Convention covers the activities within the lifecycle of artificial intelligence systems that have the potential to interfere with human rights, democracy and rule of law as follows:
   • a. Each Party shall apply the Convention to the activities within the lifecycle of artificial intelligence systems undertaken by public authorities, or private actors acting on their behalf.
   • b. Each Party shall address risks and impacts arising from activities within the lifecycle of artificial intelligence systems by private actors to the extent not covered in subparagraph (a) in a manner conforming with the object and purpose of the Convention. Each Party shall specify in a declaration submitted to the Secretary General of the Council of Europe at the time of signature or when depositing its instrument of ratification, acceptance, approval or accession how it intends to implement this obligation, either by applying the principles and obligations set forth in Chapters II to VI of the Framework Convention to activities of private actors or by taking other appropriate measures to fulfil the obligation set out in this paragraph. Parties may, at any time and in the same manner, amend their declarations.
2. A Party shall not be required to apply this Convention to the activities within the lifecycle of artificial intelligence systems related to the protection of its national security interests, with the understanding that such activities are conducted in a manner consistent with applicable international law, including international human rights law obligations, and with respect for its democratic institutions and processes.
3. Without prejudice to Article 13 and Article 25, paragraph 2, this Convention shall not apply to research and development activities regarding artificial intelligence systems not yet made available for use, unless testing or similar activities are undertaken in such a way that they have the potential to interfere with human rights, democracy and the rule of law.
4. Matters relating to national defence do not fall within the scope of this Convention.

 

Der Zweckartikel war der umstrittenste der Konvention und wurde bis zuletzt debattiert. Die Digitale Gesellschaft hat Anfang März 2024 zusammen mit über 90 europäischen Organisationen und namhaften akademischen Expert:innen gegen eine Verwässerung des Geltungsbereichs aufgerufen (PDF). Hierbei geht es direkt um die geopolitischen Interessen der Verhandlungspartner:innen, und dementsprechend hatten nur die mächtigsten Teilnehmer:innen Einfluss auf die Formulierung. Dass die Meinung der Digitalen Gesellschaft und ihrer Partner:innen nicht berücksichtigt wurde, kommt nicht unerwartet. Trotzdem wurde mit der Wahl der obigen Formulierung die Konvention im letzten Moment stark entschärft, zu Lasten der Rechte der Betroffenen. Die Positionen der einzelnen Verhandlungsparteien sind vertraulich, doch versuchen wir kurz unsere Sicht auf die Diskussion zu schildern.

…mit schweren Folgen für die Menschen

Absatz 1 legt fest, dass die Konvention nicht zwingend für private Akteur:innen gilt. Unterzeichnende Staaten können sich mit einer formalen Begründung davon ausnehmen. Dies ist insofern relevant, als der Grossteil der KI-Modelle voraussichtlich von der Privatwirtschaft entwickelt wird. Die ungewöhnlich komplizierte Formulierung des Artikels lässt die Diskussionen um den Kompromiss erahnen. Die Digitale Gesellschaft hätte sich hier eine sowohl für private als auch für staatliche Akteur:innen bindende Konvention gewünscht. Die Verbindung zwischen Staat und Privatwirtschaft wird beim Einsatz von KI äusserst eng sein, da die Staaten höchstwahrscheinlich wenig eigene Systeme entwickeln, sondern diese aus der Industrie zukaufen werden. Dies gilt insbesondere für «Foundation Models» oder «General Purpose AI Models» wie zum Beispiel ChatGPT, die für viele Einsatzzwecke gleichzeitig verwendet werden können, und für die es nur wenige Anbietende geben wird. Wir werden uns dafür einsetzen, dass die Schweiz die Konvention ratifiziert und den privaten Sektor dabei nicht ausschliesst.

Absatz 2 nimmt KI-Systeme für «nationale Sicherheit» komplett von der Konvention aus. Darunter fällt alles, was die einzelnen unterzeichnenden Staaten als solches deklarieren, oft unter dem Narrativ des Schutzes der Bürger:innen. Terrorismusbekämpfung, nachrichtendienstliche Überwachung, Migration (nicht nur von Asylsuchenden) und Verbrechen: Dies kann sehr breit ausfallen, und genau da können die Verletzungen der Grundrechte oder Rechtsstaatlichkeit geschehen, gegen die viele Abkommen des Europarats die Menschen zu schützen versuchen. Diese nicht nur am Europarat beobachtbare Fokussierung auf die Souveränität der Nationalstaaten in Sachen Sicherheit führt zu einer internationalen Heterogenisierung der Bestrebungen und verheisst aus zivilgesellschaftlicher Sicht nichts Gutes. Hier hätten wir analog zu Absatz 1 zumindest auf ein Opt-out gehofft, sodass sich die unterzeichnenden Staaten für eine Reservation hätten rechtfertigen müssen.

Absatz 3 ist unterstützend für Forschungs- und Entwicklungstätigkeiten, indem es KI-Systeme, die noch nicht in Betrieb sind, ausklammert, sofern Tests dieser Systeme keine Probleme mit Menschenrechten, Demokratie oder Rechtsstaatlichkeit erwarten lassen. Dies übersieht leider, dass Risikomanagement bereits in frühen Entwicklungsphasen beginnen muss, um solche Probleme identifizieren zu können.

Absatz 4 nimmt schliesslich «nationale Verteidigung», also militärische Anwendungen, komplett aus, wie dies in der Satzung des Europarats festgelegt ist*. Hier geht es unter anderem um vollautomatische Waffensysteme, was aber deutlich enger verstanden wird als nationale Sicherheit. Obwohl diese Ausnahme aufgrund der Satzung* zu erwarten war, sind wir mit ihr nicht einverstanden.

Zivilgesellschaft zunehmend ausgegrenzt

Zu Beginn der Verhandlungen, die damals das Ad-hoc-Komitee CAHAI führte, wurde noch transparent miteinander diskutiert. Doch über das letzte Jahr wurde die Zivilgesellschaft zunehmend aus den Diskursen der Verhandlungspartner:innen ausgeschlossen. Angefangen hat es mit einer Unterteilung der Treffen in eine «Drafting Group», in der die Text-Entwürfe überarbeitet wurden, an der aber die Civil Society Organisations (CSO) nicht teilnehmen durften. Diese erhielten den überarbeiteten Text ohne Information, wer welche Position vertreten hatte, und durften diesen für die nächste Sitzung bloss schriftlich kommentieren. Zusätzlich wurden nur ein bis zwei der jeweils drei bis vier Verhandlungstage pro Treffen gemeinsam mit den CSOs geführt. Wir haben darüber berichtet.

 

Begründet wurde der Ausschluss mit Leaks über vertrauliche Informationen über die Verhandlungen, darunter die spezifischen Positionen der verhandelnden Regierungen. Dafür wurden die CSOs verantwortlich gemacht. Später erschienen dennoch mehrere weitere, unabhängige und eindeutige Leaks, die direkt aus der Drafting Group stammen mussten. Transparenz scheint nur bedingt und kontextabhängig erwünscht zu sein. Dies spiegelte sich auch in den folgenden Verhandlungssitzungen.

Relativ schnell sprachen nur die CSOs an den gemeinsamen Tagen, die inhaltlichen Diskurse wurden in die abgeschottete Drafting Group – ohne CSOs – verlegt. Ausserdem nahm ab Herbst 2023 der Zeitdruck zu. Zwischen den offiziellen Sitzungen mit den CSOs wurden mehrere inoffizielle Drafting Group Treffen abgehalten. Gegen Ende der Verhandlungen wurden diese so häufig, dass die Zeit für ordentliche Bearbeitungsprozesse (Drafting Group → Resultate verschriftlichen → Versenden zum Kommentieren an CSOs → Einsenden der Kommentare → Drafting Group) zu knapp wurde. Wir bezweifeln, dass alle verhandelnden Parteien die Ressourcen hatten, ihre Inputs innerhalb weniger Tage ordentlich einzuarbeiten. Einige CSOs, die ihre Eingaben intern konsolidieren mussten, gerieten stark unter Druck. Teilweise wurden wir gebeten, Versionen zu kommentieren, die bereits veraltet waren.

Das letzte gemeinsame Treffen war nach dem Ende der Verhandlungen der Drafting Group geplant. Natürlich geschahen hier sehr viele Dinge gleichzeitig. Artikel 3 (Geltungsbereich) wurde von der Drafting Group zum Beispiel parallel zum gemeinsamen Treffen bis zum letzten Tag verhandelt. Trotzdem hatten wir und andere CSOs das Gefühl, lediglich als Pseudo-Legitimation für einen partizipativen Prozess und als Kulisse für die Verhandlungen zwischen den Nationalstaaten eingeladen worden zu sein.

Auch wenn das Gerangel gegen Ende der Verhandlungen das Sekretariat und den Vorsitzenden des Komitees von allen Seiten erheblich unter Druck setzte, hätten wir uns deutlich geregeltere Prozesse und weniger Zeitdruck gewünscht. Die Journalist:innen Adrienne Fichter und Balz Oertli haben in ihrem Republik-Artikel einige Aspekte hervorgehoben. Von Interesse ist auch die Kommentarsektion des Artikels, weil dort der Vorsitzende des CAIs, der Schweizer Thomas Schneider, Stellung bezieht und mitdiskutiert.

Verantwortung liegt nun bei den einzelnen Staaten

In den letzten Monaten hat die Konvention viel an Gehalt verloren. Das vorliegende Resultat erweckt nun mehr den Anschein einer gemeinsamen Deklaration als einer wirksamen Konvention. Generell ist sie oberflächlich gehalten, mit wenig bindendem Inhalt. Wer möchte, kann die verschiedenen publizierten Versionen auf der Website des CAIs  oder mittels des Tools CLaiRK unserer Kolleg:innen von Digital Policy Alert aus St. Gallen vergleichen.

Als Gewinn können wir verbuchen, dass die Themenbereiche Human Health and Environment als gefährdete Bereiche explizit in der Präambel aufgeführt sind. Als nächstes wird die Konvention am 20. bis 25. März 2024 im Ministerrat des Europarats (nicht der EU) diskutiert, wo über die Weiterreichung der Konvention zur parlamentarischen Versammlung des Europarats und damit über die formelle Verabschiedung entschieden wird. Anschliessend können Staaten die Konvention ratifizieren und auf nationaler Stufe in Gesetze giessen.

Abschliessend ist festzuhalten, dass die Konvention zahnlos wirkt und bestenfalls beschränkte Auswirkungen zeigen wird. Dies ist eine Konsequenz der angestrebten, über Europa hinausgehenden und durchaus gangbaren Internationalisierung. In Anbetracht des erheblichen Aufwands, den viele Parteien in die Verhandlung investiert haben, könnte dies für ähnliche Vorhaben jedoch abschreckend wirken. Ob die Strategie des Europarats aufgeht, wird die Zukunft zeigen.

Trotz allem deuten wir die Konvention als Schritt in die richtige Richtung. Einen kleinen Schritt zwar, aber Abkommen dieser Reichweite sollten als einzelnes Puzzlestück im Korpus vieler verflochtener und sich gegenseitig vorantreibender Vereinbarungen betrachtet werden. Solche Abkommen schaffen einen Grundschutz für alle Menschen, insbesondere für jene, die sich aus den verschiedensten Gründen nicht selbst wehren können. Ihre Wirkung entfalten sie allerdings erst in Dekaden. Wir sind am Anfang der Reise der digitalen Automatisierung. Es wird weitere Iterationen dieser und ähnlicher Abkommen geben, und wir werden sie jedes mal mit mehr Erfahrung verbessern.

* In der Beschreibung zum vierten Absatz des Geltungsbereichs verweisen wir zur Begründung neu auf die Statuten des Europarats (Anpassung vom 26.3.24).