Automatisierte Entscheidungssysteme (engl. automated decision-making system, ADMS) sind technische Systeme, die unterstützend oder auch vollständig autonom komplexe Entscheide treffen. Obwohl die Konsequenzen für die betroffenen Menschen erheblich sein können, wissen sie oft nicht, dass ein ADMS zum Einsatz kam und können den Prozess der Entscheidungsfindung weder nachvollziehen noch anfechten. Die Digitale Gesellschaft fordert deshalb eine Regulierung für ADMS, welche sicherstellt, dass der Einsatz dieser Systeme transparent sowie nachvollziehbar geschieht und ADMS nicht eingesetzt werden dürfen, wenn das damit verbundene Risiko inakzeptabel hoch ist.
Published documents including translations to English can be found at the end of this dossier.
Die Algorithmen sozialer Medien entscheiden darüber, welche Informationen wir zu sehen bekommen und welche nicht. Bewerbungsportale erstellen automatisiert Persönlichkeitsprofile von Kandidat:innen. Die Vorhersagen eines Predictive-Policing-Systems lenken den Einsatz von Polizeistreifen. Diese und weitere Beispiele verdeutlichen die wachsende Bedeutung automatisierter Entscheidungssysteme in unserem Leben. Aber auch die Gesellschaft als Ganzes wird davon beeinflusst, beispielsweise wenn ADMS aufgrund systematischer Tendenzen (engl. bias) bestimmte Personengruppen benachteiligen oder bevorzugen. Eine kritische Reflexion, ob und wie ADMS eingesetzt werden sollen, ist deshalb dringend nötig: Sind die von ADMS gefällten Entscheidungen fair und chancengerecht? Wie können automatisiert getroffene Entscheidungen nachvollzogen und begründet werden? Gibt es einzelne Entscheidungen oder ganze Bereiche (z.B. Gerichtsurteile), die wir nicht Algorithmen überlassen sollten, sondern von Menschen gefällt werden müssen?
Trotz der damit verbundenen Risiken geschieht der Einsatz von ADMS bis jetzt weitgehend unkontrolliert. Die Digitale Gesellschaft fordert deshalb eine wirksame Regulierung, welche den Menschen und nicht die Technik ins Zentrum stellt, Transparenz beim Einsatz von ADMS schafft und sorgfältig zwischen Nutzen und Risiken abwägt. Wir haben einen Regulierungsvorschlag ausgearbeitet, welcher technologieneutral ist und sich stattdessen an dem vom ADMS ausgehenden Risiko für Einzelpersonen sowie für die Gesellschaft orientiert. So sollen für Systeme mit «tiefem oder keinem Risiko» keine Einschränkungen gelten. Der Einsatz von Systemen mit «inakzeptablem Risiko» (wie z.B. die biometrische Massenüberwachung) hingegen soll verboten sein. Dazwischen befinden sich die Systeme mit «mittlerem oder hohem Risiko», für die weitgehende Transparenz- und Sorgfaltspflichten gelten sollen.
Die Klassifizierung des Risikos soll per Selbstdeklaration durch die Organisation geschehen, welche das ADMS einsetzt, wobei eine zu niedrige Einschätzung empfindliche und umsatzabhängige Strafen nach sich zieht. So kann vermieden werden, dass Unternehmen und öffentliche Verwaltung mit aufwändigen Prüfprozessen belastet werden. Der Regulierungsvorschlag unterscheidet dabei zwischen ADMS in der Privatwirtschaft und solchen in Erfüllung öffentlich-rechtlicher Aufgaben. Für betroffene Individuen, die neu zu schaffende ADM-Aufsicht und für berechtige NGO ist ein Beschwerde- bzw. Klagerecht vorgesehen, um die korrekte Risiko-Klassifizierung und die Durchsetzung der damit verbundenen Pflichten sicherzustellen. Bei einem ADMS, dessen genaue Funktionsweise dem Geschäftsgeheimnis unterliegt, soll eine Beweislastumkehr gelten. Für Systeme in Erfüllung eines öffentlich-rechtlichen Auftrags ist hingegen eine weitgehende Veröffentlichung der technischen Implementierung und der dafür verwendeten Daten (falls es sich um ein datengetriebenes ADMS handelt) vorgesehen.
Die Digitale Gesellschaft hat im Februar 2022 eine erste Version ihres Positionspapiers zur Regulierung von ADMS publiziert. Mitglieder der Fachgruppe ADM konnten seither an mehreren Veranstaltungen den Regulierungsvorschlag vorstellen, nehmen an öffentlichen Debatten teil und engagieren sich national sowie international in relevanten Gremien.
Seit Januar 2023 ist die Digitale Gesellschaft offiziell Observer beim Committee on Artificial Intelligence (CAI) des Europarats und engagiert sich zusammen mit den Mitgliedsstaaten sowie weiteren Akteuren in der Debatte um die Rahmenkonvention zur Regulierung Künstlicher Intelligenz, welche auch für die Schweiz von Bedeutung ist. Die Verhandlungen kamen im März 2024 zu einem Abschluss, doch übt die Digitale Gesellschaft starke Kritik am inhaltlichen Ausgang sowie am unzureichenden Einbezug der Zivilgesellschaft dieser wichtigen Verhandlungen.
Im November 2023 forderte die Digitale Gesellschaft zusammen mit Pour Demain, AlgorithmWatch CH, CH++ und opendata.ch in einem gemeinsamen Dokument, dass es mit der Regulierung von Künstlicher Intelligenz und automatisierten Entscheidungssystemen in der Schweiz vorangehen muss. Gemäss den Organisationen braucht es einen gesetzlichen Rahmen, um Rechtssicherheit und gemeinwohlorientierte Innovation dieser neuen Technologien sicherzustellen.
Im selben Zeitraum hat der Bundesrat den potentiellen Regulierungsbedarf von ADM-/KI-Systemen erkannt und prüft nun Regulierungsansätze. Die entsprechende Übersicht möglicher Regulierungsansätze von Künstlicher Intelligenz will der Bund Ende 2024 veröffentlichen. Die Digitale Gesellschaft engagiert sich aktiv in den dazu laufenden Debatten.
Wichtige Dokumente
- Position der Digitalen Gesellschaft zur Regulierung von automatisierten Entscheidungssystemen (PDF, Version 2.0)
- Published soon: Position of the Digital Society on the Regulation of Automated Decision-Making Systems (English, PDF, Version 2.0)
- Zivilgesellschaftliche Grundsatzforderungen zur Regulierung von Künstlicher Intelligenz und automatisierten Entscheidungssystemen (30.11.2023)
Alte Versionen der Dokumente
