Ernüchterndes Ergebnis

Gesetz zu biometrischer Überwachung

Bekommen wir einen Schutz vor biometrischer Massenüberwachung oder wurden Grundrechte hinter verschlossenen Türen verramscht? Wir ordnen die politische Einigung zum „KI“-Gesetz ein.

Bilder. So viele Bilder. Abgeordnete, die Selfies machen. Oder Photos vom Verhandlungsraum. Und zwischendurch erlaubt sich auch mal einer den Spaß und lässt von einer generativen „KI“ eine vermeintliche Aufnahme aus dem Saal erzeugen, in dem sich das Europäische Parlament und der Rat der EU unter Vermittlung der Europäischen Kommission auf eine politische Einigung zum sogenannten „KI“-Gesetz verständigen wollen. Alle wollen zeigen, dass sie bei diesem „historischen“ Prozess dabei sind. Alle meint natürlich nur einen auserwählten Kreis, die Öffentlichkeit muss bei diesen „Trilogverhandlungen“ (kurz: Trilog) draußen bleiben, sich auf die Bilder stürzen und manchmal durchgestochene Zwischenstände interpretieren. Nach insgesamt etwa 39 Stunden Verhandlungen (mit Unterbrechung nach den ersten 23 Stunden) ist das vorläufige Ende der Verhandlungen erreicht (aber in Wirklichkeit noch nicht ganz, mehr dazu später). Offiziell ging es im April 2021 mit dem Vorschlag der EU-Kommission los. Wir nennen es in der Regel „KI“-Gesetz oder AI Act, etwas bürokratischer heißt es

„Vorschlag für eine Verordnung des Europäischen Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakte der Union“ (COM/2021/206).

Wir bleiben also lieber beim Begriff „KI“-Gesetz. Wir haben die Gesetzgebung von Anfang an aktiv begleitet und fordern einen europaweiten Schutz vor biometrischer Massenüberwachung. Unser Campaigner Konstantin Macher erklärt, was bei der politischen Einigung herausgekommen ist, warum wir das Ergebnis mit Ernüchterung sehen, warum trotz offizieller Einigung noch nicht alles geklärt ist und wie es jetzt weitergeht.

Was wir bisher wissen (und was nicht)

Bisher wissen wir, was bei der politischen Einigung herausgekommen sein soll. Dabei ist wichtig zu betonen, dass es noch keinen finalen Text gibt, denn diese politische Einigung wird gerade noch technisch ausgearbeitet. Und da es bei einem solchen Gesetz auf jedes Wort und Komma ankommt, können und werden wir erst mit dem endgültigen Text auch eine abschließende Bewertung vornehmen. Außerdem ist der Trilog einfach so intransparent, dass wir nicht blind darauf vertrauen können, ob die verkündeten Ergebnisse zutreffen oder jeweils ein schön-gefärbtes Bild der politischen Akteur.innen sind. Selbst die an den Verhandlungen direkt beteiligten Personen scheinen manche Inhalte rückwirkend unterschiedlich zu deuten. Es bleibt also spannend und wir werden weiter berichten.

Inhaltlich ist vieles durcheinander gekommen durch den jüngsten Hype um generative „KI“-Modelle. Auch hier haben wir natürlich kritische Fragen zur ökologischen und sozialen Nachhaltigkeit und wie sich deren Einsatz auf unsere Gesellschaft auswirkt. Aber unser Schwerpunkt lag woanders: Wir haben immer wieder ein Verbot biometrischer Massenüberwachung gefordert. Das „KI“-Gesetz soll über einen risikobasierten Ansatz sogenannte „KI”-Anwendungen einzuordnen in solche mit einem niedrigeren oder höheren Risiko. Daraus resultieren entweder bestimmte Verpflichtungen zur Transparenz oder Risikominimierung bis hin zu einem Verbot. Besonders zu drei Arten der Anwendung haben wir versucht ein Verbot zu erreichen:

Warum jetzt die Ernüchterung? Teilweise soll es zwar theoretisch ein Verbot dieser Formen von biometrischer Massenüberwachung geben, praktisch könnten die vereinbarten Ausnahmeregelungen im Gesetz aber so weit gehen, dass es praktisch die Blaupause für die Anwendung darstellt. Wir werden bei der Analyse des endgültigen Texts darauf achten ob das „KI“-Gesetz hier mehr Schaden anrichtet, als zu helfen und dann eine entsprechende Empfehlung an die Europaabgeordneten und die Bundesregierung formulieren. Diese müssen nämlich das endgültige Ergebnis jeweils nochmal im Europäischen Parlament und im Rat der EU bestätigen.

Zwischendurch sah es danach aus, dass einige Abgeordnete ihre ursprünglich starke Position aufgeben wollten, wie Konstantin während der Verhandlungen von vor Ort aus Brüssel berichtete. Also haben wir uns nochmal die Finger wundgeschrieben und mit unseren Verbündeten E-Mails und einen weiteren offenen Brief an die Verhandler.innen verfasst. Der Vergleich zu Zwischenständen und Positionen aus den Verhandlungen zeigt, dass wir damit nochmal schlimmeres verhindern konnten.

Achtung: Alle hier folgenden Ergebnisse stehen unter dem Vorbehalt der vorläufigen Einigung und der begrenzten Einsicht in die intransparenten Trilogverhandlungen!

Update: Auf der Website von Reclaim Your Face findet sich eine am 18. Januar 2024 aktualisierte Einordnung zu nachträglichen Änderungen am Verhandlungsergebnis.

Unterstützen Sie die gute Sache: Freiheit, Grundrechte und Demokratie.

Viele Menschen engagieren sich bei uns in ihrer Freizeit, seien auch Sie dabei!

Bleiben Sie auf dem Laufenden über unsere Arbeit und unsere Themen.

Gesichtserkennung

Automatisierte Gesichtserkennung (Biometrische Fernidentifizierung) war von Anfang bis Ende der größte Knackpunkt. Der Rat der EU (also die Vertretung der Regierungen der EU-Mitgliedsstaaten) wollte massive Überwachungsberechtigungen, das Europäische Parlament diese wenigstens einschränken. Hier ist zu unterscheiden zwischen Überwachung in Echtzeit und Retrograder (also zeitlich nachgelagerter) Überwachung.

Gesichtserkennung in Echtzeit: Es soll prinzipiell ein Verbot geben, mit riesigem aber: Mit Ausnahmen für die Suche nach manchen Opfern von Verbrechen oder den Tatverdächtigen und mit Ausnahmen bei Terroranschlägen (und sogar für deren Prävention!). Es soll einen Richter.innenvorbehalt geben (also eine Genehmigung durch einen begründeten Antrag vor Gericht benötigen), was aber in dringenden Fällen auch bis zu 24 Stunden nachträglich erfolgen kann.

Zeitlich nachgelagerte Gesichtserkennung: Die Anwendung soll auf Fälle schwerster Verbrechen begrenzt sein. Hier besteht die Gefahr, dass der Katalog relevanter Anwendungsfälle so weit gefasst wird, dass ständig ein Vorwand zur Anwendung besteht. Außerdem muss die Überwachungsinfrastruktur ja aufgebaut und vorgehalten werden, um sie in solchen Fällen einsetzen zu können. Und wenn ein solches System einmal aufgebaut ist, dann lässt sich die Anwendung auch schnell ausweiten.

Vorläufiger Eindruck:

„Hier haben sich wohl Überwachungspolitiker.innen an vielen Stellen durchgesetzt. Das ist bitter. Das versprochene, konsequente Verbot biometrischer Massenüberwachung sieht anders aus.“ – Konstantin Macher von Digitalcourage e.V.

Emotionserkennung

Wir haben an anderer Stelle im Blog erklärt, warum „KI“-Emotionserkennung gefährlich ist und verboten werden sollte. Denn auch wenn die Technologie keine solide wissenschaftliche Basis hat, resultieren daraus echte Gefahren für Menschen. Gut ist: ihr Einsatz soll nun an Arbeitsplätzen und in Bildungseinrichtungen verboten werden (mit Ausnahme „aus Sicherheitsgründen“). Aber: die größten und grundrechtsfeindlichen Anwendungen bleiben beim Verbot außen vor. Nämlich die im Polizeibereich und insbesondere im Bereich Migration und gegen Geflüchtete.

Vorläufiger Eindruck:

„Wie so oft wurden wohl die Rechte von Geflüchteten wieder als erstes verramscht. Das könnte dann z.B. bedeuten, dass mit pseudowissenschaftlichen „KI”-Lügendetektoren Geflüchteten ihr Recht auf Schutz verwehrt wird, weil 'der Computer sagt Nein' und niemand kann die Entscheidung mehr hinterfragen.“ – Konstantin Macher von Digitalcourage e.V.

Reclaim Your Face

Emotionserkennung

Wir haben die zuständigen Abgeordneten im Europäischen Parlament aufgefordert, die gefährliche Emotionserkennung im KI-Gesetz zu verbieten. Wir erklären, warum.

Biometrische Kategorisierung

Mit biometrischer Kategorisierung werden wir anhand unserer äußeren Merkmale automatisch in Schubladen gesteckt. Unser Aussehen wird datafiziert und durch statistische Modelle verarbeitet, um automatisierte Zuschreibungen über uns zu machen. Das entmenschlicht uns nicht nur, es ist auch ein Garant dafür, gesellschaftliche Diskriminierungen auf ein Vielfaches der bereits bestehenden Probleme zu verstärken.
Hierzu wird uns von den Verhandler.innen im Ergebnis ein Verbot versprochen. Das wäre ein wichtiger Erfolg. Aber wie bereits gesagt, der Teufel steckt im Detail. Wir haben bereits unterschiedliche Formulierungen für diesen Aspekt gesehen und es ist noch nicht klar, welche sich durchsetzt. Teilweise sollen rassistische und ethnisierende Zuschreibungen durch solche Systeme explizit verboten werden, andere Formulierungen lassen diesen Aspekt aus. Zahlreiche Ausnahmeregelungen könnten ein Verbot aber auch völlig unwirksam machen, z.B. weil kommerzielle Anwendungen oder solche zur „nationalen Sicherheit“ ausgenommen sind.

Vorläufiger Eindruck:

„Ich glaube es erst, wenn ich es im endgültigen Text sehe. Ein Verbot von biometrischer Kategorisierung – ohne Wenn und Aber – wäre unglaublich wichtig für unsere demokratischen Gesellschaften.“ – Konstantin Macher von Digitalcourage e.V.

Der Kampf ist noch nicht vorbei

Wir und viele andere Organisationen im Bündnis „Reclaim Your Face“ haben die letzten Jahre viel unternommen, um für den Schutz unserer Grundrechte zu kämpfen. Wir haben als offizielle Bürger.inneninitiative mit der Unterstützung von vielen Menschen neue – preisgekrönte – Maßstäbe gesetzt, durch eine privatsphärefreundliche und gleichzeitig effektive Kampagne für ein Verbot biometrischer Massenüberwachung.

Die Mitmachaktion PaperBagSociety hat der Öffentlichkeit vor Augen geführt, wie gefährlich und absurd eine Welt wäre, in der anlasslose Massenüberwachung uns derart in unseren Freiheiten einschränkt, dass selbst einfachste Alltagstätigkeiten massiv erschwert werden. Eine über den Kopf von Aktivist.innen oder über öffentliche Statuen gestülpte Papiertüte wurde so zu einem für alle zugänglichen Symbol für den Protest gegen automatisierte Gesichtserkennung. Eine wissenschaftliche Studie hat zwischenzeitlich sogar gezeigt, dass diese Form des Protestes wirksam ist, um eine kritische Zivilgesellschaft zu stärken.

Wir haben immer wieder versucht Menschen zum Engagement für Demokratie im digitalen Zeitalter zu motivieren und sie dabei zu unterstützen. Und wir haben uns mit mit anderen Aktiven der Zivilgesellschaft ausgetauscht. Durch Aufklärungsarbeit zu den Gefahren dieser Technik haben wir Politik und Medien verdeutlicht, warum das Thema so wichtig ist. Eine besondere Freude ist das Unterstützen von Protesten, denn wenn wir gemeinsam unsere Forderungen vertreten sind wir stärker. Und während es sich häufig lohnt, laut auf der Straße zu sein, sind es auch die vielen offenen Briefe und auch die direkten Gespräche mit Abgeordneten, mit denen wir versuchen der Zivilgesellschaft eine Stimme zu geben. Und natürlich bereiten wir uns auch auf die langfristigen Entwicklungen vor, die sich bereits anbahnen, und mischen uns dort ein.

Jetzt als nächstes kommt erst einmal die Detailarbeit zum Verhandlungsergebnis. Nochmal: Die bisherigen Informationen die wir haben können wir bestenfalls als unvollständig bezeichnen. Es wird noch zu sehen sein, wieviel der öffentlichen Äußerungen Verlautbarungen eine euphemistische Darstellung der jeweiligen Interessensträger.innen ist, welche an den Verhandlungen beteiligt waren, und wie diese Bekundungen in der Realität umgesetzt werden. Auch bei den nichtöffentlichen Informationen die uns vorliegen, müssen wir immer mit einer kritischen Perspektive darauf schauen, wie glaubwürdig sie sind und wie lange sie gültig bleiben. Seit dem offiziellen Ende der politischen Verhandlungen haben wir immer wieder neue und teilweise widersprüchliche Informationen erhalten - und diesen Artikel schon beim Schreiben mehrmals angepasst. Darum sind wir und die (Medien-)Öffentlichkeit gut beraten, eine abschließende Bewertung erst mit dem finalen Text vorzunehmen und immer wieder genau hin zu schauen.

Und sobald die Ausarbeitung des „KI“-Gesetzes wirklich abgeschlossen ist und falls es dann von den Europäischen Institutionen bestätigt wird, dann kommt die Umsetzung in den Mitgliedsstaaten. Die Bundesregierung wird Spielräume dabei haben, wie sie das Gesetz in Deutschland umsetzt. Im Koalitionsvertrag hat die Ampel versprochen, „Biometrische Erkennung im öffentlichen Raum […] auszuschließen“. An dieses Versprechen werden wir sie immer wieder erinnern.

„Als Zivilgesellschaft haben wir gemeinsam einiges bewegt und wir werden nicht nachlassen. Der Kampf gegen biometrische Massenüberwachung hat gerade erst begonnen.“ – Konstantin Macher von Digitalcourage e.V.