Emotionserkennung
Im Europäischen Parlament werden gerade Änderungsanträge zum KI-Gesetz (AIAct) verhandelt. Aktuell geht es insbesondere um Emotionserkennung. Das ist eine Technologie, deren wissenschaftliche Basis höchst umstritten ist, die aber gefährliche Anwendungsfälle hat. Dazu gehört zum Beispiel die Anwendung von KI für eine neue Generation von „Lügendetektoren“ („KI-Polygrafen“). Der Einsatz von Lügendetektoren gilt in Deutschland bislang als rechtsstaatlich nicht vertretbar, könnte auf diesem Umweg aber zugelassen werden. Im Rahmen unserer Arbeit zu einem europäischen KI-Gesetz (Stichwort Reclaim Your Face) begleiten wir mit unseren Partner.innen auch die Regulierung von Emotionserkennung. Nachfolgend wollen wir das Thema und unsere Position dazu genauer erklären.
Unterstützen Sie die gute Sache: Freiheit, Grundrechte und Demokratie.
Viele Menschen engagieren sich bei uns in ihrer Freizeit, seien auch Sie dabei!
Bleiben Sie auf dem Laufenden über unsere Arbeit und unsere Themen.
Was ist (das Problem bei) Emotionserkennung
Mit Emotionserkennung werden Systeme bezeichnet, die biometrische Merkmale von Gesichtern oder Stimmen datafizieren. Dann werden automatisiert Schlussfolgerungen über die Emotionen von Personen getroffen, zum Beispiel ob eine Person gerade wütend oder nervös ist. Emotionserkennung ist wissenschaftlich umstritten und kann diskriminierende Stereotype reproduzieren.
Unabhängig von der Frage, ob KI-Systeme tatsächlich auf unseren emotionalen Zustand schließen können, ist deren Einsatz ein inakzeptabler Eingriff in unser privates Geistesleben und untergräbt unser Recht auf Privatsphäre. Wenn Sicherheitskräfte Emotionserkennung benutzen, um potenziell „aggressive“ Personen in Menschenmengen oder bei Protesten zu erkennen und diese Personen proaktiv festnehmen, bevor sie eine aggressive Handlung begehen könnten, spielt es keine Rolle, ob die Schlussfolgerung fehlerhaft war oder nicht. Die Folgen sind real und untergraben unsere Rechte auf Meinungs- und Versammlungsfreiheit.
Inakzeptable Emotionserkennungssysteme werden leider bereits eingesetzt, auch in der EU:
- gegen Geflüchtete an europäischen Außengrenzen;
- in China zur Überprüfung der Loyalität von Parteimitgliedern,
- … oder gegen die Uiguren,
- … oder zur Emotionserkennung bei Schulkindern in Hongkong;
- oder als „intelligente Videoüberwachung“ von Siemens in Zügen, um Sitzplätze zu überwachen und „aggressives Verhalten“ in Zugwaggons automatisiert zu erkennen und zu melden. Das wurde laut Siemens bereits in Deutschland und Österreich als Prototypen getestet, z. B. durch „‘Versteckte’ Kameras in den Anzeigen des Fahrgastinformationssystems“.
Die Hohe Kommissarin der Vereinten Nationen für Menschenrechte, Michelle Bachelet, hat in ihrem Jahresbericht 2021 davor gewarnt, dass Emotionserkennung, zum Beispiel um Personen für Polizeikontrollen oder Verhaftungen auszusondern oder den Wahrheitsgehalt von Aussagen bei Verhören zu bewerten, Menschenrechte verletzen kann.
Auch der europäische Datenschutzbeauftragte und der Ausschuss der Datenschutzbeauftragten der Mitgliedsstaaten der EU haben vor der Verwendung von „KI“ zur Ableitung von Rückschlüssen auf Emotionen von Menschen gewarnt und ein Verbot im KI-Gesetz gefordert.
Was die EU machen sollte
Die Abgeordneten im Europäischen Parlament sollten diese Warnungen aus Zivilgesellschaft und Fachbehörden ernst nehmen und die Menschen in der EU vor der gefährlichen Emotionserkennung schützen. Wir empfehlen nachdrücklich, ein Verbot von Emotionserkennungssystemen, einschließlich „KI-Lügendetektoren“, in Artikel 5 des KI-Gesetzes aufzunehmen. Insbesondere bei folgenden Anwendungsfällen:
- bei staatlichen Leistungen, wie Anträgen auf Wohngeld;
- wenn Arbeitgeber.innen Arbeitnehmer.innen überwachen, um sie zu beurteilen, einzustufen oder zu kontrollieren;
- in Bildungseinrichtungen, um damit Schüler.innen und Lehrer.innen zu überwachen und sie damit automatisiert zu beurteilen und zu kontrollieren.
In Fällen, bei denen Emotionserkennung zur medizinischen Anwendung ausnahmsweise erlaubt werden kann, darf dies nur unter Kriterien erfolgen, die eine sinnvolle und verhältnismäßige Anwendung gewährleisten. Dazu gehört:
- Alle betroffenen Gruppen und relevanten Expert.innen sind bei der Entwicklung einzubinden, einschließlich Patient.innenverbänden und Datenschutzexpert.innen.
- Systeme müssen wissenschaftliche und klinische Validität nachweisen.
- Es muss klare Hinweise auf die Grenzen solcher Technologien und ihre potenziellen Risiken, die aus der Fehleranfälligkeit der Systeme resultieren, geben.
- Die Systeme müssen in einer Weise entwickelt und eingesetzt werden, die die Rechte aller Personen, die davon betroffen sein könnten, respektiert.
Wenn ein System nicht so entwickelt werden kann, dass es alle Kriterien erfüllt, sind die Risiken inakzeptabel und es muss durch das KI-Gesetz verboten werden.
Viele Baustellen auf dem Weg zum KI-Gesetz
Außerdem wollen wir noch an andere Stellen erinnern, an denen der Gesetzesentwurf zum europäischen KI-Gesetz nachgeschärft werden muss. Wir fordern, folgende Lücken im geplanten Verbot biometrischer Massenüberwachung zu schließen: Bisher soll nur die Identifizierung anhand biometrischer Daten zur Echtzeitüberwachung an öffentlichen Plätzen verboten werden. Retrograde (zeitlich nachgelagerte) Überwachung ist aber genauso gefährlich. Außerdem sind bisher zu viele Ausnahmen vorgesehen und das Verbot soll nur für Strafverfolgungsbehörden gelten. Dabei haben Unternehmen wie Clearview AI in der Vergangenheit gezeigt, dass wir uns auch vor dem Missbrauch biometrischer Daten durch private Überwachungsakteur.innen schützen müssen. Die Bundesregierung hat sich im Rat der EU dafür engagiert, die vorgesehenen Ausnahmeregelungen beizubehalten – entgegen dem konsequenten Verbot, das sie im Koalitionsvertrag der Ampel versprochen hat. Jetzt ist die Position des Europäischen Parlaments umso wichtiger. Am Ende wird das Gesetz verhandelt zwischen dem Europäischen Parlament und den Vertreter.innen der Regierungen der europäischen Mitgliedsländer aus dem Rat der EU.
Ampel bricht Koalitionsvertrag
