Objektive KI oder diskriminierende Killer-Roboter?
„ ‚Müssten Maschinen nicht objektiv sein?‘
‚Unsinn [...] Folgendes Beispiel: Ein Human-Resources-Algorithmus lernt, indem er die zahlreichen Entscheidungen durchforstet, die menschliche Personalmanager vor ihm getroffen haben. Er stellt fest, dass Bewerber mit schwarzer Hautfarbe überproportional selten eingestellt wurden. Es ist also nur logisch, Bewerber mit schwarzer Hautfarbe gar nicht erst einzuladen. Verstehst du? Wenn man vorne in einen Algorithmus Vorurteile hineinsteckt, kommen hinten Vorurteile heraus.‘
‚Eine rassistische Maschine?‘
‚Schlimmer. Eine rassistische Maschine unter dem Deckmantel der Objektivität.‘ “
Diese Szene aus dem dystopischen Roman „Qualityland” von Marc-Uwe Kling hat einen realen Hintergrund.
Es ist ein weit verbreiteter Irrglaube, dass Algorithmen oder sogenannte „Künstliche Intelligenz” (KI) objektivere Entscheidungen treffen als Menschen. Schließlich hat eine Maschine keine Voruteile und macht weniger Fehler – oder etwa doch? KI kann große Datenmengen schnell auswerten und daraus ein Ergebnis ableiten. Doch ist dieses Ergebnis nicht vorurteilsfrei oder „richtig” im moralischen Sinn. Es wird immer klarer, dass Wohnort, kulturelle Identität, ökonomischer Hintergrund und Geschlecht eines Menschen die Entscheidungen einer KI beeinflussen.
Deshalb ist es brisant, dass zunehmend solche Algorithmen in autonomen Waffensystemen integriert werden.
Die Autorin
Anja-Liisa Gonsior ist studierte Politikwissenschaftlerin und Friedens- und Konfliktforscherin und arbeitet am Institut PEASEC der TU Darmstadt. Sie interessiert sich vor allem Friedensprozesse und neue Waffentechnologien sowie die damit verbundenen gesellschaftlichen Implikationen.
Teil 1: Autonome Waffensysteme: Was ist das, und wo liegen die Probleme?
Was sind autonome Waffensysteme, wo werden sie schon eingesetzt und warum ist die Regulierung schwierig?
KI und Algorithmen spiegeln menschliche Vorurteile
Algorithmen und KI sind alles andere als objektiv und neutral. Denn Menschen entwickeln die autonomen Systeme und wenden sie an.
Häufig wird vergessen, welche Daten die Grundlage für diese Algorithmen bilden. Leider denken viele Menschen, dass Daten eine Sammlung objektiver Fakten sind. Tatsächlich aber entscheiden Menschen, welche Daten überhaupt gesammelt werden und wie sie verarbeitet werden. Auf diesen Daten aufbauende Algorithmen können also Fehler oder Verzerrungen enthalten, stellt Lydia Kostopoulos in einer Veröffentlichung beim United Nations Institute for Disarmament Research (UNDIR) fest.
Die Probleme beginnen schon bei den Daten, mit denen die Algorithmen trainiert werden – den sogenannten „Trainingsdaten”. Eine Reihe von Forschungsstudien untersucht den Einfluss von Stereotypen auf diese Datenauswahl.
Künstliche Intelligenz soll durch maschinelle Lernalgorithmen selbstständig immer weiter „dazulernen”. Doch die Daten dafür werden hauptsächlich auf Basis von Informationen aus dem Internet generiert. Doch das Internet ist alles andere als vorurteilsfrei.
Noel Sharkey, Professor für künstliche Intelligenz und Robotik an der Universität Sheffield zeigt dass anhand von Studienergebnissen auf, die zeigen, dass der Begriff „Mann” mit Begriffen wie Chef, Präsident, Anführer oder Direktor assoziert wird, während „Frau” assoziiiert wird mit Helferin, Assistentin oder Angestellte. Er stellt auch fest, dass Suchen bei Google nach Vornamen, die in den USA überwiegend schwarze Menschen tragen, Ergebnisse zeigen, die mit Verbrechen zu tun haben; während Suchen nach Vornamen, die vor allem weiße Amerikaner tragen überwiegend Kontaktdaten zum Vorschein bringen.
Das wirft die drängende Frage auf, wie geeignet diese Trainingsdaten sind, wenn sie in kritischen Bereichen genutzt werden, wie zum Beispiel für militärische Anwendungen.
Schon die Daten, die zum Trainieren von KI verwendet werden, können also Vorurteile enthalten. Zusammen mit den verwendeten Algorithmen und Designentscheidungen, führt das zu KI-Systemen, die bestehende gesellschaftliche Vorurteile und Ungleichheiten widerspiegeln und sogar verstärken können. Das bestätigt auch ein Bericht des Büros für Technikfolgen-Abschätzung beim Deutschen Bundestag:
"Algorithmen, … können eine komplexe Wirklichkeit niemals objektiv, neutral und präzise abbilden, denn sie reflektieren immer die Auswahlentscheidungen, die in ihrem Design getroffen werden müssen."
Es geht hier nicht darum, die Verhaltensweisen von KI und Menschen gegenüberzustellen, sondern darum festzustellen, wie menschliche Vorurteile in Algorithmen übergehen und dadurch institutionalisiert werden. Vorurteile, die in der Gesellschaft bestehen, manifestieren sich in den von Menschen erstellten Festlegungen, Datensätzen und Algorithmen.
Beispiele für Diskriminierung bei KI-Anwendungen
Was passiert, wenn solche nicht neutralen Trainingsdaten Anwendung in KI-Technologien finden? Probleme sind zum Beispiel bekannt bei Gesichts- und Stimmerkennungssoftware:
-
So zeigen Studien, dass Gesichtserkennungssoftware People of Colour generell schlechter erkennt als weiße Menschen, Frauen schlechter als Männer und insbesondere Women of Colour überdurchschnittlich häufig falsch erkannt werden.
-
„Stimmerkennung schafft es nicht, auf Frauenstimmen oder nicht-nordamerikanische Akzente zu reagieren; Personen, die in einer Küche stehen, werden auf Fotos als Frauen gekennzeichnet“ (Ray Acheson).
-
Vorurteile von Gesichtserkennungssoftware wurden auch von der Informatikerin und Aktivistin Joy Buolamwini am MIT Media Lab untersucht und kürzlich in der Dokumentation „Coded Bias” verfilmt.
Ein weiteres Beispiele aus dem zivilen Bereich: In den USA bewertet eine Risikobewertungssoftware auf Basis von KI, mit welcher Wahrscheinlichkeit Kriminelle zu Wiederholungstäter:innen werden. Die Ergebnisse der Bewertung wurden von einer NGO mit den tatsächlichen Wiederholungstaten verglichen. People of Colour wurden von der Software im Vergleich fast doppelt so häufig wie weiße Straftäter:innen als höheres Risiko eingestuft, auch wenn sie tatsächlich nicht wieder straffällig wurden. Das ist eine neue, automatisierte Form von rassistischer Profilbildung (Racial Profiling).
Was bedeutet das für KI in autonomen Waffensystemen?
Wir können davon ausgehen, dass ähnliche Diskriminierungsstrukturen auch in der Software autonomer Waffensysteme enthalten sein werden. Sogenannte „letale autonome Waffensysteme” können ihre Ziele ohne menschliches Zutun auf Basis von Algorithmen und Datenanalyse selbst auswählen und ohne Bestätigung durch einen Menschen beschießen.
Im Fokus der Debatte um solche Waffensysteme steht der Einsatz bewaffneter Drohnen. Seit einigen Jahren trainiert etwa die US Air Force mehr Drohnenpilot:innen als Kampf- und Bomberpilot:innen.
Es ist zu befürchten, dass der Einsatz von KI in autonomen Waffensystemen Diskriminierungsstrukturen nicht nur erhalten, sondern weiter verstärken wird, mit potenziell tödlichen Konsequenzen für bestimmte Gruppen. Marieke Eilers von der Internationalen Frauenliga Für Frieden und Freiheit geht davon aus, dass „Menschen in Zukunft – mehr als ohnehin schon – aufgrund von Geschlecht, Hautfarbe oder anderen diskriminierenden Kriterien sterben müssen“.
Wie entscheidet aber nun eine KI-Drohne, auf wen sie schießt? Gemäß der Genfer Konvention dürfen nur kämpfende Personen, die eindeutig als solche identifiziert wurden, angegriffen werden.
Bei einer bestimmten Form von bewaffneten Drohneneinsätzen, den sogenannten „signature strikes” werden Menschen „auf der Grundlage beobachteter Merkmale angegriffen, ohne dass wesentliche Informationen über die tatsächliche Identität oder Zugehörigkeit vorliegen“, erklärt Ray Acheson, Aktivistin und Direktorin der Organisation Reaching Critical Will.
Als ein Schlüsselmerkmal zur Unterscheidung zwischen unschuldigen Zivilist:innen und anzugreifenden Kämpfer:innen (sogenannten „killable bodies”, zu tötende Körper) wird dabei das von der KI angenommene Geschlecht verwendet. Verschiedene Studien über den Einsatz (semi-autonomer) bewaffneter Drohnen kommen zu dem Schluss, dass Personen, die als Männer im Militäralter eingeordnet werden, in Kriegsgebieten fast immer als Kämpfer eingestuft werden.
Du bist jung, männlich, religiös und befindest dich in einem Kriegsgebiet? Dann wirst du sehr wahrscheinlich als Kämpfer eingestuft, der nach Genfer Konvention angegriffen werden darf.
Berichte über bewaffnete Drohnenangriffe zeigen, dass neben Gender auch Alter und religiöse Handlungen, wie das Beten in Gruppen, als Indikatoren dafür dienen, ob Personen in Kriegsgebieten angegriffen werden.
Da die Mehrzahl aller bewaffneten Drohnenangriffe der USA auf signature strikes zurückzuführen ist, kann davon ausgegangen werden, dass auch KI-Waffen größtenteils auf Grundlage solcher Merkmalskonstruktionen und Zielprofile agieren würden. Der Unterschied: Eine KI würde die Entscheidung nicht hinterfragen. Damit würden diese Konstruktionen nicht nur in das System einprogrammiert, sondern wären auch kaum mehr als solche nachzuvollziehen.
All diese Beispiele zeigen, dass Algorithmen alles andere als neutral und objektiv sind. Im Gegenteil: KI sorgt dafür, das bestehende Stereotype und Machtverhältnisse weiter aufrecht erhalten werden und KI-Waffen bedrohen bestimmte gesellschaftliche Gruppen. Deshalb muss der Einsatz von vollautonomen Waffensystemen dringend verboten oder mindestens geächtet werden.
Wir brauchen eine Regulierung
Im aktuellen Koalitionsvertrag wird von der deutschen Regierung erstmals eine feministische Außenpolitik als Ziel genannt, die die Sicherheit von Menschen und marginalisierten Gruppen in Konflikten und Kriegen in den Fokus nimmt. Tatsächlich aber ist Deutschland bei der Thematik sehr zögerlich, wenn es darum geht, eine Position einzunehmen.
Die deutsche Bundesregierung sollte als Vorbild für andere europäische Staaten vorangehen und sich für eine Regulierung autonomer Waffensysteme starkmachen.
Weiterführendes Material
- https://centreforfeministforeignpolicy.org/
- https://algorithmwatch.org/
- https://dig.watch/processes/gge-laws/
- Boulanin, Vincent/Verbruggen, Maaike (2017): Mapping the Development of Autonomy in Weapon Systems. Stockholm: SIPRI. https://www.sipri.org/publications/2017/other-publications/mapping-development-autonomy-weapon-systems
- Amoroso, Daniele/Tamburrini, Guglielmo (2021): Toward a Normative Model of Meaningful Human Control over Weapons Systems. In: Ethics & International Affairs 35(2), S. 245-272.
- Amoroso, Daniele/Sauer, Frank/Sharkey, Noel/Suchman, Lucy/Tamburrini, and Guglielmo (2018): Autonomy in Weapon Systems. Berlin: Heinrich Böll Stiftung.
- Scharre, Paul (2018): Army of None. Autonomous Weapons and the Future of War. New York, London: W.W. Norton & Company.
- Wenn KI, dann feministisch – Impulse aus Wissenschaft und Aktivismus. Berlin: netzforma* e.V. – Verein für feministische Netzpolitik. https://netzforma.org/publikation-wenn-ki-dann-feministisch-impulse-aus-wissenschaft-und-aktivismus
- Rosert, Elvira/Sauer, Frank (2019): Prohibiting Autonomous Weapons: Put Human Dignity First. In: Global Policy 10(3), S. 370-375.
- Schörnig, Niklas (2014): Automatisierte Kriegsführung – Wie viel Entscheidungsraum bleibt dem Menschen? In: Aus Politik und Zeitgeschichte, APUZ 64 (35-37), S. 27-34.
- Carpenter, Charli (2014): Robot Soldiers Would Never Rape: Un-packing the Myth of the Humanitarian War-Bot. In: The Duck of Minerva, 14.05.2014. Online: https://www.duckofminerva.com/2014/05/robot-soldiers-would-never-rape-un-packing-the-myth-of-the-humanitarian-war-bot.html