Autonome Waffensysteme: Was ist das, und wo liegen die Probleme?

Was sind autonome Waffensysteme?

Wer von autonomen Waffensystemen spricht, meint damit meistens unbemannte Drohnen, also autonom oder teilautonom ferngesteuerte mobile Waffensysteme. Doch bis heute gibt es keine einheitliche, international anerkannte Definition des Begriffes. Eine der bekanntesten Definitionen stammt vom Internationalen Komitee des Roten Kreuzes:

„Any weapon system with autonomy in its critical functions […] that can select […] and attack […] targets without human intervention.“ (ICRC)

Der Begriff bezeichnet gemäß dieser Definition also Waffensysteme, die ohne menschliches Zutun entscheiden, welche Ziele sie angreifen.

Es ist allerdings umstritten, ob mit autonomen Waffensystemen ausschließlich vollautonome Systeme gemeint sind oder auch schon teilautomatisierte, das heißt Systeme, bei denen einige Funktionen autonom ablaufen und andere durch Menschen gesteuert werden. Die Grenzen sind fließend zwischen Automatisierung und Autonomisierung, also zwischen unterschiedlich komplexen Stufen der Technologie. „Anfangs ist der Mensch noch in der ‚Entscheidungsschleife‘ – in-the-loop. Überwacht er primär und gibt nur Ziele vor, ist er on-the-loop, um schließlich beim vollautonomen System out-of-the-loop, zu sein,“ beschreibt der Sicherheitsforscher Niklas Schörnig die technologischen Entwicklungstufen.

Wo findet bereits ein Einsatz von autonomen Waffen statt?

Zu Beginn des russischen Angriffs auf die Ukraine wurde viel über Waffen in Verbindung mit „Künstlicher Intelligenz” (KI) spekuliert. Anders als erwartet dominieren jedoch konventionelle Waffen den Krieg. KI-Erkennungssysteme gibt es derzeit nur in der Raketenabwehr: Die Ukraine nutzt ein System, das mittels Geräuscherkennung eindringende Raketen und Drohnen erkennen soll. Der Einsatz der Switchblade-Drohne wurde vermutet, ob die sogenannte „Kamikazedrohne“, inzwischen tatsächlich eingesetzt wurde, ist nicht zweifelsfrei zu klären.

Im Jahr 2020 gab es in Libyen einen Angriff mit einer Drohne, der für Aufmerksamkeit sorgte. Ob sie wirklich autonom unterwegs war, wie ein UN-Bericht nahelegt, ist umstritten.

Nach Ansicht des Sicherheitsforschers Frank Sauer sind autonome Systeme längst im Einsatz. Doch das hängt nicht zuletzt von der Definition des Begriffs „autonom“ ab.

Auf jeden Fall gehören unbemannte Drohnen mittlerweile zum militärischen Inventar. Im Ukraine-Krieg spielen sie eine immer wichtigere Rolle. Zwar muss heute gewöhnlich noch ein Mensch den Schießbefehl geben. Doch Expert:innen gehen davon aus, dass unbemannte Drohnen in naher Zukunft weitgehend autonom agieren werden.

Was ist problematisch am Einsatz autonomer Waffen?

Autonome Waffensysteme werfen technische, (völker-)rechtliche, sicherheitspolitische, ethische und humanitäre Fragen auf. Hier ist noch viel Forschung nötig, deren Ergebnisse zwischen Aktivist:innen, Wissenschaftler:innen und Regierungsvertreter:innen diskutiert werden müssen. Außerdem sollten auch Vertreter:innen aus Militär und Industrie in Gespräche integriert werden.

Rechtlich-technische Probleme

Im Kontext der Genfer Konventionen stellen sich wichtige rechtliche Fragen: Wer trägt die juristische Verantwortung für das, was letale autonome Waffen anrichten – die Einsatzleitung, die Programmiererin, der Waffenproduzent? Derzeit wird diskutiert, ob zur Klärung neue Gesetze gebraucht werden, oder ob die existierenden auch auf die neuen Waffensysteme angewand werden können. In diesem Zusammenhang wird auch diskutiert, ob autonome Waffensysteme in der Lage sein werden, zwischen Zivilist:innen und Angehörigen der beteiligten Streitkräfte zu unterscheiden.

Ein weiteres Problem: Wie lässt sich verhindern, dass sich durch den Einsatz autonomer Systeme Konflikte verselbstständigen und die Hemmschwelle für den Ausbruch von Kriegen damit sinkt?

“Darum frage ich Sie noch mal”, sagt Tony. “War dieser Dritte Weltkrieg wirklich nötig?”
“Nun ja, unsere Analysten sitzen noch an den Daten und versuchen zu extrahieren, was die Entscheidung der Verteidigungsalgorithmen ausgelöst hat”, erwidert General Dragqueen. “Wir gehen momentan von einer Ereigniskaskade verschiedenster autonomer Trigger aus, also Trigger auf unserer Seite und Trigger aufseiten der Gegner, die sich gegenseitig durch ihre getriggerten Reaktionen auf das Triggern der Trigger, äh, getriggert haben.”
(Marc-Uwe Kling, Qualityland 2.0)

Diese Roman-Szene beschreibt das sogenannte „Blackbox-Problem”: Auf welcher Grundlage ein selbstlernendes KI-System genau entscheidet, ist im Detail kaum nachzuvollziehen. Entscheidungen lassen sich immer schlechter vorhersagen oder im Nachhinein erklären. Mit immer mehr KI wächst auch das Risiko für unerwartetes Verhalten der Systeme und technische Schwachstellen. Daher stellt sich die Frage, ob und wie aus technischer Perspektive die Entscheidungen einer KI transparent gemacht werden können.

Dieses Problem ist auch relevant für teilautonome Systeme, bei denen sich noch ein Mensch in der Entscheidungsschleife befindet. Studien zur kognitiven Verzerrung (automation bias) haben zum Beispiel gezeigt, dass Menschen Vorschläge von KI-gesteuerten Assistenzsystemen in den meisten Fällen annehmen, da sie kaum nachvollziehen können, wie sie zustande gekommen sind. Man kann also auch bei teilautonomen Systemen schon von einem Kontrollverlust des Menschen sprechen.

„Es birgt extreme Risiken, wenn Maschinen dazu programmiert sind, Menschen zu töten: Wenn ein System sein Verhalten ändern kann, ohne dass sein:e Programmierer:in oder Benutzer:in versteht, wie oder warum, hat die Waffe das Potenzial, Dinge zu tun, für die sie ursprünglich nicht programmiert wurde“, schreibt die Aktivistin Ray Acheson in „Wenn KI, dann feministisch“.

Und schließlich stellt sich die Frage, mit welchen Daten KI-Waffen trainiert wurden und wie neutral diese Daten sind (siehe hierzu auch „Objektive KI oder diskriminierende Killer-Roboter?” in unserem Blog)

Ethisch-humanitäre Bedenken

Welche ethischen und moralischen Grundsätze gelten, wenn Kriege mit autonomen Waffen geführt werden? Aus ethisch-humanitärer Perspektive führt der Einsatz von KI-Waffen zu einer weiteren Entmenschlichung der Kriegsführung. Wenn die Entscheidung über Leben und Tod an eine KI delegiert wird, werden Menschen auf Datenmuster und damit auf Objekte reduziert – eine Verletzung der Menschenwürde.

Ob der Einsatz autonomer Waffensysteme mit dem Völkerrecht vereinbar ist, ist fraglich. Sie haben schließlich kein Verständnis für Menschenrechte und Menschenwürde. „Völkerrechtler bezweifeln […], dass sich zentrale Prinzipien des humanitären Völkerrechts wie bspw. ‚Proportionalität‘ […] in Softwarecode fassen lassen“, schreibt Niklas Schörnig. Die Women’s International League for Peace and Freedom (WLIPF) gibt zu bedenken, dass autonome Waffensysteme kein Mitgefühl kennen und kein Gewissen haben. Weil Waffensysteme keine Moral haben, wären Kriege bei denen autonome Systeme eingesetzt werden, noch abstrakter, gewalttätiger, inhumaner und empathieloser, befürchtet die Wissenschaftlerin Barbara Rosen Jacobson.

Aus ethischer Perspektive muss daher immer ein Mensch Teil der Entscheidungsschleife sein, also das letzte Wort haben. Im Jahr 2013 brachte die NGO Article 36 dafür das Konzept der „Meaningful Human Control”, also einer bedeutsamen menschliche Kontrolle, ins Gespräch. Mittlerweile wird dieses Konzept von internationalen Organisationen wie auch von Staaten immer wieder aufgegriffen. Allerdings ist noch nicht klar, was eine solche bedeutsame menschliche Kontrolle beinhalten soll und wie sie praktisch umgesetzt werden kann.

Warum eine Regulierung von autonomen Waffensystemen so kompliziert ist

Die öffentliche Diskussion über den Einsatz von autonomen Waffensystemen und damit zusammenhängende rechtliche, technische und ethische Fragen ist vor allem dem zivilgesellschaftlichen Protest der 2012 gegründeten Kampagne gegen Killeroboter zu verdanken. Ein internationales NGO-Netzwerk prangert hier seit über zehn Jahren die Entmenschlichung durch automatisierte Entscheidungssystemen an und fordert, autonome Waffensysteme sofort weltweit zu verbieten.

Im Rahmen einer UN-Konvention verhandeln seit 2017 Sachverständige über die Regulierung von autonomen Waffensystemen. Diese Expert:innengruppe konnte sich bisher lediglich auf vage formulierte Leitlinien einigen. Eine besonders hohe Hürde für die Regulierung ist seit Jahren die Einigung auf eine Definition für autonome Waffensysteme. Eine einheitliche Definition wurde lange als notwendige Grundlage für einen Rüstungskontrollvertrag gesehen.

Dass die Regulierung autonomer Waffensysteme so schwierig ist, hat mehrere Gründe:

• Autonome Waffen sind keine eigene Waffenkategorie. Autonomie ist eine Eigenschaft, die in unterschiedliche Systeme eingebaut werden kann. Es wäre besser, statt von autonomen Waffensystemen von Autonomie in Waffensystemen zu sprechen. Der Übergang zwischen Automatisierung und Autonomie ist fließend und das macht es schwer, eine Grenze zu ziehen. Zudem ist Autonomie eine Technologie, die nicht nur für militärische, sondern auch für zivile Zwecke genutzt wird. So wird zum Beispiel erforscht, ob sich Erkenntnisse aus dem autonomen Fahren auf militärische Zwecke übertragen lassen.

• Der klassische Ansatz der Rüstungskontrolle besteht darin, festzulegen, wieviele Waffen von einem bestimmten Typ ein Land besitzen darf. Dieser Ansatz aber greift hier nicht, denn wie quantifiziert man Software? Es braucht deshalb neue Formen der Rüstungskontrolle, die auf qualitativer Ebene ansetzen und beispielsweise den Anwendungskontext in den Blick nehmen.

• Die Auswirkungen von autonomen Waffensystemen sind bisher wenig sichtbar und die Regulierung dieser Systeme wäre eine vorbeugende Maßnahme. Daher ist es kaum möglich, sich bei der Regulierung an den Verboten oder Ächtungen anderer Waffensysteme – wie etwa Streumunition und Antipersonenminen – zu orientieren.

Das alles erschwert die Regulierung und führt dazu, dass die Verhandlungen im zuständigen UN-Arbeitsgremium seit Jahren kaum vorankommen. Auch weil es wenig vergleichbare Vorgehensweisen gibt, an denen man sich orientieren könnte. Wie kann also unter diesen Bedingungen eine Rüstungskontrolle gelingen? Viele Hoffnungen drehen sich um das schon erwähnte Konzept der „Meaningful Human Control”. Dass das Konzept sinnvoll ist, darüber sind sich NGOs und Staatenvertreter:innen weitgehend einig. Allerdings haben die Akteure teilweise sehr unterschiedliche Definitionen und Interpretationen.

Auch wenn es nicht einfach ist, autonome Waffensysteme zu definieren und zu regulieren, auch wenn es derzeit kaum möglich scheint, alle Parteien an einen Tisch zu bringen: Wir müssen uns mit aller Kraft dafür einsetzen, dass vollautonome Waffensysteme geächtet werden. Weil ein Krieg, in dem die Entscheidungsmacht bei Maschinen liegt, auf Menschen keine Rücksicht nimmt.