Der Mythos der „gezielten Tötung”. Zur Verantwortung von KI-gestützten Zielsystemen am Beispiel „Lavender“

Stage HUFF
Rainer Rehak
Das Lavender-KI-Zielsystem zeigt gut, wie Kriegsautomatisierung aktuell aussieht und was daran falsch läuft.
Das Thema „KI in der Militärtechnik“ und die Beziehung zwischen Mensch und Maschine ist seit Jahrzehnten ein theoretisches Thema in der Philosophie, den Sozialwissenschaften und den kritischen Algorithmus-Studien. Doch in den letzten Jahren wurden Waffensysteme mit KI-Komponenten entwickelt und jüngst in bewaffneten Konflikten praktisch eingesetzt. Am Beispiel des KI-gestützten Zielwahlsystem Lavender, das vom israelischen Militär IDF im derzeit laufenden Gaza-Krieg eingesetzt wird, werden die aktuellen Entwicklungen aufgezeigt und in den historisch-technischen Kontext der „Signature Strikes“ der USA in Waziristan (Pakistan) oder Afghanistan gesetzt, sowie konkrete technische Designentscheidungen vorgestellt und kritisch diskutiert. Dabei entstehen auch Fragen von Verantwortungsverlagerung und Rechtsumgehung. Empirische Grundlage für die Betrachtung ist eine Investigativrecherche mit dem Titel „‚Lavender‘: The AI machine directing Israel's bombing spree in Gaza“ von Yuval Abraham, veröffentlicht im April 2024 in den bekannten israelischen Medien „+972“ und „Local Call “. Grundlage des Reports sind Aussagen von Mitarbeiter:innen und Soldat:innen der IDF. Darin enthüllt Abraham ein KI-basiertes Kommando-, Kontroll- und Entscheidungsunterstützungssystem, das von den IDF zur Identifizierung von Kämpfern Hamas und des Islamischen Dschihad verwendet wird, um Tötungslisten zu erstellen. Aufgrund der KI-typischen heuristischen Natur der Ergebnisse waren etwa 10 % der vorgeschlagenen Ziele Zivilist:innen. Andererseits wurden pro Ziel 15-100 getötete Zivilist:innen als Kollateralschaden eingepreist. Nach Zeugenaussagen werden die Zielpersonen dann nachts zu Hause angegriffen, wenn die ganze Familie anwesend ist. Im Juni 2024 hat das internationale Journalist:innennetzwerk „forbidden stories“ in seiner Studie „The Gaza Project“ gezeigt, dass auch Journalist:innen und Medienschaffende auf solche Listen gesetzt wurden. Auch wenn das Label „KI-basiert“ oftmals Modernität suggerieren soll, trifft das Bild einer „schmutzigen Bombe“ oder Splitterbombe viel besser die eigentliche Funktionsweise dieser Systeme. Die Verwendung dieser Bilder als Metaphern fangen die ungenauen heuristischen Eigenschaften gut ein und ermöglichen es, konkrete Fragen von Verantwortung innerhalb der militärischen Hierarchie zu stellen, die über die Betrachtung der Individuen auf dem Schlachtfeld hinausgehen. Der Vortrag zielt darauf ab, die technische und öffentliche Debatte über Verantwortung in der Mensch-Maschine-Interaktion im Zusammenhang KI-gestützter Waffensysteme voranzutreiben. Die hier vorgestellten Erkenntnisse beruhen auf einer gemeinsamen Analyse von Expert:innen des Forums InformatikerInnen für Frieden und Gesellschaftliche Verantwortung (FIfF e.V.) zusammen mit der Informationsstelle Militarisierung (IMI e.V.) und der Arbeitskreis gegen bewaffnete Drohnen e.V., die die Praxis der KI-basierten „gezielten Tötung“ wie etwa durch Lavender als Kriegsverbrechen zu ächten sucht.

Additional information

Live Stream https://streaming.media.ccc.de/38c3/huff
Type Talk 40 (30min +10 Q&A)
Language German

More sessions

12/27/24
Aaron Schlitt
Stage YELL
Exploring the security of the new iPhone Mirroring feature as well as the current threat model of the iOS ecosystem
12/27/24
captain-maramo
Stage YELL
Das neue Gesetz über die Selbstbestimmung in Bezug auf den Geschlechtseintrag (SBGG) ist da und Menschen können endlich unkompliziert ihren Geschlechtseintrag und ihre Vornamen ändern lassen. Doch der Weg dahin ist nicht einfach. Kommt mit auf eine Roadshow gespickt mit Tipps und Erfahrungen, damit ihr eurer Ziel einfacher erreicht.
12/27/24
WillCrash
Stage YELL
In a world of centralized internet control, building your own mesh network isn't just a technical challenge—it's digital independence. This beginner-friendly guide walks through creating resilient mesh networks using accessible hardware like LoRa and ESP devices. From antenna selection to node placement strategy, learn how to build networks that operate independently of traditional infrastructure.
12/27/24
Swantje Lange
Stage YELL
End-users in cellular networks are at risk of connecting to fake base stations, and we show that mitigations pushed in 5G are insufficient.
12/27/24
derMicha
Stage YELL
Im Rahmen eines vom Prototype Fund geförderten Projektes entstand zusammen mit 4 Schulen die Open Source Software BinBa. Diese Software wurde in enger Zusammenarbeit mit den Schulen konzipiert, umgesetzt und in Betrieb genommen. In dem Talk soll der Weg über die Finanzierung mit Hilfe des Prototyp Funds, die Softwareentwicklung zusammen mit den LehrerInnen und SchülerInnen also auch die Inbetriebnahme beleuchtet werden.
12/27/24
RoteHilfe
Stage YELL
Staatliche Repression aufgrund der Teilnahme an Demonstrationen oder wegen anderer politischer Tätigkeiten gehören zur leidigen Erfahrung von Aktivist*innen. Wir geben Tipps und diskutieren, wie man mit einigen, typisch auftretenden Situationen bzw. Repressionsmaßnahmen umgehen kann.
12/27/24
Alvar C.H. Freude
Stage YELL
Wenn Sicherheitsforscher und Hacker Datenlecks direkt dem dafür Verantwortlichen melden, setzen sich u.U. strafrechtlichem Risiko aus oder werden auch mal schlicht ignoriert. Stattdessen kann es in der Praxis aber auch sinnvoll sein, die Möglichkeiten der DS-GVO und die Befugnisse der Datenschutz-Aufsichtsbehörden zu nutzen, um Sicherheitslücken schnell zu schließen.