Science

Gemeinwohlorientierte Forschung mit KI: Missbrauch eindämmen durch Zweckbindung für KI-Modelle

Trainierte KI-Modelle sind mächtige Werkzeuge, die in Wissenschaft und Forschung oft für gute Zwecke gebaut werden. Aber wie alle Werkzeuge können sie auch zweckentfremdet werden – in Bereichen, für die sie nicht gedacht waren, in denen sie profitgierigen Interessen dienen und gesellschaftlichen Schaden anrichten. Vor dem Hintergrund des Trends von "open source" AI ist die Gefahr der unkontrollierten Zweckentfremdung von KI-Modellen enorm gestiegen. Wir zeigen: Das Risiko einer missbräuchlichen Sekundärnutzung von für Forschungszwecke trainierten KIs ist aktuell die größte regulatorische Lücke, trotz DSGVO und AI-Act. Zugleich ermöglicht das Zweckentfremden von Modellen die immer weiter wachsende Machtposition von Big Tech. Um das Problem zu bekämpfen, muss das Prinzip "Zweckbindung" für das Zeitalter der KI geupdated werden.
Skandale wie die Weitergabe von Forschungsdaten der UK Biobank an Versicherungsunternehmen zeigen ein typisches, aber oft übersehenes Risiko im Zusammenhang mit KI: Modelle und Trainingsdaten, die eigentlich dem Gemeinwohl dienen sollten, werden im Schatten der öffentlichen Aufmerksamkeit, jedoch ohne geltendes Recht zu verletzen, für diskriminierende, manipulative und profitorientierte Zwecke zweitverwendet. Wer etwa in der medizinischen Forschung ein Modell zur Erkennung von psychischen Krankheiten anhand von Audiodaten (Stimmaufzeichnung) baut, kann dieses Modell auch außerhalb des medizinischen Kontexts auf beliebige Individuen anwenden – und zum Beispiel bei Video-Bewerbungsgesprächen ein automatisiertes Risiko Scoring damit machen (unsere Beispiele zeigen, dass daran gerade großes Interesse besteht). Der Besitz trainierter KI-Modelle stellt eine enorme Konzentration von Informationsmacht dar – und mit dieser Macht geht ein Missbrauchspotenzial einher, wenn die Tools z.B. in einen kommerziellen Kontext übertragen werden. Zum Schutz unserer Gesellschaft vor Missbrauch KI-basierter Forschung müssen wir deshalb die Zirkulation trainierter KI-Modelle und anonymisierter Trainingsdaten unter demokratische Kontrolle stellen. Wir brauchen ein Regulierungskonzept, das offene Forschungszwecke ermöglicht und gleichzeitig kommerziellen Missbrauch verhindert. Modelle mit allgemeinem Verwendungszweck wie sie die KI-VO legitimiert, sollte es nicht geben. Als Lösung holen wir das alte, bei der Industrie verhasste und in der Politik fast schon vergessene Datenschutzprinzip der Zweckbindung aus der Mottenkiste und aktualisieren es für die Kontrolle von KI. Unser Regulierungsvorschlag einer "Zweckbindung für KI-Modelle" beruht auf unserer mehrjährigen interdisziplinären Forschung zwischen Ethik, Rechtswissenschaft und Informatik.

Additional information

Live Stream https://streaming.media.ccc.de/38c3/zigzag
Type Talk
Language German

More sessions

12/28/24
Science
Theo Döllmann
Saal 1
Gut 1 Mrd. Datenpunkte zu Zugfahrten, wie kann man damit das Zugfahren verbessern? Wir versuchen, die Zuverlässigkeit von Zugverbindungen vor der Buchung zu prognostizieren.
12/28/24
Science
Joscha Bach
Saal ZIGZAG
Artificial Intelligence is not just an engineering discipline, but also the most fascinating and important philosophical project ever attempted: the explanation of the mind, by recreating it. This part of the series "From Computation to Consciousness" focuses on the nature of the self, agency and identity.
12/28/24
Science
Stefan Magerstedt
Saal GLITCH
Seit einigen Jahren hat Stefan von etwa vierzig regulären deutschen (Pop-)Radiosendern die Playlisten gespeichert. Welche Meta-Informationen sich daraus ergeben und welche Abhängigkeiten von Jahreszeiten, Charts und Ereignissen sich abzeichnen, wird in einem unterhaltsamen Vortrag zum Besten gegeben.
12/28/24
Science
Saal 1
Etwas wie die "Sendung mit der Maus", dafür mit tiefer fachlicher Ausführung und allen Details. Es handelt vor allem um Technik und Abläufe, die man als Laie oder Fluggast nicht sehen und wissen kann.
12/29/24
Science
Saal GLITCH
Trotz intensiver Forschung hinken wir aktuellen Entwicklungen im Bereich Desinformation oft hinterher. In diesem Vortrag erklären wir, warum der Umgang mit Desinformation so herausfordernd ist und welche konkreten Lösungsansätze es gibt.
12/29/24
Science
Knud Jahnke
Saal GLITCH
„Euclid" ist seit 2023 das neue Weltraumteleskop der Europäischen Weltraumbehörde mit Beteiligungen eines Wissenschaftskonsortiums aus vierzehn europäischen Ländern, den USA, Kanada und Japan. Gestartet vor knapp eineinhalb Jahren, läuft jetzt seit gut 9 Monaten die wissenschaftliche Himmeldurchmusterung. Auf dem 37C3 konnte ich die ersten fünf "Early Release Observation" Bilder vorstellen, seitdem ist viel passiert. Vor allem läuft nach ein paar Anlaufschwierigkeiten die Mission ...
12/29/24
Science
Margret Engelhard
Saal ZIGZAG
Have you always wanted to build an egg-laying woolly milk sow or bring the legendary dodo back to life? The dream of some biologists to not only understand organisms, but also to redesign, build or bring living beings back to life is accelerating towards reality with the convergence of synthetic biology and generative AI in ‘generative biology’. For example, large language models are now being used to write genes and proteins, while complex laboratory tests are being replaced by machine ...