Sustainability & Climate Justice

What is this? A machine learning model for ants?

How to shrink deep learning models, and why you would want to.
This talk will give a brief introduction of deep learning models and the energy they consume for training and inference. We then discuss what methods currently exist for handling their complexity, and how neural network parameter counts could grow by orders of magnitude, despite the end of Moore's law.
Declared dead numerous times, the hype around deep learning is bigger than ever. With Large Language Models and Diffusion Models becoming a commodity, we ask the question of how bad their energy consumption really is, what we can do about it, and how it is possible to run cutting-edge language models on off-the-shelf GPUs. We will look at the various ways that people have come up with to rein in the hunger for resources of deep learning models, and why we still struggle to keep up with the demands of modern neural network model architectures. From low-bitwidth integer representation, through pruning of redundant connections and using a large network to teach a small one, all the way to quickly adapting existing models using low-rank adaptation. This talk aims to give the audience an estimation of the amount of energy modern machine learning models consume to allow for more informed decisions around their usage and regulations. In the second part, we discuss the most common techniques used for running modern architectures on commodity hardware, outside of data centers. Hopefully, deeper insights into these methods will help improve experimentation with and access to deep learning models.

Additional information

Live Stream https://streaming.media.ccc.de/37c3/eins
Type lecture
Language English

More sessions

12/27/23
Sustainability & Climate Justice
Anke Domscheit-Berg
Saal 1
Wie der Bund seine IT einkauft und betreibt, hat eine erhebliche Auswirkung auf das Klima. GroKo und Ampel-Regierung waren und sind daher groß im Ankündigen grüner IT: in digitalpolitischer Umweltagenda, Koalitionsvertrag, Digitalstrategie und Gigabitstrategie. Wie weit Anspruch und Wirklichkeit auseinanderklaffen, erfrage ich als Bundestagsabgeordnete regelmäßig mit Kleinen Anfragen und schriftlichen Fragen. Ich verspreche kleine Hoffnungsschimmer, aber auch Frustration, denn meine neueste ...
12/27/23
Sustainability & Climate Justice
thomas
Saal Zuse
I look into the resource consumption of data centers and present my state of knowledge. I ask more questions than I give answers.
12/28/23
Sustainability & Climate Justice
joseph
Saal Granville
In this talk I provide an overview of the environmental harm driven by software and how FOSS is well-positioned to address the issues. I will link the inherent values that come with a Free & Open Source Software license to sustainable software design, and I will present the various ways that Free Software aligns with the Blue Angel ecolabel. Finally, I will provide an overview of the current sustainability goal of KDE and the work of the KDE Eco initiative. This includes publishing the KDE Eco ...
12/28/23
Sustainability & Climate Justice
Saal Zuse
Es war einmal ein Planet voller Affen, die sich Geschichten über sich, das Universum, die Technik und den ganzen Rest erzählten. Sie erzählten sich vor allem Storys vom unendlichen Wachstum und von der technologischen Überwindung der Sterblichkeit. Spätestens im Jahr 2023 passten diese sehr mächtigen Erzählungen nicht mehr. Die Ökosysteme brachen zusammen, planetare Grenzen und Artensterben wurden unignorierbar und so standen nicht nur das Klima, sondern auch die alten Narrative an einen ...
12/28/23
Sustainability & Climate Justice
Saal Zuse
Mobilisierung von Menschen nach Lützerath, Bauvorkehrungen zur Verteidigung treffen, die Räumungsvorbereitungen von RWE und Polizei stören, Infrastruktur-Ausbau trotz abgeschalteten Stroms, auf Presse-Anfragen aus der ganzen Welt reagieren, WLAN für alle, Live-Berichterstattung üben, Kommunikationswege absichern, Wetten dass?! gewinnen, dem kalten Wetter trotzen, sich mit andern Kämpfen solidarisieren und heimlich einen Tunnel graben. Vor einem Jahr liefen die Vorbereitungen gegen die ...
12/28/23
Sustainability & Climate Justice
Rainer Mühlhoff
Saal Granville
KI beruht auf der weltweiten Ausbeutung nicht nur natürlicher, sondern auch sozialer Ressourcen. Um KI nachhaltig zu gestalten, müssen wir algorithmischer Diskriminierung und sozialer Selektion, der Ausbeutung und Prekarisierung digitaler Arbeit und der Tendenz eines neuen, digitalen Kolonialismus entgegentreten.
12/29/23
Sustainability & Climate Justice
Saal 1
Supereffiziente digitale Technik als Lösung aller Probleme oder doch lieber die selbstgebaute ressourcensparsame Low-Tech-Variante? Die Zukunftsvorstellungen, die den Einsatz digitaler Technik und ökologische Fragen zusammendenken, sind in der deutschen Diskurslandschaft nicht gerade üppig gesät. Im Vortrag werden die Ergebnisse einer Kurzstudie präsentiert, bei der wir die Zukunftsvorstellungen digital-ökologischer Transformation bei gesellschaftspolitischen Akteuren gesucht, analysiert ...