Software & Infrastructure
Big Data Analysis with SQL
This talk explains how you can build your own scalable data processing system with just a few open source tools: DBT, Trino, Iceberg and MinIO. And also why SQL is still the best language for data analysis!
Have you ever used PostgreSQL to store *massive* amounts of data? Did your queries take *minutes* or even *hours* to compute?
The field of data analysis is rather complex and a ton of solutions are available: therefore I will show how to compare systems with each other. You will learn why databases like PostgreSQL or MongoDB are not suited to compute analytics queries on huge amounts of data. Then we will look at data analysis architectures that are capable of scaling to terabytes of data and I will explain why they are better in those particular situations.
At the end of the talk you will know which solution is best suited for your next large-scale data project!
Additional information
| Live Stream | https://streaming.media.ccc.de/gpn22/kubus |
|---|---|
| Type | Vortrag |
| Language | English |
More sessions
| 5/30/24 |
Blu-ray Player und Beamer reicht für den Betrieb eines Kinos nicht aus. Zertifizierte Hardware von zertifizierten Herstellern, eingebaut von zertifizierten Technikern und einiger Papierkram sind Pflicht. Ein Einblick hinter die Kulissen eines Kinos mit digitaler Projektor Anlage, wie Verleiher die Filme Ende-zu-Ende Verschlüsselt an Kinos liefern und Filme vor Raubkopierern geschützt werden. Neben einem Überblick über die Projektor Technik wird in dem Vortrag das Dateiformat und die ...
|
| 5/30/24 |
**Für diesen Workshop ist eine [Reservierung](https://join.gulas.ch/entropia/gpn22-workshops/) (ab 26.05., 10:00) notwendig.** In dem Workshop können die Teilnehmenden einen einfachen Compiler in einem Tabellenkalkulationsprogramm erstellen.
|
| 5/30/24 |
An informed opinion and judgement of where we are heading with the cloud.
|
| 5/30/24 |
Spätestens seit dem Brand eines Straßburger Rechenzentrums im März 2021 wissen wir, dass manche Anbieter die Cloud-Migration zu wörtlich nehmen. Der Straßburger Brand war jedoch nicht der einzige Unfall eines Rechenzentrums. In diesem Vortrag zeige ich Bilder und Videos von Rechenzentrums-Bränden, Wasserschäden und Naturkatastrophen. Ich spreche über die Ursachen und Auswirkungen dieser Unfälle, sowie über die Maßnahmen, um eigene Systeme gegen solche zu schützen. Neben schweren ...
|
| 5/31/24 |
Nowadays, many websites rely on user-generated content, e.g., by allowing users to upload images, videos, documents, or other files. If not handled carefully, Unrestricted File Uploads (UFUs) may appear and become a serious security issue. Our academic results show that some UFU types still fly under the state-of-the-art vulnerability scanners' radars, leaving websites at risk of severe vulnerabilities, such as Remote Code Execution or Cross-Site Scripting. Thus, we propose a File Upload ...
|
| 5/31/24 |
**Für diesen Workshop ist eine [Reservierung](https://join.gulas.ch/entropia/gpn22-workshops/) (ab 26.05., 10:00) notwendig.** In dem Workshop können die Teilnehmenden einen einfachen Compiler in einem Tabellenkalkulationsprogramm erstellen.
|
| 5/31/24 |
Aufbauend auf meinem [talk von letztem Jahr][1] werden wir in diesem Talk ein bisschen tiefer in die Kubernetes Materie einsteigen und darüber reden wie man denn jetzt überhaupt mal irgendetwas in sein Kubernetes Cluster rein deployed. Wir werden auch versuchen das ganze halbwegs sinnvoll zu tun ohne alle seine Secrets oder Passwörter im Klartext in Git zu haben, oder die YAML config unnötig zu duplizieren. [1]: ...
|
