Analyse von Datenquellen und Entwicklung von Datenpipelines
10/2024 - heute
Data Engineer
Finanzberatungsunternehmen
Einsatzumfang
Sporadisch (ca. 0-8 Stunden pro Woche) - remote
Aufgabe
Der Kunde benötigte Unterstützung bei der Erhebung, Transformation und Nutzung von Daten, die bislang nicht strukturiert verarbeitet wurden. Ziel war es, neue Erkenntnisse aus verteilten Datenquellen zu gewinnen, Dashboards performanter zu gestalten und Kunden seines Unternehmens beratend in Datenarchitektur-Fragen zu unterstützen.
Lösung
- Analyse und Mapping heterogener Datenquellen (z. B. SQL, NoSQL, APIs)
- Aufbau skalierbarer ETL-Prozesse, um Rohdaten automatisiert zu bereinigen, transformieren und zu laden
- Migration zwischen unterschiedlichen Datenbanken automatisiert, um Konsistenz & Performance sicherzustellen
- Beratung der Endkunden in Fragen zu Datenarchitektur, DWH-Struktur und Datenmodellen
- Optimierung von Power BI Dashboards durch Verlagerung komplexer Berechnungen in das Data Warehouse
- Entwicklung wiederverwendbarer Pipelines zur Datentransparenz und Entscheidungsunterstützung
Ergebnis
- Unsichtbare Daten erstmals nutzbar gemacht, wodurch neue Geschäftsprozesse datenbasiert unterstützt wurden
- Power BI Ladezeiten signifikant reduziert – Performancesteigerung durch modellseitige Optimierung
- Skalierbare ETL-Infrastruktur etabliert, die mehrere Endkunden dauerhaft versorgt
- Beratungsimpact in Kundenprojekten des Auftraggebers gesteigert, u. a. durch maßgeschneiderte Architektur-Empfehlungen
- Zukunftssichere Data-Pipelines implementiert, die heute Kernbestandteil der BI-Strategie sind
Verwendete Technologien
MS SQL
Python
PostgreSQL
Azure Cloud
Azure Fabric
Azure Datafactory
Windows
Linux