IT-Trainer Jobs und Stellenangebote: Data Engineering - Skalierbare Datenpipelines und Big Data Technologien
Seminardauer: 4 Tage
Trainer gesucht
IT-Trainer Jobs und Stellenangebote: Data Engineering - Skalierbare Datenpipelines und Big Data Technologien, Big Data, Data Analyst, Data Engineer, Data Engineering, Data Scientist.
Anmelden / Registrieren als Trainer
Agenda
Einführung in Data Engineering
- Überblick über die Rolle des Data Engineers
- Architektur von Datenplattformen
- Unterschiede zwischen Data Engineering und Data Science
Datenmodellierung und Datenbanken
- Entwurf relationaler Datenbanken und Normalisierung
- Einführung in NoSQL-Datenbanken: Typen und Einsatzgebiete
- Optimierung von Datenbankabfragen und Indexierungstechniken
ETL-Prozesse und Datenpipelines
- Planung und Design von ETL-Prozessen
- Tools und Technologien für ETL (z.B. Apache Airflow, Talend, Informatica)
- Sicherstellung der Datenqualität und Datenbereinigungstechniken
- Umgang mit inkrementellen Datenverarbeitungen
Skalierbare Datenverarbeitung
- Einführung in Big Data-Technologien wie Hadoop und Spark
- Cluster-Management und verteilte Datenverarbeitungstechniken
- Echtzeitdatenverarbeitung mit Apache Kafka und Flink
- Batch- und Stream-Processing-Architekturen
Cloud-basierte Datenarchitekturen
- Nutzung von Cloud-Diensten (AWS, Azure, Google Cloud)
- Einrichtung und Optimierung von Data Warehousing-Lösungen (z.B. Amazon Redshift, Google BigQuery)
- Sicherheit, Datenschutz und Compliance in der Cloud
Datenintegration und API-Entwicklung
- Datenintegrationstechniken für strukturierte und unstrukturierte Daten
- Entwicklung und Verwaltung von APIs zur Datenbereitstellung
- Sicherheits- und Skalierbarkeitsaspekte in der API-Entwicklung
- Einsatz von Middleware für Datenintegration
Überwachung und Optimierung von Datenpipelines
- Monitoring-Tools und Protokollierungsstrategien
- Performance-Optimierung und Skalierbarkeit
- Fehlertoleranzstrategien und Wiederherstellungskonzepte
- Nutzung von CI/CD-Pipelines in Data Engineering
Fortgeschrittene Themen und Anwendungsbereiche
- Integration von Machine Learning Pipelines
- Datenethik und verantwortungsvolle Datennutzung
- Trends und zukünftige Entwicklungen im Data Engineering
- Fallstudien aus verschiedenen Branchen (z.B. Finanzen, E-Commerce, Gesundheitswesen)