IT-Trainer Jobs und Stellenangebote: Data Engineering - Skalierbare Datenpipelines und Big Data Technologien

Seminardauer: 4 Tage

Trainer gesucht

IT-Trainer Jobs und Stellenangebote: Data Engineering - Skalierbare Datenpipelines und Big Data Technologien, Big Data, Data Analyst, Data Engineer, Data Engineering, Data Scientist.

Anmelden / Registrieren als Trainer

Agenda

Einführung in Data Engineering

  • Überblick über die Rolle des Data Engineers
  • Architektur von Datenplattformen
  • Unterschiede zwischen Data Engineering und Data Science

Datenmodellierung und Datenbanken

  • Entwurf relationaler Datenbanken und Normalisierung
  • Einführung in NoSQL-Datenbanken: Typen und Einsatzgebiete
  • Optimierung von Datenbankabfragen und Indexierungstechniken

ETL-Prozesse und Datenpipelines

  • Planung und Design von ETL-Prozessen
  • Tools und Technologien für ETL (z.B. Apache Airflow, Talend, Informatica)
  • Sicherstellung der Datenqualität und Datenbereinigungstechniken
  • Umgang mit inkrementellen Datenverarbeitungen

Skalierbare Datenverarbeitung

  • Einführung in Big Data-Technologien wie Hadoop und Spark
  • Cluster-Management und verteilte Datenverarbeitungstechniken
  • Echtzeitdatenverarbeitung mit Apache Kafka und Flink
  • Batch- und Stream-Processing-Architekturen

Cloud-basierte Datenarchitekturen

  • Nutzung von Cloud-Diensten (AWS, Azure, Google Cloud)
  • Einrichtung und Optimierung von Data Warehousing-Lösungen (z.B. Amazon Redshift, Google BigQuery)
  • Sicherheit, Datenschutz und Compliance in der Cloud

Datenintegration und API-Entwicklung

  • Datenintegrationstechniken für strukturierte und unstrukturierte Daten
  • Entwicklung und Verwaltung von APIs zur Datenbereitstellung
  • Sicherheits- und Skalierbarkeitsaspekte in der API-Entwicklung
  • Einsatz von Middleware für Datenintegration

Überwachung und Optimierung von Datenpipelines

  • Monitoring-Tools und Protokollierungsstrategien
  • Performance-Optimierung und Skalierbarkeit
  • Fehlertoleranzstrategien und Wiederherstellungskonzepte
  • Nutzung von CI/CD-Pipelines in Data Engineering

Fortgeschrittene Themen und Anwendungsbereiche

  • Integration von Machine Learning Pipelines
  • Datenethik und verantwortungsvolle Datennutzung
  • Trends und zukünftige Entwicklungen im Data Engineering
  • Fallstudien aus verschiedenen Branchen (z.B. Finanzen, E-Commerce, Gesundheitswesen)