Kurstermine DP-203
DP-203
Data Engineering on Microsoft Azure
Überblick
DP-203 – Data Engineering on Microsoft Azure (ersetzt die Kurse DP-200 & DP-201)
In diesem Kurs lernen die Teilnehmer das Data Engineering in Bezug auf die Arbeit mit Batch- und Echtzeit-Analyselösungen unter Verwendung von Azure-Datenplattformtechnologien kennen. Die Teilnehmer beginnen mit Grundlagen der wichtigsten Computer- und Speichertechnologien, die zum Erstellen einer analytischen Lösung verwendet werden.
Sie lernen, wie man Daten, die in Dateien in einem Datenmeer gespeichert sind, interaktiv untersuchen kann. Sie lernen die verschiedenen Ingestions-Techniken kennen, die zum Laden von Daten mit der Apache Spark-Funktion in Azure Synapse Analytics oder Azure Databricks verwendet werden können, oder wie man mithilfe von Azure Data Factory oder Azure Synapse Pipelines ingestiert.
Die Teilnehmer lernen auch die verschiedenen Möglichkeiten kennen, Daten mit denselben Technologien zu transformieren, mit denen sie aufgenommen werden. Sie werden verstehen, wie wichtig es ist, Sicherheit zu implementieren, um sicherzustellen, dass die Daten in Ruhe oder während des Transports geschützt sind. Anschließend wird gezeigt, wie man ein Echtzeit-Analysesystem zur Erstellung von Echtzeit-Analyselösungen erstellt.
Agenda
Modul 1: Untersuchen von Rechen- und Speicheroptionen für Daten-Engineering-Workloads
- Einführung in Azure Synapse Analytics
- Beschreiben von Azure Databricks
- Einführung in den Azure Datenmeer-Speicher
- Die Architektur des Datenmeeres beschreiben
- Arbeiten mit Datenströmen, mit hilfe von Azure Stream Analytics
Modul 2: Führen Sie interaktive Abfragen mit serverlosen SQL-Pools von Azure Synapse Analytics aus
- Erkunden Sie die Funktionen der serverlosen SQL-Poolsvon AzureSynapse
- Abfragen vonDaten im Meer mit Hilfevon serverlosen SQL-Pools von Azure Synapse
- Erstellen Sie Metadatenobjekte in serverlosen SQL-Pools von Azure Synapse
- Sichern Sie Daten und verwalten Sie Benutzer in serverlosen SQL-Poolsvon Azure Synapse
Modul 3: Datenexploration und -transformation in Azure Databricks
- Beschreiben von Azure Databricks
- Lesen und Schreiben von Daten in Azure Databricks
- Arbeiten mit DataFrames in Azure Databricks
- Arbeiten mit erweiterten Methoden von DataFrames in Azure Databricks
Modul 4: Erforschen, Transformieren und Laden von Daten in das Data Warehouse mit Apache SparkIn diesem
- Verstehen von Big Data Engineering mit Apache Spark in Azure Synapse Analytics
- Daten mit Apache Spark-Notebooks in Azure Synapse Analytics einlesen
- Daten mit DataFrames in Apache Spark Pools in Azure Synapse Analytics zu transformieren
- Integration von SQL- und Apache Spark-Pools in Azure Synapse Analytics
Modul 5: Einlesen und Laden von Daten in das Data Warehouse
- Verwendung von bewährten Praktiken für das Laden von Daten in Azure Synapse Analytics
- Ingestion im Petabyte-Bereich mit Azure Data Factory
Modul 6: Datenumwandlung mit Azure Data Factory oder Azure Synapse Pipelines
- Datenintegration mit Azure Data Factory oder Azure Synapse Pipelines
- Codefreie Transformation in großem Maßstab mit Azure Data Factory oder Azure Synapse Pipelines
Modul 7: Orchestrierung von Datenbewegungen und -transformationen in Azure Synapse Pipelines
- Orchestrierung der Datenbewegung und -umwandlung in Azure Data Factory
Modul 8: End-to-End-Sicherheit mit Azure Synapse Analytics
- Sichern eines Data Warehouse in Azure Synapse Analytics
- Konfigurieren und Verwalten von Geheimnissen in Azure Key Vault
- Implementierung von Compliance-Kontrollen für sensible Daten
Modul 9: Hybrid Transactional Analytical Processing HTAP) mit Azure Synapse Link unterstützen
- Entwicklung hybrider transaktionaler und analytischer Verarbeitung mit Azure Synapse Analytics
- Konfigurieren von Azure Synapse Link mit Azure Cosmos DB
- Abfrage von Azure Cosmos DB mit Apache Spark-Pools
- Abfrage von Azure Cosmos DB mit serverlosen SQL-Pools
Modul 10: Stream-Verarbeitung in Echtzeit mit Stream Analytics
- Zuverlässiges Messaging für Big Data-Anwendungen mithilfe von Azure Event Hubs aktivieren
- Arbeiten mit Datenströmen mithilfe von Azure Stream Analytics
- Einlesen von Datenströmen mit Azure Stream Analytics
- Verwendung von Stream Analytics zur Verarbeitung von Echtzeitdaten aus Event Hubs
- Verwendung von Stream Analytics-Fensterfunktionen zur Erstellung von Aggregaten und zur Ausgabe an Synapse Analytics
- Den Azure Stream Analytics-Job skalieren, um den Durchsatz durch Partitionierung zu erhöhen
- Repartitionierung der Stream-Eingabe zur Optimierung der Parallelisierung
Modul 11: Erstellen einer Stream Processing-Lösung mit Event Hubs und Azure Databricks
- Verarbeiten von Streaming-Daten mit Azure Databricks structured streaming
Zielgruppe
Die primäre Zielgruppe für diesen Kurs sind Datenprofis, Datenarchitekten und Experten für Geschäftsintelligenz, die mehr über Daten-Engineering und das Erstellen von Analyselösungen mit Hilfe von Datenplattformtechnologien in Microsoft Azure erfahren möchten.
Die sekundäre Zielgruppe für diesen Kurs sind Datenanalysten und Datenwissenschaftler, die mit auf Microsoft Azure basierenden Analyselösungen arbeiten.
Voraussetzungen
Erfolgreiche Teilnehmer beginnen diesen Kurs mit Kenntnissen in Cloud Computing und Kerndatenkonzepten sowie Berufserfahrung mit Datenlösungen.
Wir empfehlen zur Vorbereitung auf das Training DP-203 die Teilnahme an folgenden Kursen:
