Datenintegration und ELT
BigQuery, die vollständig verwaltete Datenplattform von Google Cloud, ist eine kostengünstige und skalierbare Lösung für die Datenintegration und -analyse.
Überblick
Datenintegration und ELT mit BigQuery
ELT (Extrahieren, Laden, Transformieren) ist das von Google Cloud empfohlene Muster für die Datenintegration. ELT umfasst das Extrahieren von Daten aus Quellsystemen, das Laden in BigQuery und die anschließende Transformation in das gewünschte Format für die Analyse. Im Gegensatz zu ETL (Extrahieren, Transformieren, Laden), bei dem die Daten vor dem Laden in ein Data Warehouse transformiert werden, können Sie mit dem ELT-Ansatz die volle Leistungsfähigkeit von BigQuery nutzen, um Datentransformationen durchzuführen, und jeder SQL-Nutzer kann effektiv Datenintegrationspipelines entwickeln.
Beschleunigte Markteinführung und Kostensenkung mit ELT
Der ELT-Ansatz beschleunigt die Markteinführung, da ein vertrautes, datengestütztes Framework angeboten wird, das die Lernkurve minimiert. ELT macht auch eine separate ETL-Infrastruktur überflüssig und reduziert so die Kosten, die mit der Datentransformation vor dem Laden verbunden sind.
Skalierbarkeit und Leistung mit integrierter Governance
Die Architektur von BigQuery ermöglicht eine enorme Skalierbarkeit und parallele Verarbeitung, sodass große Datasets und komplexe Transformationen effizient verarbeitet werden können. ELT erleichtert die Datenverwaltung, indem Daten in BigQuery zentralisiert werden. Dadurch sind konsistente Datenqualitäts- und Sicherheitsrichtlinien möglich, die in die Plattform integriert sind.
Datenintegration mit Flexibilität und Auswahl
BigQuery unterstützt verschiedene Datenquellen und ‑formate, darunter Apache Iceberg, das Flexibilität bei der Einbindung vielfältiger Daten bietet. Neben der Datenauswahl ist auch die Sprache frei wählbar. Ein Hauptvorteil von ELT ist, dass SQL in eine Reihe von SDLC-Pipelines passt.
Daten in BigQuery laden
| Daten in BigQuery laden | Datenintegrationspfad von BigQuery mit ELT |
|---|---|
| Phase | Lösung |
Extrahieren und Laden | Batch-Laden: BigQuery Data Transfer Service (DTS) automatisiert das Bulk-Laden von Daten aus unterstützten Datenquellen in BigQuery. Streaming-Laden: Pub/Sub BigQuery-Abos schreiben Pub/Sub-Nachrichten beim Empfang in eine vorhandene BigQuery-Tabelle. Change Data Capture (CDC): Datastream ermöglicht eine nicht eingreifende Change Data Capture (CDC) von Datenbanken in BigQuery. Föderierung mit externen Datenquellen: BigQuery unterstützt die Föderierung mit einer Reihe von externen Datenquellen, bei denen keine Datenverschiebung erforderlich ist. |
Transformieren | Die Transformationsfunktionen von BigQuery basieren auf Dataform, einem Tool zum gemeinsamen Erstellen, Testen und Dokumentieren von SQL-Datentransformationen mit BigQuery-Datenbearbeitungssprache (DML). Damit Sie Daten einfacher transformieren können, haben wir zwei leistungsstarke Funktionen entwickelt, die Dataform nutzen: KI-gestützte Datentransformation: BigQuery-Datenvorbereitung (Vorschau) bietet intelligente Vorschläge zum Bereinigen, Transformieren und Anreichern von Daten, wodurch die Zeit und der Aufwand für die Datenvorbereitung reduziert werden können. SQL-basierte visuelle Datentransformation: BigQuery-Workflows (in der Vorabversion) bieten eine visuelle Benutzeroberfläche zum interaktiven Erstellen einfacher Workflows. |
Datenmigration im großen Maßstab | Zusätzlich zu den oben beschriebenen Mustern können Migrationen zu Google Cloud auch die Migration großer Datenmengen von vorhandenen Data Warehouses zu BigQuery umfassen. BigQuery Migration Service ist ein vollständig verwalteter Dienst, mit dem Kunden bestehende Data Warehouses für eine weitere Datenanalyse in BigQuery laden können. |
Daten in BigQuery laden
Datenintegrationspfad von BigQuery mit ELT
Extrahieren und Laden
Batch-Laden: BigQuery Data Transfer Service (DTS) automatisiert das Bulk-Laden von Daten aus unterstützten Datenquellen in BigQuery.
Streaming-Laden: Pub/Sub BigQuery-Abos schreiben Pub/Sub-Nachrichten beim Empfang in eine vorhandene BigQuery-Tabelle.
Change Data Capture (CDC): Datastream ermöglicht eine nicht eingreifende Change Data Capture (CDC) von Datenbanken in BigQuery.
Föderierung mit externen Datenquellen: BigQuery unterstützt die Föderierung mit einer Reihe von externen Datenquellen, bei denen keine Datenverschiebung erforderlich ist.
Transformieren
Die Transformationsfunktionen von BigQuery basieren auf Dataform, einem Tool zum gemeinsamen Erstellen, Testen und Dokumentieren von SQL-Datentransformationen mit BigQuery-Datenbearbeitungssprache (DML). Damit Sie Daten einfacher transformieren können, haben wir zwei leistungsstarke Funktionen entwickelt, die Dataform nutzen:
KI-gestützte Datentransformation: BigQuery-Datenvorbereitung (Vorschau) bietet intelligente Vorschläge zum Bereinigen, Transformieren und Anreichern von Daten, wodurch die Zeit und der Aufwand für die Datenvorbereitung reduziert werden können.
SQL-basierte visuelle Datentransformation: BigQuery-Workflows (in der Vorabversion) bieten eine visuelle Benutzeroberfläche zum interaktiven Erstellen einfacher Workflows.
Datenmigration im großen Maßstab
Zusätzlich zu den oben beschriebenen Mustern können Migrationen zu Google Cloud auch die Migration großer Datenmengen von vorhandenen Data Warehouses zu BigQuery umfassen. BigQuery Migration Service ist ein vollständig verwalteter Dienst, mit dem Kunden bestehende Data Warehouses für eine weitere Datenanalyse in BigQuery laden können.
Funktionsweise
BigQuery bietet Data Engineers und Anwendungsentwicklern ein umfangreiches Portfolio an Produkten und Funktionen zum Erstellen, Planen und Verwalten von Pipelines. Das breite Angebot ermöglicht es Ihnen, zwischen ETL- und ELT-Paradigmen zu wählen.
BigQuery bietet Data Engineers und Anwendungsentwicklern ein umfangreiches Portfolio an Produkten und Funktionen zum Erstellen, Planen und Verwalten von Pipelines. Das breite Angebot ermöglicht es Ihnen, zwischen ETL- und ELT-Paradigmen zu wählen.
Gängige Einsatzmöglichkeiten
End-to-End-Datenintegration mit BigQuery
Datenintegrationsarchitektur
BigQuery ist eine KI-fähige, einheitliche Datenplattform, mit der Sie alle Ihre Unternehmensdaten mit KI verknüpfen können. BigQuery nimmt Daten aus verschiedenen Quellen (Messaging, Datenbanken usw.) per Batch, Streaming oder Change Data Capture (CDC) auf. BigQuery speichert, berechnet und verwaltet Daten mit einer KI-gestützten Transformationsebene und einer einheitlichen Benutzeroberfläche für Analysen.
Anleitungen
Datenintegrationsarchitektur
BigQuery ist eine KI-fähige, einheitliche Datenplattform, mit der Sie alle Ihre Unternehmensdaten mit KI verknüpfen können. BigQuery nimmt Daten aus verschiedenen Quellen (Messaging, Datenbanken usw.) per Batch, Streaming oder Change Data Capture (CDC) auf. BigQuery speichert, berechnet und verwaltet Daten mit einer KI-gestützten Transformationsebene und einer einheitlichen Benutzeroberfläche für Analysen.
ELT-Pipeline erstellen
Mit Google Cloud eine skalierbare ELT-Pipeline erstellen
Erstellen Sie eine leistungsstarke ELT-Pipeline in Google Cloud:
- Datenquellen auswählen: lokale Umgebungen, Cloud-Anwendungen oder andere.
- Daten erfassen: Verwenden Sie Datastream für Echtzeit oder den BigQuery Data Transfer Service für vollständige Ladevorgänge.
- Daten transformieren: Mit Data Prep bereinigen oder mit Dataform Pipelines erstellen.
- Visualisierung mit Looker Studio: Erstellen Sie Berichte und Dashboards.
Diese Konfiguration bietet Skalierbarkeit, Echtzeitfunktionen und eine effiziente Datentransformation für umfassende Analysen.
Anleitungen
Mit Google Cloud eine skalierbare ELT-Pipeline erstellen
Erstellen Sie eine leistungsstarke ELT-Pipeline in Google Cloud:
- Datenquellen auswählen: lokale Umgebungen, Cloud-Anwendungen oder andere.
- Daten erfassen: Verwenden Sie Datastream für Echtzeit oder den BigQuery Data Transfer Service für vollständige Ladevorgänge.
- Daten transformieren: Mit Data Prep bereinigen oder mit Dataform Pipelines erstellen.
- Visualisierung mit Looker Studio: Erstellen Sie Berichte und Dashboards.
Diese Konfiguration bietet Skalierbarkeit, Echtzeitfunktionen und eine effiziente Datentransformation für umfassende Analysen.
