Datenintegration und ELT
BigQuery, die vollständig verwaltete Datenplattform von Google Cloud, ist eine kosteneffiziente und skalierbare Lösung für die Datenintegration und -analyse.
Überblick
Datenintegration und ELT mit BigQuery
ELT (Extrahieren, Laden, Transformieren) ist das von Google Cloud empfohlene Muster für die Datenintegration. Bei ELT werden Daten aus Quellsystemen extrahiert, in BigQuery geladen und dann in das gewünschte Format für die Analyse transformiert. Im Gegensatz zu ETL (Extrahieren, Transformieren, Laden), bei dem die Daten vor dem Laden in ein Data Warehouse transformiert werden, können Sie mit dem ELT-Ansatz die volle Leistungsfähigkeit von BigQuery nutzen, um Datentransformationen durchzuführen, und jeder SQL-Nutzer kann effektiv Datenintegrationspipelines entwickeln.
Schnellere Produkteinführungszeit und Kostensenkung mit ELT
Der ELT-Ansatz beschleunigt die Produkteinführungszeit, da er ein vertrautes, datenzentriertes Framework bietet, das die Lernkurve minimiert. ELT macht auch eine separate ETL-Infrastruktur überflüssig, wodurch die Kosten für die Datentransformation vor dem Laden gesenkt werden.
Skalierbarkeit und Leistung mit integrierter Governance
Die Architektur von BigQuery ermöglicht eine enorme Skalierbarkeit und Parallelverarbeitung, sodass große Datasets und komplexe Transformationen effizient verarbeitet werden können. ELT erleichtert die Data Governance, indem Daten in BigQuery zentralisiert werden. So können einheitliche Datenqualitäts- und Sicherheitsrichtlinien in die Plattform integriert werden.
Datenintegration mit Flexibilität und Auswahl
BigQuery unterstützt verschiedene Datenquellen und -formate, darunter Apache Iceberg, was die flexible Einbindung unterschiedlicher Daten ermöglicht. Neben der Datenauswahl gibt es auch Flexibilität bei der Sprachauswahl. Ein wesentlicher Vorteil von ELT ist, dass SQL in eine Reihe von SDLC-Pipelines passt.
Daten in BigQuery laden
| Daten in BigQuery laden | Datenintegrationspfad von BigQuery mit ELT |
|---|---|
| Phase | Lösung |
Extrahieren und Laden | Batch-Laden: Der BigQuery Data Transfer Service (DTS) automatisiert das Bulk-Laden von Daten aus unterstützten Datenquellen in BigQuery. Streaming-Laden: Pub/Sub BigQuery-Abos schreiben Pub/Sub-Nachrichten beim Empfang in eine vorhandene BigQuery-Tabelle. Change Data Capture (CDC): Datastream ermöglicht eine nicht eingreifende Datenerfassung von Datenbanken in BigQuery. Föderation mit externen Datenquellen: BigQuery unterstützt die Föderation mit einer Reihe von externen Datenquellen, bei denen keine Datenverschiebung erforderlich ist. |
Transformieren | Die Transformationsfunktionen von BigQuery basieren auf Dataform, einem Tool zum gemeinsamen Erstellen, Testen und Dokumentieren von SQL-Datentransformationen mit der BigQuery-Datenbearbeitungssprache (DML). Um Ihnen die Datentransformation zu erleichtern, haben wir zwei leistungsstarke Funktionen entwickelt, die Dataform nutzen: KI-gestützte Datentransformation: BigQuery-Datenvorbereitung (Vorschau) bietet intelligente Vorschläge zum Bereinigen, Transformieren und Anreichern von Daten, wodurch sich der Zeit- und Arbeitsaufwand für Aufgaben der Datenvorbereitung reduzieren lässt. SQL-basierte visuelle Datentransformation: BigQuery-Workflows (in der Vorabversion) bieten eine visuelle Benutzeroberfläche, um interaktiv einfache Workflows zu erstellen. |
Datenmigration im großen Maßstab | Zusätzlich zu den oben beschriebenen Mustern können Migrationen zu Google Cloud auch Massendatenmigrationen von vorhandenen Data Warehouses zu BigQuery umfassen. BigQuery Migration Service ist ein vollständig verwalteter Dienst, mit dem Kunden vorhandene Data Warehouses in BigQuery laden können, um weitere Datenanalysen durchzuführen. |
Daten in BigQuery laden
Datenintegrationspfad von BigQuery mit ELT
Extrahieren und Laden
Batch-Laden: Der BigQuery Data Transfer Service (DTS) automatisiert das Bulk-Laden von Daten aus unterstützten Datenquellen in BigQuery.
Streaming-Laden: Pub/Sub BigQuery-Abos schreiben Pub/Sub-Nachrichten beim Empfang in eine vorhandene BigQuery-Tabelle.
Change Data Capture (CDC): Datastream ermöglicht eine nicht eingreifende Datenerfassung von Datenbanken in BigQuery.
Föderation mit externen Datenquellen: BigQuery unterstützt die Föderation mit einer Reihe von externen Datenquellen, bei denen keine Datenverschiebung erforderlich ist.
Transformieren
Die Transformationsfunktionen von BigQuery basieren auf Dataform, einem Tool zum gemeinsamen Erstellen, Testen und Dokumentieren von SQL-Datentransformationen mit der BigQuery-Datenbearbeitungssprache (DML). Um Ihnen die Datentransformation zu erleichtern, haben wir zwei leistungsstarke Funktionen entwickelt, die Dataform nutzen:
KI-gestützte Datentransformation: BigQuery-Datenvorbereitung (Vorschau) bietet intelligente Vorschläge zum Bereinigen, Transformieren und Anreichern von Daten, wodurch sich der Zeit- und Arbeitsaufwand für Aufgaben der Datenvorbereitung reduzieren lässt.
SQL-basierte visuelle Datentransformation: BigQuery-Workflows (in der Vorabversion) bieten eine visuelle Benutzeroberfläche, um interaktiv einfache Workflows zu erstellen.
Datenmigration im großen Maßstab
Zusätzlich zu den oben beschriebenen Mustern können Migrationen zu Google Cloud auch Massendatenmigrationen von vorhandenen Data Warehouses zu BigQuery umfassen. BigQuery Migration Service ist ein vollständig verwalteter Dienst, mit dem Kunden vorhandene Data Warehouses in BigQuery laden können, um weitere Datenanalysen durchzuführen.
Funktionsweise
BigQuery bietet Data Engineers und Anwendungsentwicklern ein umfangreiches Portfolio an Produkten und Funktionen zum Erstellen, Planen und Verwalten von Pipelines. Das breite Angebotsspektrum bietet Ihnen die Flexibilität, zwischen ETL- und ELT-Paradigmen zu wählen.
BigQuery bietet Data Engineers und Anwendungsentwicklern ein umfangreiches Portfolio an Produkten und Funktionen zum Erstellen, Planen und Verwalten von Pipelines. Das breite Angebotsspektrum bietet Ihnen die Flexibilität, zwischen ETL- und ELT-Paradigmen zu wählen.
End-to-End-Datenintegration mit BigQuery
Architektur der Datenintegration
BigQuery ist eine KI-fähige, einheitliche Datenplattform, mit der Sie alle Ihre Unternehmensdaten mit KI verbinden können. BigQuery nimmt Daten aus verschiedenen Quellen (Messaging, Datenbanken usw.) per Batch, Streaming oder Change Data Capture (CDC) auf. BigQuery speichert, verarbeitet und verwaltet Daten mit einer KI-gestützten Transformationsebene und einer einheitlichen Benutzeroberfläche für die Analyse.
Anleitungen
Architektur der Datenintegration
BigQuery ist eine KI-fähige, einheitliche Datenplattform, mit der Sie alle Ihre Unternehmensdaten mit KI verbinden können. BigQuery nimmt Daten aus verschiedenen Quellen (Messaging, Datenbanken usw.) per Batch, Streaming oder Change Data Capture (CDC) auf. BigQuery speichert, verarbeitet und verwaltet Daten mit einer KI-gestützten Transformationsebene und einer einheitlichen Benutzeroberfläche für die Analyse.
ELT-Pipeline erstellen
Skalierbare ELT-Pipeline mit Google Cloud erstellen
Leistungsstarke ELT-Pipeline in Google Cloud erstellen:
- Datenquellen auswählen: lokale Quellen, Cloud-Anwendungen oder andere.
- Daten aufnehmen: Verwenden Sie Datastream für Echtzeitdaten oder den BigQuery Data Transfer Service für vollständige Ladevorgänge.
- Daten transformieren: Bereinigen Sie Daten mit der Datenvorbereitung oder erstellen Sie Pipelines mit Dataform.
- Visualisieren mit Data Studio (früher Looker Studio): Berichte und Dashboards erstellen
Diese Einrichtung bietet Skalierbarkeit, Echtzeitfunktionen und eine effiziente Datentransformation für eine umfassende Analyse.
Anleitungen
Skalierbare ELT-Pipeline mit Google Cloud erstellen
Leistungsstarke ELT-Pipeline in Google Cloud erstellen:
- Datenquellen auswählen: lokale Quellen, Cloud-Anwendungen oder andere.
- Daten aufnehmen: Verwenden Sie Datastream für Echtzeitdaten oder den BigQuery Data Transfer Service für vollständige Ladevorgänge.
- Daten transformieren: Bereinigen Sie Daten mit der Datenvorbereitung oder erstellen Sie Pipelines mit Dataform.
- Visualisieren mit Data Studio (früher Looker Studio): Berichte und Dashboards erstellen
Diese Einrichtung bietet Skalierbarkeit, Echtzeitfunktionen und eine effiziente Datentransformation für eine umfassende Analyse.
