Auf dieser Seite wird beschrieben, wie Sie Ihr BigQuery-Ziel so konfigurieren, dass Daten aus einer Quelldatenbank mit Datastream gestreamt werden.
Ziel-Datasets konfigurieren
Wenn Sie Datasets für das BigQuery-Ziel konfigurieren, können Sie eine der folgenden Optionen auswählen:
Dataset für jedes Schema: Das Dataset wird am angegebenen BigQuery-Speicherort basierend auf dem Schemanamen der Quelle ausgewählt oder erstellt. Daher erstellt Datastream für jedes Schema in der Quelle automatisch ein Dataset in BigQuery.
Wenn Sie diese Option auswählen, erstellt Datastream Datasets in dem Projekt, das den Stream enthält.
Wenn Sie beispielsweise eine MySQL-Quelle haben und diese Quelle eine
mydb
-Datenbank und eineemployees
-Tabelle in der Datenbank hat, erstellt Datastream dasmydb
-Dataset und dieemployees
-Tabelle in BigQuery.Einzelnes Dataset für alle Schemas: Sie können ein BigQuery-Dataset für den Stream auswählen. Datastream streamt alle Daten in dieses Dataset. Für das ausgewählte Dataset erstellt Datastream alle Tabellen als
<schema>_<table>
.Wenn Sie beispielsweise eine MySQL-Quelle haben und diese Quelle eine
mydb
-Datenbank und eineemployees
-Tabelle in der Datenbank hat, erstellt Datastream die Tabellemydb_employees
in dem von Ihnen ausgewählten Dataset.
Schreibverhalten
Datastream hängt eine STRUCT
-Spalte namens datastream_metadata
an jede Tabelle an, die in das BigQuery-Ziel geschrieben wird.
Wenn eine Tabelle in der Quelle einen Primärschlüssel hat, enthält die Spalte die folgenden Felder:
UUID:
Dieses Feld hat den Datentypstring
.SOURCE_TIMESTAMP:
Dieses Feld hat den Datentypinteger
.
Wenn eine Tabelle keinen Primärschlüssel hat, enthält die Spalte ein zusätzliches Feld: IS_DELETED
. Dieses Feld hat den Datentyp boolean
und gibt an, ob die von Datastream an das Ziel gestreamten Daten mit einem DELETE
-Vorgang in der Quelle verknüpft sind. Tabellen ohne Primärschlüssel können nur angehängt werden.
Die maximale Ereignisgröße beim Streamen von Daten in BigQuery beträgt 20 MB.
Schreibmodus konfigurieren
Beim Konfigurieren des Streams können Sie auswählen, wie Datastream die Änderungsdaten in BigQuery schreibt:
- Merge: Dies ist der Standardschreibmodus. Wenn diese Option ausgewählt ist, spiegelt BigQuery die Art und Weise wider, wie Ihre Daten in der Quelldatenbank gespeichert werden. Das bedeutet, dass Datastream alle Änderungen an Ihren Daten in BigQuery schreibt und BigQuery die Änderungen dann mit den vorhandenen Daten konsolidiert, sodass endgültige Tabellen erstellt werden, die Replikate der Quelltabellen sind. Im Modus Zusammenführen werden keine Verlaufseinträge der Änderungsereignisse gespeichert. Wenn Sie beispielsweise eine Zeile einfügen und dann aktualisieren, behält BigQuery nur die aktualisierten Daten bei. Wenn Sie dann die Zeile aus der Quelltabelle löschen, speichert BigQuery keine Aufzeichnungen mehr zu dieser Zeile.
- Nur anfügen: Im Schreibmodus, für den nur Anfügungen zulässig sind, können Sie Daten als Änderungsstream in BigQuery hinzufügen (
INSERT
-,UPDATE-INSERT
-,UPDATE-DELETE
- undDELETE
-Ereignisse). Verwenden Sie diesen Modus, wenn Sie den bisherigen Status Ihrer Daten beibehalten möchten. Betrachten Sie die folgenden Szenarien, um den Schreibmodus, für den nur Anfügungen zulässig sind, besser zu verstehen:- Anfänglicher Backfill: Nach dem ersten Backfill werden alle Ereignisse als Ereignisse vom Typ
INSERT
mit demselben Zeitstempel, derselben UUID (Universally Unique Identifier) und der gleichen Änderungssequenznummer in BigQuery geschrieben. - Primärschlüsselaktualisierung: Wenn sich ein Primärschlüssel ändert, werden zwei Zeilen in BigQuery geschrieben:
- Eine
UPDATE-DELETE
-Zeile mit dem ursprünglichen Primärschlüssel - Eine
UPDATE-INSERT
-Zeile mit dem neuen Primärschlüssel
- Eine
- Zeilenaktualisierung: Wenn Sie eine Zeile aktualisieren, wird eine einzelne
UPDATE-INSERT
-Zeile in BigQuery geschrieben. - Zeilen löschen: Wenn Sie eine Zeile löschen, wird eine einzelne
DELETE
-Zeile in BigQuery geschrieben.
- Anfänglicher Backfill: Nach dem ersten Backfill werden alle Ereignisse als Ereignisse vom Typ
BigQuery-Tabellen mit der Option max_staleness
verwenden
Im Rahmen der Datenaufnahme nahezu in Echtzeit nutzt Datastream die in BigQuery integrierte Unterstützung für Upsert-Vorgänge wie das Aktualisieren, Einfügen und Löschen von Daten. Mit Upsert-Vorgängen können Sie das BigQuery-Ziel dynamisch aktualisieren, wenn Zeilen hinzugefügt, geändert oder gelöscht werden. Datastream streamt diese Upsert-Vorgänge mithilfe der Storage Write API von BigQuery in die Zieltabelle.
Limit für die Veralterung von Daten angeben
Je nach konfiguriertem Limit für die Veralterung wendet BigQuery Änderungen an Quellen im Hintergrund laufend oder bei der Abfrageausführung an. Wenn Datastream eine neue Tabelle in BigQuery erstellt, wird die Option max_staleness
der Tabelle entsprechend dem aktuellen Limitwert für die Veralterung des Datenstreams festgelegt.
Weitere Informationen zur Verwendung von BigQuery-Tabellen mit der Option max_staleness
finden Sie unter Veraltete Tabellen.
BigQuery-Kosten kontrollieren
Die Kosten für BigQuery werden getrennt von Datastream abgerechnet. Weitere Informationen Informationen zur Kontrolle Ihrer BigQuery-Kosten finden Sie unter BigQuery CDC-Preise.
Datentypen zuordnen
In der folgenden Tabelle sind Datentypkonvertierungen aus unterstützten Quelldatenbanken zum BigQuery-Ziel aufgeführt.
Quelldatenbank | Quelldatentyp | BigQuery-Datentyp |
---|---|---|
MySQL | BIGINT (unsigned) |
DECIMAL |
MySQL | BINARY(size) |
STRING (hex encoded) |
MySQL | BIT(size) |
INT64 |
MySQL | BLOB(size) |
STRING (hex encoded) |
MySQL | BOOL |
INT64 |
MySQL | CHAR(size) |
STRING |
MySQL | DATE |
DATE |
MySQL | DATETIME(fsp) |
DATETIME |
MySQL | DECIMAL(precision, scale) |
Wenn der Precision-Wert < = 38 und der Skalierungswert < = 9 ist, dann ist NUMERIC . Andernfalls BIGNUMERIC |
MySQL | DOUBLE(size, d) |
FLOAT64 |
MySQL | ENUM(val1, val2, val3, ...) |
STRING |
MySQL | FLOAT(precision) |
FLOAT64 |
MySQL | FLOAT(size, d) |
FLOAT64 |
MySQL | INTEGER(size) |
INT64 |
MySQL |
|
JSON
|
MySQL | LONGBLOB |
STRING (hex encoded) |
MySQL | LONGTEXT |
STRING (hex encoded) |
MySQL | MEDIUMBLOB |
STRING (hex encoded) |
MySQL | MEDIUMINT(size) |
INT64 |
MySQL | MEDIUMTEXT |
STRING |
MySQL | SET(val1, val2, val3, ...) |
STRING |
MySQL | SMALLINT(size) |
INT64 |
MySQL | TEXT(size) |
STRING |
MySQL | TIME(fsp) |
INTERVAL |
MySQL | TIMESTAMP(fsp) |
TIMESTAMP |
MySQL | TINYBLOB |
STRING (hex encoded) |
MySQL | TINYINT(size) |
INT64 |
MySQL | TINYTEXT |
STRING |
MySQL | VARBINARY(size) |
STRING (hex encoded) |
MySQL | VARCHAR |
STRING |
MySQL | YEAR |
INT64 |
Oracle | ANYDATA |
UNSUPPORTED |
Oracle | BFILE |
STRING |
Oracle | BINARY DOUBLE |
FLOAT64 |
Oracle | BINARY FLOAT |
FLOAT64 |
Oracle | BLOB |
BYTES |
Oracle | CHAR |
STRING |
Oracle | CLOB |
STRING |
Oracle | DATE |
DATETIME
|
Oracle | DOUBLE PRECISION |
FLOAT64 |
Oracle | FLOAT(p) |
FLOAT64 |
Oracle | INTERVAL DAY TO SECOND |
UNSUPPORTED |
Oracle | INTERVAL YEAR TO MONTH |
UNSUPPORTED |
Oracle | LONG /LONG RAW |
STRING |
Oracle | NCHAR |
STRING |
Oracle | NCLOB |
STRING |
Oracle | NUMBER(precision, scale>0) |
Wenn 0 <p = <78, ist dies den parametrisierten Dezimaltypen zuzuordnen. Wenn p > = 79 ist, zuordnen Sie sie STRING . |
Oracle | NVARCHAR2 |
STRING |
Oracle | RAW |
STRING |
Oracle | ROWID |
STRING |
Oracle | SDO_GEOMETRY |
UNSUPPORTED |
Oracle | SMALLINT |
INT64 |
Oracle | TIMESTAMP |
TIMESTAMP
|
Oracle | TIMESTAMP WITH TIME ZONE |
TIMESTAMP
|
Oracle | UDT (user-defined type) |
UNSUPPORTED |
Oracle | UROWID |
STRING |
Oracle | VARCHAR |
STRING |
Oracle | VARCHAR2 |
STRING |
Oracle | XMLTYPE |
UNSUPPORTED |
PostgreSQL | ARRAY |
JSON
|
PostgreSQL | BIGINT |
INT64 |
PostgreSQL | BIT |
BYTES |
PostgreSQL | BIT_VARYING |
BYTES |
PostgreSQL | BOOLEAN |
BOOLEAN |
PostgreSQL | BOX |
UNSUPPORTED |
PostgreSQL | BYTEA |
BYTES |
PostgreSQL | CHARACTER |
STRING |
PostgreSQL | CHARACTER_VARYING |
STRING |
PostgreSQL | CIDR |
STRING |
PostgreSQL | CIRCLE |
UNSUPPORTED |
PostgreSQL | DATE |
DATE |
PostgreSQL | DOUBLE_PRECISION |
FLOAT64 |
PostgreSQL | ENUM |
STRING |
PostgreSQL | INET |
STRING |
PostgreSQL | INTEGER |
INT64 |
PostgreSQL | INTERVAL |
INTERVAL |
PostgreSQL | JSON |
JSON |
PostgreSQL | JSONB |
JSON |
PostgreSQL | LINE |
UNSUPPORTED |
PostgreSQL | LSEG |
UNSUPPORTED |
PostgreSQL | MACADDR |
STRING |
PostgreSQL | MONEY |
FLOAT64 |
PostgreSQL | NUMERIC |
Wenn Precision = -1 , dann STRING (BigQuery-NUMERIC -Typen erfordern eine feste Genauigkeit). Andernfalls BIGNUMERIC /NUMERIC . Weitere Informationen finden Sie in der PostgreSQL-Dokumentation im Abschnitt Beliebige Genauigkeitszahlen. |
PostgreSQL | OID |
INT64 |
PostgreSQL | PATH |
UNSUPPORTED |
PostgreSQL | POINT |
UNSUPPORTED |
PostgreSQL | POLYGON |
UNSUPPORTED |
PostgreSQL | REAL |
FLOAT64 |
PostgreSQL | SMALLINT |
INT64 |
PostgreSQL | SMALLSERIAL |
INT64 |
PostgreSQL | SERIAL |
INT64 |
PostgreSQL | TEXT |
STRING |
PostgreSQL | TIME |
TIME |
PostgreSQL | TIMESTAMP |
TIMESTAMP |
PostgreSQL | TIMESTAMP_WITH_TIMEZONE |
TIMESTAMP |
PostgreSQL | TIME_WITH_TIMEZONE |
TIME |
PostgreSQL | TSQUERY |
STRING |
PostgreSQL | TSVECTOR |
STRING |
PostgreSQL | TXID_SNAPSHOT |
STRING |
PostgreSQL | UUID |
STRING |
PostgreSQL | XML |
STRING |
SQL Server | BIGINT |
INT64 |
SQL Server | BINARY |
BYTES |
SQL Server | BIT |
BOOL |
SQL Server | CHAR |
STRING |
SQL Server | DATE |
DATE |
SQL Server | DATETIME2 |
DATETIME |
SQL Server | DATETIME |
DATETIME |
SQL Server | DATETIMEOFFSET |
TIMESTAMP |
SQL Server | DECIMAL |
BIGNUMERIC |
SQL Server | FLOAT |
FLOAT64 |
SQL Server | IMAGE |
BYTES |
SQL Server | INT |
INT64 |
SQL Server | MONEY |
BIGNUMERIC |
SQL Server | NCHAR |
STRING |
SQL Server | NTEXT |
STRING |
SQL Server | NUMERIC |
BIGNUMERIC |
SQL Server | NVARCHAR |
STRING |
SQL Server | NVARCHAR(MAX) |
STRING |
SQL Server | REAL |
FLOAT64 |
SQL Server | SMALLDATETIME |
DATETIME |
SQL Server | SMALLINT |
INT64 |
SQL Server | SMALLMONEY |
NUMERIC |
SQL Server | TEXT |
STRING |
SQL Server | TIME |
TIME |
SQL Server | TIMESTAMP /ROWVERSION |
BYTES |
SQL Server | TINYINT |
INT64 |
SQL Server | UNIQUEIDENTIFIER |
STRING |
SQL Server | VARBINARY |
BYTES |
SQL Server | VARBINARY(MAX) |
BYTES |
SQL Server | VARCHAR |
STRING |
SQL Server | VARCHAR(MAX) |
STRING |
SQL Server | XML |
STRING |
PostgreSQL-Array als BigQuery-Array-Datentyp abfragen
Wenn Sie ein PostgreSQL-Array lieber als BigQuery-Datentyp ARRAY
abfragen möchten,
Sie können die JSON
-Werte mit der BigQuery-Funktion JSON_VALUE_ARRAY
in ein BigQuery-Array konvertieren:
SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)AS array_col
Ersetzen Sie Folgendes:
TYPE: der BigQuery-Typ, der dem Elementtyp in entspricht PostgreSQL-Quellarray. Wenn der Quelltyp z. B. ein Array von
BIGINT
-Werten und ersetzen Sie dann TYPE durchINT64
.Weitere Informationen zum Zuordnen der Datentypen finden Sie unter Datentypen zuordnen
BQ_COLUMN_NAME: der Name der entsprechenden Spalte in BigQuery .
Es gibt zwei Ausnahmen bei der Umwandlung der Werte:
Für Arrays mit
BIT
-,BIT_VARYING
- oderBYTEA
-Werten in der Quellspalte: führen Sie die folgende Abfrage aus:SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_bytes Für Arrays mit
JSON
- oderJSONB
-Werten in der Quellspalte verwenden Sie die MethodeJSON_QUERY_ARRAY
:SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_jsons
Bekannte Einschränkungen
Zu den bekannten Einschränkungen bei der Verwendung von BigQuery als Ziel gehören:
- Sie können Daten nur in ein BigQuery-Dataset replizieren, das sich im selben Google Cloud-Projekt wie der Datastream-Stream befindet.
Wenn eine Tabelle in der Quelldatenbank einen Primärschlüssel hat (z. B. die Nutzer-ID) und dann eine Änderung in der Tabelle vorgenommen wird, sodass sich der Primärschlüssel unterscheidet (in diesem Beispiel ist der Primärschlüssel jetzt die Nutzer-ID und das Datum), kann Datastream diese Änderung nicht an das Ziel streamen.
Führen Sie die folgenden Schritte aus, damit Datastream die Tabelle mit dem geänderten Primärschlüssel in das Ziel streamt:
- Ändern Sie den Primärschlüssel der Quelldatenbanktabelle.
- Prüfen Sie den Messwert für die Gesamtlatenz des Streams und warten Sie mindestens so lange wie die aktuelle Latenz, um sicherzustellen, dass alle laufenden Ereignisse in das Ziel geschrieben werden. So können alle Ereignisse mit dem ursprünglichen Primärschlüssel erfolgreich gestreamt werden.
- Pausiere den Stream.
- Legen Sie die Tabelle am Ziel ab.
- Setze den Stream fort.
- Trigger für die Tabelle auslösen
Primärschlüssel in BigQuery müssen einen der folgenden Datentypen haben:
DATE
BOOL
GEOGRAPHY
INT64
NUMERIC
BIGNUMERIC
STRING
TIMESTAMP
DATETIME
Tabellen, die Primärschlüssel mit nicht unterstützten Datentypen enthalten, werden von Datastream nicht repliziert.
BigQuery unterstützt keine Tabellennamen mit den Zeichen
.
,$
,/
,@
oder+
. Datastream ersetzt diese Zeichen beim Erstellen von Zieltabellen durch Unterstriche.Beispielsweise wird
table.name
in der Quelldatenbank zutable_name
in BigQuery.Weitere Informationen zu Tabellennamen in BigQuery finden Sie unter Tabellennamen.
- BigQuery unterstützt nicht mehr als vier Clustering-Spalten. Beim Replizieren einer Tabelle mit mehr als vier Primärschlüsselspalten verwendet Datastream vier Primärschlüsselspalten als Clustering-Spalten.
- Datastream ordnet Datums- und Zeitliterale außerhalb des Bereichs, wie z. B. PostgreSQL-Unendlichkeitsdatentypen, den folgenden Werten zu:
- Positiver Wert von
DATE
in Wert von9999-12-31
- Negativ
DATE
zum Wert0001-01-01
- Positiver Wert von
TIMESTAMP
in Wert von9999-12-31 23:59:59.999000 UTC
- Negativ
TIMESTAMP
zum Wert0001-01-01 00:00:00 UTC
- Positiver Wert von
- BigQuery unterstützt keine Streamingtabellen mit Primärschlüsseln des Datentyps
FLOAT
oderREAL
. Solche Tabellen werden nicht repliziert.
Weitere Informationen zu BigQuery-Datumstypen und -Bereichen finden Sie unter Datentypen.