Auf dieser Seite wird beschrieben, wie Sie Ihr BigQuery-Ziel so konfigurieren, dass Daten aus einer Quelldatenbank mit Datastream gestreamt werden.
Ziel-Datasets konfigurieren
Wenn Sie Datasets für das BigQuery-Ziel konfigurieren, können Sie eine der folgenden Optionen auswählen:
Dataset für jedes Schema: Das Dataset wird anhand des Schemanamens der Quelle am angegebenen BigQuery-Speicherort ausgewählt oder erstellt. Daher erstellt Datastream für jedes Schema in der Quelle automatisch ein Dataset in BigQuery.
Wenn Sie beispielsweise eine MySQL-Quelle mit einer
mydb
-Datenbank und eineremployees
-Tabelle in der Datenbank haben, erstellt Datastream dasmydb
-Dataset und dieemployees
-Tabelle in BigQuery.Wenn Sie diese Option auswählen, erstellt Datastream Datasets im Projekt, das den Stream enthält. Sie müssen die Datensätze nicht in derselben Region wie den Stream erstellen. Wir empfehlen jedoch, alle Ressourcen für den Stream sowie die Datensätze in derselben Region zu platzieren, um Kosten und Leistung zu optimieren.
Einzelnes Dataset für alle Schemas: Sie können ein BigQuery-Dataset für den Stream auswählen. Datastream streamt alle Daten in diesen Datensatz. Für das ausgewählte Dataset erstellt Datastream alle Tabellen als
<schema>_<table>
.Wenn Sie beispielsweise eine MySQL-Quelle mit einer
mydb
-Datenbank und eineremployees
-Tabelle in der Datenbank haben, erstellt Datastream diemydb_employees
-Tabelle im ausgewählten Datenpool.
Schreibverhalten
Die maximale Ereignisgröße beim Streamen von Daten in BigQuery beträgt 20 MB.
Beim Konfigurieren des Streams können Sie auswählen, wie Datastream Ihre Änderungsdaten in BigQuery schreibt. Weitere Informationen finden Sie unter Schreibmodus konfigurieren.
Schreibmodus konfigurieren
Es gibt zwei Modi, mit denen Sie festlegen können, wie Ihre Daten in BigQuery geschrieben werden sollen:
- Merge: Dies ist der Standardschreibmodus. Wenn diese Option ausgewählt ist, werden in BigQuery die Daten so gespeichert, wie sie in der Quelldatenbank gespeichert sind. Das bedeutet, dass Datastream alle Änderungen an Ihren Daten in BigQuery schreibt. BigQuery konsolidiert die Änderungen dann mit vorhandenen Daten und erstellt so endgültige Tabellen, die Repliken der Quelltabellen sind. Im Modus Merge (Zusammenführen) wird kein Verlauf der Änderungsereignisse aufbewahrt. Wenn Sie beispielsweise eine Zeile einfügen und dann aktualisieren, werden in BigQuery nur die aktualisierten Daten beibehalten. Wenn Sie die Zeile dann aus der Quelltabelle löschen, wird sie in BigQuery nicht mehr gespeichert.
- Nur anhängen: Im Schreibmodus „Nur anhängen“ können Sie BigQuery Daten als Änderungsstream (
INSERT
-,UPDATE-INSERT
-,UPDATE-DELETE
- undDELETE
-Ereignisse) hinzufügen. Verwenden Sie diesen Modus, wenn Sie den bisherigen Status Ihrer Daten beibehalten möchten. Die folgenden Szenarien veranschaulichen den Schreibmodus „Nur anhängen“:- Erstes Backfill: Nach dem ersten Backfill werden alle Ereignisse als Ereignisse vom Typ
INSERT
mit demselben Zeitstempel, derselben UUID (Universally Unique Identifier) und derselben Änderungssequenznummer in BigQuery geschrieben. - Primärschlüsselaktualisierung: Wenn sich ein Primärschlüssel ändert, werden zwei Zeilen in BigQuery geschrieben:
- Eine
UPDATE-DELETE
-Zeile mit dem ursprünglichen Primärschlüssel - Eine
UPDATE-INSERT
-Zeile mit dem neuen Primärschlüssel
- Eine
- Zeilenaktualisierung: Wenn Sie eine Zeile aktualisieren, wird eine einzelne
UPDATE-INSERT
-Zeile in BigQuery geschrieben. - Zeilenlöschen: Wenn Sie eine Zeile löschen, wird eine einzelne
DELETE
-Zeile in BigQuery geschrieben.
- Erstes Backfill: Nach dem ersten Backfill werden alle Ereignisse als Ereignisse vom Typ
Tabellenmetadaten
Datastream hängt jeder Tabelle, die in das BigQuery-Ziel geschrieben wird, eine STRUCT
-Spalte mit dem Namen datastream_metadata
an.
Schreibmodus „Merge“
Wenn eine Tabelle in der Quelle einen Primärschlüssel hat, enthält die Spalte die folgenden Felder:
UUID
: Dieses Feld hat den DatentypSTRING
.SOURCE_TIMESTAMP
: Dieses Feld hat den DatentypINTEGER
.
Wenn eine Tabelle keinen Primärschlüssel hat, enthält die Spalte ein zusätzliches Feld: IS_DELETED
. Dieses Feld hat den Datentyp BOOLEAN
und gibt an, ob die Daten, die Datastream an das Ziel streamt, mit einem DELETE
-Vorgang an der Quelle verknüpft sind. Bei Tabellen ohne Primärschlüssel ist nur das Anhängen möglich.
Schreibmodus „Nur anhängen“
Die Spalte datastream_metadata
enthält dieselben Felder für Tabellen mit und ohne Primärschlüssel:
UUID
: Dieses Feld hat den DatentypSTRING
.SOURCE_TIMESTAMP
: Dieses Feld hat den DatentypINTEGER
.CHANGE_SEQUENCE_NUMBER
: Dieses Feld hat den DatentypSTRING
. Dies ist eine interne Sequenznummer, die von Datastream für jedes Änderungsereignis verwendet wird.CHANGE_TYPE
: Dieses Feld hat den DatentypSTRING
. Gibt den Typ des Änderungsereignisses an:INSERT
,UPDATE-INSERT
,UPDATE-DELETE
oderDELETE
.SORT_KEYS
: Dieses Feld enthält ein Array vonSTRING
-Werten. Sie können die Änderungsereignisse anhand der Werte sortieren.
BigQuery-Tabellen mit der Option max_staleness
verwenden
Im Rahmen der nahezu Echtzeit-Aufnahme nutzt Datastream die integrierte Unterstützung von BigQuery für Upsert-Vorgänge wie das Aktualisieren, Einfügen und Löschen von Daten. Mit Upsert-Vorgängen können Sie das BigQuery-Ziel dynamisch aktualisieren, wenn Zeilen hinzugefügt, geändert oder gelöscht werden. Datastream streamt diese Upsert-Vorgänge mithilfe der Storage Write API von BigQuery in die Zieltabelle.
Limit für veraltete Daten festlegen
Je nach konfiguriertem Limit für die Datenveralterung wendet BigQuery die Quelländerungen laufend im Hintergrund oder bei der Abfrageausführung an. Wenn Datastream eine neue Tabelle in BigQuery erstellt, wird die Option max_staleness
der Tabelle entsprechend dem aktuellen Wert für das Limit für die Datenveralterung für den Stream festgelegt.
Weitere Informationen zur Verwendung von BigQuery-Tabellen mit der Option max_staleness
finden Sie unter Tabellenaktualität.
BigQuery-Kosten kontrollieren
Die BigQuery-Kosten werden separat von Datastream in Rechnung gestellt. Informationen zum Steuern Ihrer BigQuery-Kosten finden Sie unter Preise für BigQuery CDC.
Kartendatentypen
In der folgenden Tabelle sind Datentypkonvertierungen von unterstützten Quelldatenbanken in das BigQuery-Ziel aufgeführt.
Quelldatenbank | Quelldatentyp | BigQuery-Datentyp |
---|---|---|
MySQL | BIGINT(size) |
LONG |
MySQL | BIGINT (unsigned) |
DECIMAL |
MySQL | BINARY(size) |
STRING (hex encoded) |
MySQL | BIT(size) |
INT64 |
MySQL | BLOB(size) |
STRING (hex encoded) |
MySQL | BOOL |
INT64 |
MySQL | CHAR(size) |
STRING |
MySQL | DATE |
DATE |
MySQL | DATETIME(fsp) |
DATETIME |
MySQL | DECIMAL(precision, scale) |
Wenn der Wert für die Genauigkeit <=38 und der Wert für den Maßstab <=9 ist, dann NUMERIC . Andernfalls BIGNUMERIC |
MySQL | DOUBLE(size, d) |
FLOAT64 |
MySQL | ENUM(val1, val2, val3, ...) |
STRING |
MySQL | FLOAT(precision) |
FLOAT64 |
MySQL | FLOAT(size, d) |
FLOAT64 |
MySQL | INTEGER(size) |
INT64 |
MySQL | INTEGER (unsigned) |
LONG |
MySQL |
|
JSON
|
MySQL | LONGBLOB |
STRING (hex encoded) |
MySQL | LONGTEXT |
STRING |
MySQL | MEDIUMBLOB |
STRING (hex encoded) |
MySQL | MEDIUMINT(size) |
INT64 |
MySQL | MEDIUMTEXT |
STRING |
MySQL | SET(val1, val2, val3, ...) |
STRING |
MySQL | SMALLINT(size) |
INT64 |
MySQL | TEXT(size) |
STRING |
MySQL | TIME(fsp) |
INTERVAL |
MySQL | TIMESTAMP(fsp) |
TIMESTAMP |
MySQL | TINYBLOB |
STRING (hex encoded) |
MySQL | TINYINT(size) |
INT64 |
MySQL | TINYTEXT |
STRING |
MySQL | VARBINARY(size) |
STRING (hex encoded) |
MySQL | VARCHAR |
STRING |
MySQL | YEAR |
INT64 |
Oracle | ANYDATA |
UNSUPPORTED |
Oracle | BFILE |
STRING |
Oracle | BINARY DOUBLE |
FLOAT64 |
Oracle | BINARY FLOAT |
FLOAT64 |
Oracle | BLOB |
BYTES |
Oracle | CHAR |
STRING |
Oracle | CLOB |
STRING |
Oracle | DATE |
DATETIME
|
Oracle | DOUBLE PRECISION |
FLOAT64 |
Oracle | FLOAT(p) |
FLOAT64 |
Oracle | INTERVAL DAY TO SECOND |
UNSUPPORTED |
Oracle | INTERVAL YEAR TO MONTH |
UNSUPPORTED |
Oracle | LONG /LONG RAW |
STRING |
Oracle | NCHAR |
STRING |
Oracle | NCLOB |
STRING |
Oracle | NUMBER(precision, scale>0) |
Wenn 0< p< 78, dann parametrisierten Dezimaltypen zuordnen. Wenn p>=79, STRING zuordnen |
Oracle | NVARCHAR2 |
STRING |
Oracle | RAW |
STRING |
Oracle | ROWID |
STRING |
Oracle | SDO_GEOMETRY |
UNSUPPORTED |
Oracle | SMALLINT |
INT64 |
Oracle | TIMESTAMP |
TIMESTAMP
|
Oracle | TIMESTAMP WITH TIME ZONE |
TIMESTAMP
|
Oracle | UDT (user-defined type) |
UNSUPPORTED |
Oracle | UROWID |
STRING |
Oracle | VARCHAR |
STRING |
Oracle | VARCHAR2 |
STRING |
Oracle | XMLTYPE |
UNSUPPORTED |
PostgreSQL | ARRAY |
JSON
|
PostgreSQL | BIGINT |
INT64 |
PostgreSQL | BIT |
BYTES |
PostgreSQL | BIT_VARYING |
BYTES |
PostgreSQL | BOOLEAN |
BOOLEAN |
PostgreSQL | BOX |
UNSUPPORTED |
PostgreSQL | BYTEA |
BYTES |
PostgreSQL | CHARACTER |
STRING |
PostgreSQL | CHARACTER_VARYING |
STRING |
PostgreSQL | CIDR |
STRING |
PostgreSQL | CIRCLE |
UNSUPPORTED |
PostgreSQL | DATE |
DATE |
PostgreSQL | DOUBLE_PRECISION |
FLOAT64 |
PostgreSQL | ENUM |
STRING |
PostgreSQL | INET |
STRING |
PostgreSQL | INTEGER |
INT64 |
PostgreSQL | INTERVAL |
INTERVAL |
PostgreSQL | JSON |
JSON |
PostgreSQL | JSONB |
JSON |
PostgreSQL | LINE |
UNSUPPORTED |
PostgreSQL | LSEG |
UNSUPPORTED |
PostgreSQL | MACADDR |
STRING |
PostgreSQL | MONEY |
FLOAT64 |
PostgreSQL | NUMERIC |
Wenn „precision“ = -1 ist, dann STRING (BigQuery-NUMERIC -Typen erfordern eine feste Genauigkeit). Andernfalls BIGNUMERIC /NUMERIC . Weitere Informationen finden Sie in der PostgreSQL-Dokumentation im Abschnitt Zahlen mit beliebiger Genauigkeit. |
PostgreSQL | OID |
INT64 |
PostgreSQL | PATH |
UNSUPPORTED |
PostgreSQL | POINT |
UNSUPPORTED |
PostgreSQL | POLYGON |
UNSUPPORTED |
PostgreSQL | REAL |
FLOAT64 |
PostgreSQL | SMALLINT |
INT64 |
PostgreSQL | SMALLSERIAL |
INT64 |
PostgreSQL | SERIAL |
INT64 |
PostgreSQL | TEXT |
STRING |
PostgreSQL | TIME |
TIME |
PostgreSQL | TIMESTAMP |
TIMESTAMP |
PostgreSQL | TIMESTAMP_WITH_TIMEZONE |
TIMESTAMP |
PostgreSQL | TIME_WITH_TIMEZONE |
TIME |
PostgreSQL | TSQUERY |
STRING |
PostgreSQL | TSVECTOR |
STRING |
PostgreSQL | TXID_SNAPSHOT |
STRING |
PostgreSQL | UUID |
STRING |
PostgreSQL | XML |
STRING |
SQL Server | BIGINT |
INT64 |
SQL Server | BINARY |
BYTES |
SQL Server | BIT |
BOOL |
SQL Server | CHAR |
STRING |
SQL Server | DATE |
DATE |
SQL Server | DATETIME2 |
DATETIME |
SQL Server | DATETIME |
DATETIME |
SQL Server | DATETIMEOFFSET |
TIMESTAMP |
SQL Server | DECIMAL |
BIGNUMERIC |
SQL Server | FLOAT |
FLOAT64 |
SQL Server | IMAGE |
BYTES |
SQL Server | INT |
INT64 |
SQL Server | MONEY |
BIGNUMERIC |
SQL Server | NCHAR |
STRING |
SQL Server | NTEXT |
STRING |
SQL Server | NUMERIC |
BIGNUMERIC |
SQL Server | NVARCHAR |
STRING |
SQL Server | NVARCHAR(MAX) |
STRING |
SQL Server | REAL |
FLOAT64 |
SQL Server | SMALLDATETIME |
DATETIME |
SQL Server | SMALLINT |
INT64 |
SQL Server | SMALLMONEY |
NUMERIC |
SQL Server | TEXT |
STRING |
SQL Server | TIME |
TIME |
SQL Server | TIMESTAMP /ROWVERSION |
BYTES |
SQL Server | TINYINT |
INT64 |
SQL Server | UNIQUEIDENTIFIER |
STRING |
SQL Server | VARBINARY |
BYTES |
SQL Server | VARBINARY(MAX) |
BYTES |
SQL Server | VARCHAR |
STRING |
SQL Server | VARCHAR(MAX) |
STRING |
SQL Server | XML |
STRING |
PostgreSQL-Array als BigQuery-Arraydatentyp abfragen
Wenn Sie ein PostgreSQL-Array lieber als BigQuery-ARRAY
-Datentyp abfragen möchten, können Sie die JSON
-Werte mithilfe der BigQuery-Funktion JSON_VALUE_ARRAY
in ein BigQuery-Array konvertieren:
SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)AS array_col
Ersetzen Sie Folgendes:
TYPE: Der BigQuery-Typ, der dem Elementtyp im PostgreSQL-Quellarray entspricht. Wenn der Quelltyp beispielsweise ein Array von
BIGINT
-Werten ist, ersetzen Sie TYPE durchINT64
.Weitere Informationen zur Zuordnung von Datentypen finden Sie unter Datentypen zuordnen.
BQ_COLUMN_NAME: Der Name der entsprechenden Spalte in der BigQuery-Tabelle.
Es gibt zwei Ausnahmen bei der Umwandlung der Werte:
Führen Sie für Arrays von
BIT
-,BIT_VARYING
- oderBYTEA
-Werten in der Quellspalte die folgende Abfrage aus:SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_bytes Verwenden Sie für Arrays von
JSON
- oderJSONB
-Werten in der Quellspalte die FunktionJSON_QUERY_ARRAY
:SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element)
AS array_of_jsons
Bekannte Einschränkungen
Bekannte Einschränkungen bei Verwendung von BigQuery als Ziel:
- Sie können Daten nur in ein BigQuery-Dataset replizieren, das sich im selben Projekt wie der Datastream-Stream befindet. Google Cloud
- Standardmäßig unterstützt Datastream nicht, dass einer Tabelle, die bereits ohne Primärschlüssel in BigQuery repliziert wurde, ein Primärschlüssel hinzugefügt wird. Ebenso wird nicht unterstützt, dass ein Primärschlüssel aus einer Tabelle entfernt wird, die mit einem Primärschlüssel in BigQuery repliziert wurde. Wenn Sie solche Änderungen vornehmen möchten, wenden Sie sich an den Google-Support. Informationen zum Ändern der Primärschlüsseldefinition für eine Quelltabelle, die bereits einen Primärschlüssel hat, finden Sie unter Probleme diagnostizieren.
Primärschlüssel in BigQuery müssen einen der folgenden Datentypen haben:
DATE
BOOL
GEOGRAPHY
INT64
NUMERIC
BIGNUMERIC
STRING
TIMESTAMP
DATETIME
Tabellen mit Primärschlüsseln von nicht unterstützten Datentypen werden von Datastream nicht repliziert.
BigQuery unterstützt keine Tabellennamen mit den Zeichen
.
,$
,/
,@
oder+
. Datastream ersetzt solche Zeichen beim Erstellen von Zieltabellen durch Unterstriche.Beispiel:
table.name
in der Quelldatenbank wird zutable_name
in BigQuery.Weitere Informationen zu Tabellennamen in BigQuery finden Sie unter Tabellennamen.
- BigQuery unterstützt nicht mehr als vier Clusterungsspalten. Wenn eine Tabelle mit mehr als vier Primärschlüsselspalten repliziert wird, verwendet Datastream vier Primärschlüsselspalten als Clusterspalten.
- In Datastream werden Datums- und Uhrzeitliterale, die außerhalb des zulässigen Bereichs liegen, wie z. B. PostgreSQL-Datentypen für unendliche Werte, den folgenden Werten zugeordnet:
- Positiver
DATE
bis zum Wert von9999-12-31
- Negativer
DATE
auf den Wert von0001-01-01
- Positiver
TIMESTAMP
bis zum Wert von9999-12-31 23:59:59.999000 UTC
- Negativer
TIMESTAMP
auf den Wert von0001-01-01 00:00:00 UTC
- Positiver
- BigQuery unterstützt keine Streamingtabellen mit Primärschlüsseln vom Typ
FLOAT
oderREAL
. Solche Tabellen werden nicht repliziert.
Weitere Informationen zu BigQuery-Datumstypen und ‑bereichen finden Sie unter Datentypen.
Nächste Schritte
- Informationen zum Replizieren von Daten aus einer Quelldatenbank in BigQuery-Datasets mit Datastream