BigQuery-Ziel konfigurieren

Auf dieser Seite wird beschrieben, wie Sie Ihr BigQuery-Ziel so konfigurieren, dass Daten aus einer Quelldatenbank mithilfe von Datastream gestreamt werden.

Ziel-Datasets konfigurieren

Wenn Sie Datasets für das BigQuery-Ziel konfigurieren, können Sie eine der folgenden Optionen auswählen:

  • Dataset für jedes Schema: Das Dataset wird basierend auf dem Schemanamen der Quelle am angegebenen BigQuery-Speicherort ausgewählt oder erstellt. Daher erstellt Datastream für jedes Schema in der Quelle automatisch ein Dataset in BigQuery.

    Wenn Sie diese Option auswählen, erstellt Datastream Datasets im Projekt, das den Stream enthält.

    Wenn Sie beispielsweise eine MySQL-Quelle mit einer mydb-Datenbank und einer employees-Tabelle in der Datenbank haben, erstellt Datastream das mydb-Dataset und die employees-Tabelle in BigQuery.

  • Einzelnes Dataset für alle Schemas: Sie können ein BigQuery-Dataset für den Stream auswählen. Datastream streamt alle Daten in dieses Dataset. Für das ausgewählte Dataset erstellt Datastream alle Tabellen als <schema>_<table>.

    Wenn Sie beispielsweise eine MySQL-Quelle mit einer mydb-Datenbank und einer employees-Tabelle in der Datenbank haben, erstellt Datastream die mydb_employees-Tabelle im ausgewählten Datenpool.

Schreibverhalten

  • Die maximale Ereignisgröße beim Streamen von Daten in BigQuery beträgt 20 MB.

  • Bei der Konfiguration des Streams können Sie auswählen, schreibt Ihre Änderungsdaten in BigQuery. Weitere Informationen finden Sie unter Schreibmodus konfigurieren.

Schreibmodus konfigurieren

Es gibt zwei Modi, mit denen Sie festlegen können, wie Ihre Daten in BigQuery geschrieben werden sollen:

  • Merge: Dies ist der Standardschreibmodus. Wenn diese Option ausgewählt ist, werden in BigQuery die Daten so dargestellt, wie sie in der Quelldatenbank gespeichert sind. Das bedeutet, dass Datastream alle Änderungen an Ihren Daten in BigQuery schreibt und BigQuery die Änderungen dann mit den vorhandenen Daten konsolidiert, sodass endgültige Tabellen erstellt werden, die Replikate der Quelltabellen sind. Im Modus Merge (Zusammenführen) wird kein Verlauf der Änderungsereignisse aufbewahrt. Wenn Sie beispielsweise eine Zeile einfügen und dann aktualisieren, behält BigQuery nur die aktualisierten Daten bei. Wenn Sie dann die Zeile aus der Quelltabelle löschen, speichert BigQuery keine Aufzeichnungen mehr zu dieser Zeile.
  • Nur anfügen: Im Schreibmodus, für den nur Anfügungen zulässig sind, können Sie Daten als Änderungsstream in BigQuery hinzufügen (INSERT-, UPDATE-INSERT-, UPDATE-DELETE- und DELETE-Ereignisse). Verwenden Sie diesen Modus, wenn Sie den bisherigen Status Ihrer Daten beibehalten möchten. Betrachten Sie die folgenden Szenarien, um den Schreibmodus, für den nur Anfügungen zulässig sind, besser zu verstehen:
    • Anfänglicher Backfill: Nach dem ersten Backfill werden alle Ereignisse als Ereignisse vom Typ INSERT mit demselben Zeitstempel, derselben UUID (Universally Unique Identifier) und der gleichen Änderungssequenznummer in BigQuery geschrieben.
    • Primärschlüsselaktualisierung: Wenn sich ein Primärschlüssel ändert, werden zwei Zeilen in BigQuery geschrieben:
      • Eine UPDATE-DELETE-Zeile mit dem ursprünglichen Primärschlüssel
      • Eine UPDATE-INSERT-Zeile mit dem neuen Primärschlüssel
    • Zeilenaktualisierung: Wenn Sie eine Zeile aktualisieren, wird eine einzelne UPDATE-INSERT-Zeile in BigQuery geschrieben.
    • Zeilenlöschen: Wenn Sie eine Zeile löschen, wird eine einzelne DELETE-Zeile in BigQuery geschrieben.

Tabellenmetadaten

Datastream hängt jeweils eine STRUCT-Spalte namens datastream_metadata an die in das BigQuery-Ziel geschrieben wird.

Schreibmodus „Merge“

Wenn eine Tabelle in der Quelle einen Primärschlüssel hat, enthält die Spalte die folgenden Felder:

  • UUID: Dieses Feld hat den Datentyp STRING.
  • SOURCE_TIMESTAMP: Dieses Feld hat den Datentyp INTEGER.

Wenn eine Tabelle keinen Primärschlüssel hat, enthält die Spalte ein zusätzliches Feld: IS_DELETED. Dieses Feld hat den Datentyp BOOLEAN und gibt an, ob die von Datastream an das Ziel gestreamten Daten mit einem DELETE-Vorgang in der Quelle verknüpft sind. Bei Tabellen ohne Primärschlüssel ist nur das Anhängen möglich.

Schreibmodus „Nur anhängen“

Die Spalte datastream_metadata enthält dieselben Felder für Tabellen mit und ohne Primärschlüssel:

  • UUID: Dieses Feld hat den Datentyp STRING.
  • SOURCE_TIMESTAMP: Dieses Feld hat den Datentyp INTEGER.
  • CHANGE_SEQUENCE_NUMBER: Dieses Feld hat den Datentyp STRING. Es ist ein interne Sequenznummer, die von Datastream für jedes Änderungsereignis verwendet wird.
  • CHANGE_TYPE: Dieses Feld hat den Datentyp STRING. Gibt den Typ des Änderungsereignisses an: INSERT, UPDATE-INSERT, UPDATE-DELETE oder DELETE.
  • SORT_KEYS: Dieses Feld enthält ein Array von STRING-Werten. Sie können die Änderungsereignisse anhand der Werte sortieren.

BigQuery-Tabellen mit der Option max_staleness verwenden

Im Rahmen der Datenaufnahme nahezu in Echtzeit nutzt Datastream die in BigQuery integrierte Unterstützung für Upsert-Vorgänge wie das Aktualisieren, Einfügen und Löschen von Daten. Mit Upsert-Vorgängen können Sie das BigQuery-Ziel dynamisch aktualisieren, wenn Zeilen hinzugefügt, geändert oder gelöscht werden. Datastream streamt diese Upsert-Vorgänge mithilfe der Storage Write API von BigQuery in die Zieltabelle.

Limit für die Veralterung von Daten angeben

Je nach konfiguriertem Limit für die Datenveralterung wendet BigQuery die Quelländerungen laufend im Hintergrund oder bei der Abfrageausführung an. Wenn Datastream eine neue Tabelle in BigQuery erstellt, wird die Option max_staleness der Tabelle entsprechend dem aktuellen Wert für das Limit für die Datenveralterung für den Stream festgelegt.

Weitere Informationen zum Verwenden von BigQuery-Tabellen mit der Option max_staleness finden Sie unter Veraltete Tabellen.

BigQuery-Kosten kontrollieren

Die Kosten für BigQuery werden getrennt von Datastream abgerechnet. Informationen zum Steuern Ihrer BigQuery-Kosten finden Sie unter Preise für BigQuery CDC.

Datentypen zuordnen

In der folgenden Tabelle sind die Datentypkonvertierungen von unterstützten Quelldatenbanken in das BigQuery-Ziel aufgeführt.


Quelldatenbank Quelldatentyp BigQuery-Datentyp
MySQL BIGINT(size) LONG
MySQL BIGINT (unsigned) DECIMAL
MySQL BINARY(size) STRING (hex encoded)
MySQL BIT(size) INT64
MySQL BLOB(size) STRING (hex encoded)
MySQL BOOL INT64
MySQL CHAR(size) STRING
MySQL DATE DATE
MySQL DATETIME(fsp) DATETIME
MySQL DECIMAL(precision, scale) Wenn der Wert für die Genauigkeit <= 38 und der Wert für den Maßstab <= 9 ist, dann NUMERIC. Andernfalls BIGNUMERIC
MySQL DOUBLE(size, d) FLOAT64
MySQL ENUM(val1, val2, val3, ...) STRING
MySQL FLOAT(precision) FLOAT64
MySQL FLOAT(size, d) FLOAT64
MySQL INTEGER(size) INT64
MySQL INTEGER (unsigned) LONG
MySQL

JSON

 JSON
MySQL LONGBLOB STRING (hex encoded)
MySQL LONGTEXT STRING
MySQL MEDIUMBLOB STRING (hex encoded)
MySQL MEDIUMINT(size) INT64
MySQL MEDIUMTEXT STRING
MySQL SET(val1, val2, val3, ...) STRING
MySQL SMALLINT(size) INT64
MySQL TEXT(size) STRING
MySQL TIME(fsp) INTERVAL
MySQL TIMESTAMP(fsp) TIMESTAMP
MySQL TINYBLOB STRING (hex encoded)
MySQL TINYINT(size) INT64
MySQL TINYTEXT STRING
MySQL VARBINARY(size) STRING (hex encoded)
MySQL VARCHAR STRING
MySQL YEAR INT64
Oracle ANYDATA UNSUPPORTED
Oracle BFILE STRING
Oracle BINARY DOUBLE FLOAT64
Oracle BINARY FLOAT FLOAT64
Oracle BLOB BYTES
Oracle CHAR STRING
Oracle CLOB STRING
Oracle DATE DATETIME
Oracle DOUBLE PRECISION FLOAT64
Oracle FLOAT(p) FLOAT64
Oracle INTERVAL DAY TO SECOND UNSUPPORTED
Oracle INTERVAL YEAR TO MONTH UNSUPPORTED
Oracle LONG/LONG RAW STRING
Oracle NCHAR STRING
Oracle NCLOB STRING
Oracle NUMBER STRING
Oracle NUMBER(precision=*) STRING
Oracle NUMBER(precision, scale<=0) Wenn p<=18, dann INT64. Wenn 18 < p < 78, dann parametrischen Dezimaltypen zuordnen. Wenn p>=79, STRING zuordnen
Oracle NUMBER(precision, scale>0) Wenn 0 < p < 78, dann parametrisierten Dezimaltypen zuordnen. Wenn p > = 79 ist, zuordnen Sie sie STRING.
Oracle NVARCHAR2 STRING
Oracle RAW STRING
Oracle ROWID STRING
Oracle SDO_GEOMETRY UNSUPPORTED
Oracle SMALLINT INT64
Oracle TIMESTAMP TIMESTAMP
Oracle TIMESTAMP WITH TIME ZONE TIMESTAMP
Oracle UDT (user-defined type) UNSUPPORTED
Oracle UROWID STRING
Oracle VARCHAR STRING
Oracle VARCHAR2 STRING
Oracle XMLTYPE UNSUPPORTED
PostgreSQL ARRAY JSON
PostgreSQL BIGINT INT64
PostgreSQL BIT BYTES
PostgreSQL BIT_VARYING BYTES
PostgreSQL BOOLEAN BOOLEAN
PostgreSQL BOX UNSUPPORTED
PostgreSQL BYTEA BYTES
PostgreSQL CHARACTER STRING
PostgreSQL CHARACTER_VARYING STRING
PostgreSQL CIDR STRING
PostgreSQL CIRCLE UNSUPPORTED
PostgreSQL DATE DATE
PostgreSQL DOUBLE_PRECISION FLOAT64
PostgreSQL ENUM STRING
PostgreSQL INET STRING
PostgreSQL INTEGER INT64
PostgreSQL INTERVAL INTERVAL
PostgreSQL JSON JSON
PostgreSQL JSONB JSON
PostgreSQL LINE UNSUPPORTED
PostgreSQL LSEG UNSUPPORTED
PostgreSQL MACADDR STRING
PostgreSQL MONEY FLOAT64
PostgreSQL NUMERIC Wenn Precision = -1, dann STRING (BigQuery-NUMERIC-Typen erfordern eine feste Genauigkeit). Andernfalls BIGNUMERIC/NUMERIC. Weitere Informationen finden Sie in der PostgreSQL-Dokumentation im Abschnitt Zahlen mit beliebiger Genauigkeit.
PostgreSQL OID INT64
PostgreSQL PATH UNSUPPORTED
PostgreSQL POINT UNSUPPORTED
PostgreSQL POLYGON UNSUPPORTED
PostgreSQL REAL FLOAT64
PostgreSQL SMALLINT INT64
PostgreSQL SMALLSERIAL INT64
PostgreSQL SERIAL INT64
PostgreSQL TEXT STRING
PostgreSQL TIME TIME
PostgreSQL TIMESTAMP TIMESTAMP
PostgreSQL TIMESTAMP_WITH_TIMEZONE TIMESTAMP
PostgreSQL TIME_WITH_TIMEZONE TIME
PostgreSQL TSQUERY STRING
PostgreSQL TSVECTOR STRING
PostgreSQL TXID_SNAPSHOT STRING
PostgreSQL UUID STRING
PostgreSQL XML STRING
SQL Server BIGINT INT64
SQL Server BINARY BYTES
SQL Server BIT BOOL
SQL Server CHAR STRING
SQL Server DATE DATE
SQL Server DATETIME2 DATETIME
SQL Server DATETIME DATETIME
SQL Server DATETIMEOFFSET TIMESTAMP
SQL Server DECIMAL BIGNUMERIC
SQL Server FLOAT FLOAT64
SQL Server IMAGE BYTES
SQL Server INT INT64
SQL Server MONEY BIGNUMERIC
SQL Server NCHAR STRING
SQL Server NTEXT STRING
SQL Server NUMERIC BIGNUMERIC
SQL Server NVARCHAR STRING
SQL Server NVARCHAR(MAX) STRING
SQL Server REAL FLOAT64
SQL Server SMALLDATETIME DATETIME
SQL Server SMALLINT INT64
SQL Server SMALLMONEY NUMERIC
SQL Server TEXT STRING
SQL Server TIME TIME
SQL Server TIMESTAMP/ROWVERSION BYTES
SQL Server TINYINT INT64
SQL Server UNIQUEIDENTIFIER STRING
SQL Server VARBINARY BYTES
SQL Server VARBINARY(MAX) BYTES
SQL Server VARCHAR STRING
SQL Server VARCHAR(MAX) STRING
SQL Server XML STRING

PostgreSQL-Array als BigQuery-Arraydatentyp abfragen

Wenn Sie ein PostgreSQL-Array lieber als BigQuery-Datentyp ARRAY abfragen möchten, Sie können die JSON-Werte mit der BigQuery-Funktion JSON_VALUE_ARRAY in ein BigQuery-Array konvertieren:

  SELECT ARRAY(SELECT CAST(element AS TYPE) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_col

Ersetzen Sie Folgendes:

  • TYPE: Der BigQuery-Typ, der dem Elementtyp im PostgreSQL-Quellarray entspricht. Wenn der Quelltyp z. B. ein Array von BIGINT-Werten und ersetzen Sie dann TYPE durch INT64.

    Weitere Informationen zum Zuordnen der Datentypen finden Sie unter Datentypen zuordnen

  • BQ_COLUMN_NAME: Der Name der entsprechenden Spalte in der BigQuery-Tabelle.

Es gibt zwei Ausnahmen bei der Umwandlung der Werte:

  • Für Arrays von BIT-, BIT_VARYING- oder BYTEA-Werten in der Quellspalte führen Sie die folgende Abfrage aus:

    SELECT ARRAY(SELECT FROM_BASE64(element) FROM UNNEST(JSON_VALUE_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_bytes

  • Für Arrays mit JSON- oder JSONB-Werten in der Quellspalte verwenden Sie die Methode JSON_QUERY_ARRAY:

    SELECT ARRAY(SELECT element FROM UNNEST(JSON_QUERY_ARRAY(BQ_COLUMN_NAME,'$')) AS element) AS array_of_jsons

Bekannte Einschränkungen

Bekannte Einschränkungen bei Verwendung von BigQuery als Ziel:

  • Sie können Daten nur in ein BigQuery-Dataset replizieren, das sich im selben Google Cloud-Projekt wie der Datastream-Stream befindet.
  • Standardmäßig unterstützt Datastream das Hinzufügen eines Primärschlüssels zu einer Tabelle, die bereits ohne Primärschlüssel in BigQuery repliziert wurde, und das Entfernen eines Primärschlüssels aus einer Tabelle, die mit einem Primärschlüssel in BigQuery repliziert wird. Wenn Sie solche Änderungen vornehmen müssen, wenden Sie sich an den Google-Support. Informationen zum Ändern der Primärschlüsseldefinition für eine Quelltabelle, die bereits einen Primärschlüssel hat, finden Sie unter Probleme diagnostizieren.

  • Primärschlüssel in BigQuery müssen einen der folgenden Datentypen haben:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Tabellen mit Primärschlüsseln von nicht unterstützten Datentypen werden von Datastream nicht repliziert.

  • BigQuery unterstützt keine Tabellennamen mit den Zeichen ., $, /, @ oder +. Datastream ersetzt diese Zeichen beim Erstellen von Zieltabellen durch Unterstriche.

    Beispielsweise wird table.name in der Quelldatenbank zu table_name in BigQuery.

    Weitere Informationen zu Tabellennamen in BigQuery finden Sie unter Tabellennamen.

  • BigQuery unterstützt nicht mehr als vier Clusterungsspalten. Beim Replizieren einer Tabelle mit mehr als vier Primärschlüsselspalten verwendet Datastream vier Primärschlüsselspalten als Clustering-Spalten.
  • In Datastream werden Datums- und Uhrzeitliterale, die außerhalb des zulässigen Bereichs liegen, wie z. B. PostgreSQL-Datentypen für unendliche Werte, den folgenden Werten zugeordnet:
    • Positiver DATE bis zum Wert von 9999-12-31
    • Negativer DATE zum Wert von 0001-01-01
    • Positiver Wert von TIMESTAMP in Wert von 9999-12-31 23:59:59.999000 UTC
    • Negativer TIMESTAMP zum Wert von 0001-01-01 00:00:00 UTC
  • BigQuery unterstützt keine Streamingtabellen mit Primärschlüsseln vom Typ FLOAT oder REAL. Solche Tabellen werden nicht repliziert.

    • Weitere Informationen zu BigQuery-Datumstypen und ‑bereichen finden Sie unter Datentypen.

Nächste Schritte