BigQuery-Ziel

Auf dieser Seite erhalten Sie einen Überblick über das BigQuery-Ziel. Darin werden das Schreibverhalten und bekannte Einschränkungen von Datastream beschrieben, wenn Sie Daten in BigQuery replizieren.

Schreibverhalten

  • Die maximale Ereignisgröße beim Streamen von Daten in BigQuery beträgt 20 MB.

  • Wenn Sie Ihren Stream konfigurieren, können Sie auswählen, wie Datastream Ihre Änderungsdaten in BigQuery schreibt. Weitere Informationen finden Sie unter Schreibmodus konfigurieren.

Tabellenmetadaten

Datastream fügt jeder Tabelle, die in das BigQuery-Ziel geschrieben wird, eine STRUCT-Spalte mit dem Namen datastream_metadata hinzu.

Zusammenführungs-Schreibmodus

Wenn eine Tabelle in der Quelle einen Primärschlüssel hat, enthält die Spalte die folgenden Felder:

  • UUID: Dieses Feld hat den Datentyp STRING.
  • SOURCE_TIMESTAMP: Dieses Feld hat den Datentyp INTEGER.

Wenn eine Tabelle keinen Primärschlüssel hat, enthält die Spalte ein zusätzliches Feld: IS_DELETED. Dieses Feld hat den Datentyp BOOLEAN und gibt an, ob die Daten, die von Datastream an das Ziel gestreamt werden, mit einem DELETE-Vorgang in der Quelle verknüpft sind. Tabellen ohne Primärschlüssel sind nur zum Anhängen von Daten geeignet.

Schreibmodus „Nur anhängen“

Die Spalte datastream_metadata enthält dieselben Felder für Tabellen mit und ohne Primärschlüssel:

  • UUID: Dieses Feld hat den Datentyp STRING.
  • SOURCE_TIMESTAMP: Dieses Feld hat den Datentyp INTEGER.
  • CHANGE_SEQUENCE_NUMBER: Dieses Feld hat den Datentyp STRING. Dies ist eine interne Sequenznummer, die von Datastream für jedes Änderungsereignis verwendet wird.
  • CHANGE_TYPE: Dieses Feld hat den Datentyp STRING. Gibt den Typ des Änderungsereignisses an: INSERT, UPDATE-INSERT, UPDATE-DELETE oder DELETE.
  • SORT_KEYS: Dieses Feld enthält ein Array von STRING-Werten. Sie können die Werte verwenden, um die Änderungsereignisse zu sortieren.

BigQuery-Kosten kontrollieren

BigQuery-Kosten werden separat von Datastream in Rechnung gestellt. Informationen zur Kostenkontrolle in BigQuery finden Sie unter BigQuery CDC-Preise.

Bekannte Einschränkungen

Bekannte Einschränkungen bei Verwendung von BigQuery als Ziel:

  • Sie können Daten nur in ein BigQuery-Dataset replizieren, das sich im selben Google Cloud Projekt wie der Datastream-Stream befindet.
  • Standardmäßig unterstützt Datastream das Hinzufügen eines Primärschlüssels zu einer Tabelle, die bereits ohne Primärschlüssel in BigQuery repliziert wurde, oder das Entfernen eines Primärschlüssels aus einer Tabelle, die mit einem Primärschlüssel in BigQuery repliziert wurde, nicht. Wenn Sie solche Änderungen vornehmen müssen, wenden Sie sich an den Google-Support. Informationen zum Ändern der Primärschlüsseldefinition für eine Quelltabelle, die bereits einen Primärschlüssel hat, finden Sie unter Probleme diagnostizieren.

  • Primärschlüssel in BigQuery müssen die folgenden Datentypen haben:

    • DATE
    • BOOL
    • GEOGRAPHY
    • INT64
    • NUMERIC
    • BIGNUMERIC
    • STRING
    • TIMESTAMP
    • DATETIME

    Tabellen, die Primärschlüssel mit nicht unterstützten Datentypen enthalten, werden von Datastream nicht repliziert.

  • BigQuery unterstützt keine Tabellennamen mit den Zeichen ., $, /, @ oder +. Datastream ersetzt solche Zeichen beim Erstellen von Zieltabelle durch Unterstriche.

    Beispiel: table.name in der Quelldatenbank wird zu table_name in BigQuery.

    Weitere Informationen zu Tabellennamen in BigQuery finden Sie unter Tabellennamen.

  • BigQuery unterstützt nicht mehr als vier Clustering-Spalten. Wenn Sie eine Tabelle mit mehr als vier Primärschlüsselspalten replizieren, verwendet Datastream vier Primärschlüsselspalten als Clustering-Spalten.

  • In Datastream werden Datums- und Uhrzeitliterale außerhalb des gültigen Bereichs, z. B. PostgreSQL-Datentypen für unendliche Datumsangaben, den folgenden Werten zugeordnet:

    • Positiver DATE-Wert für 9999-12-31
    • Negativer DATE-Wert für 0001-01-01
    • Positiver TIMESTAMP-Wert für 9999-12-31 23:59:59.999000 UTC
    • Negativer TIMESTAMP-Wert für 0001-01-01 00:00:00 UTC

  • BigQuery unterstützt keine Streamingtabellen mit Primärschlüsseln vom Datentyp FLOAT oder REAL. Solche Tabellen werden nicht repliziert. Weitere Informationen zu BigQuery-Datentypen und ‑bereichen finden Sie unter Datentypen.

  • Wenn Ihre Quelle Salesforce ist, wird die Konfigurationsoption Dataset für jedes Schema nicht unterstützt.

Nächste Schritte