Mit Sammlungen den Überblick behalten
Sie können Inhalte basierend auf Ihren Einstellungen speichern und kategorisieren.
Auf dieser Seite wird beschrieben, wie Sie Datastream so konfigurieren, dass Sie Daten in BigQuery-Datasets schreiben können.
Erforderliche Berechtigungen
Datastream nutzt die integrierte BigQuery-Unterstützung für CDC-Updates (Change Data Capture). Datastream aktualisiert die BigQuery-Tabellen durch Verarbeitung und Anwendung von gestreamten Änderungen mit der BigQuery Storage Write API.
Die Berechtigungen, die für die Verwendung der API und das Erfassen von Daten in BigQuery erforderlich sind, werden der Rolle Datastream Service Agent gewährt.
BigQuery als Ziel konfigurieren
Führen Sie die folgenden Schritte aus, um Datastream für das Streaming zu BigQuery zu konfigurieren:
Achten Sie darauf, dass die BigQuery API in Ihrem Google Cloud-Projekt aktiviert ist.
Datasets sind Container auf oberster Ebene, mit denen Sie den Zugriff auf Ihre BigQuery-Tabellen organisieren und steuern können.
Wenn Sie Datasets für das BigQuery-Ziel mit Datastream konfigurieren, können Sie eine der folgenden Optionen auswählen:
Dataset für jedes Schema: Das Dataset wird anhand des Schemanamens der Quelle ausgewählt oder automatisch von Datastream am angegebenen BigQuery-Standort erstellt. Daher hat jedes Schema in der Quelle ein entsprechendes Dataset in BigQuery.
Wenn Sie beispielsweise eine MySQL-Quelle haben und diese Quelle eine mydb-Datenbank und eine employees-Tabelle in der Datenbank enthält, erstellt Datastream das mydb-Dataset und die employees-Tabelle in BigQuery.
Wenn Sie diese Option auswählen, erstellt Datastream Datasets in dem Projekt, das den Stream enthält. Sie müssen die Datasets nicht in derselben Region wie Ihren Stream erstellen. Wir empfehlen jedoch, alle Ressourcen für den Stream sowie Datasets in derselben Region zu platzieren, um Kosten und Leistung zu optimieren.
Einzelnes Dataset für alle Schemas: Sie wählen ein BigQuery-Dataset für den Stream aus. Datastream streamt alle Daten in dieses Dataset. Für das ausgewählte Dataset erstellt Datastream alle Tabellen als <schema>_<table>.
Wenn Sie beispielsweise eine MySQL-Quelle mit der Datenbank mydb und der Tabelle employees in der Datenbank haben, erstellt Datastream die Tabelle mydb_employees im ausgewählten Dataset.
Schreibmodus konfigurieren
Es gibt zwei Modi, mit denen Sie festlegen können, wie Ihre Daten in BigQuery geschrieben werden sollen:
Zusammenführen: Dies ist der Standardschreibmodus. Wenn diese Option ausgewählt ist, wird in BigQuery die Art und Weise berücksichtigt, wie Ihre Daten in der Quelldatenbank gespeichert sind. Das bedeutet, dass Datastream alle Änderungen an Ihren Daten in BigQuery schreibt und BigQuery die Änderungen dann mit vorhandenen Daten zusammenführt. So werden endgültige Tabellen erstellt, die Replikate der Quelltabellen sind. Im Zusammenführungsmodus wird kein Verlaufsdatensatz der Änderungsereignisse geführt. Wenn Sie beispielsweise eine Zeile einfügen und dann aktualisieren, werden in BigQuery nur die aktualisierten Daten beibehalten. Wenn Sie die Zeile dann aus der Quelltabelle löschen, speichert BigQuery keinen Datensatz mehr für diese Zeile.
Nur anhängen: Im Schreibmodus „Nur anhängen“ können Sie Daten als Stream von Änderungen (INSERT-, UPDATE-INSERT-, UPDATE-DELETE- und DELETE-Ereignisse) in BigQuery einfügen. Verwenden Sie diesen Modus, wenn Sie den bisherigen Status Ihrer Daten beibehalten müssen.
Die folgenden Szenarien veranschaulichen den Nur-Anhängen-Schreibmodus:
Erster Backfill: Nach dem ersten Backfill werden alle Ereignisse als Ereignisse vom Typ INSERT mit demselben Zeitstempel, derselben UUID (Universally Unique Identifier) und derselben Änderungsfolgenummer in BigQuery geschrieben.
Aktualisierung des Primärschlüssels: Wenn sich ein Primärschlüssel ändert, werden zwei Zeilen in BigQuery geschrieben:
Eine UPDATE-DELETE-Zeile mit dem ursprünglichen Primärschlüssel
Eine UPDATE-INSERT-Zeile mit dem neuen primären Schlüssel
Zeilenaktualisierung: Wenn Sie eine Zeile aktualisieren, wird eine einzelne UPDATE-INSERT-Zeile in BigQuery geschrieben.
Löschen von Zeilen: Wenn Sie eine Zeile löschen, wird eine einzelne DELETE-Zeile in BigQuery geschrieben.
Limit für veraltete Daten festlegen
Je nach konfiguriertem Limit für die Veralterung wendet BigQuery die Änderungen laufend im Hintergrund oder bei der Abfrageausführung an. Wenn Datastream eine neue Tabelle in BigQuery erstellt, wird die Option max_staleness der Tabelle entsprechend dem aktuellen Wert für das Limit für die Veralterung von Daten für den Stream festgelegt.
Weitere Informationen zur Verwendung von BigQuery-Tabellen mit der Option max_staleness finden Sie unter Tabellenalter.
[[["Leicht verständlich","easyToUnderstand","thumb-up"],["Mein Problem wurde gelöst","solvedMyProblem","thumb-up"],["Sonstiges","otherUp","thumb-up"]],[["Schwer verständlich","hardToUnderstand","thumb-down"],["Informationen oder Beispielcode falsch","incorrectInformationOrSampleCode","thumb-down"],["Benötigte Informationen/Beispiele nicht gefunden","missingTheInformationSamplesINeed","thumb-down"],["Problem mit der Übersetzung","translationIssue","thumb-down"],["Sonstiges","otherDown","thumb-down"]],["Zuletzt aktualisiert: 2025-09-04 (UTC)."],[],[],null,["# Configure a BigQuery destination\n\nThis page describes how to configure Datastream so that you can write\ndata to BigQuery datasets.\n\nRequired permissions\n--------------------\n\nDatastream uses the BigQuery built-in support for change data\ncapture (CDC) updates. Datastream updates the BigQuery tables\nby processing and applying streamed changes using the BigQuery Storage Write API.\n\nThe permissions required for using the API and ingesting data to\nBigQuery are granted to the\n[Datastream Service Agent](/iam/docs/roles-permissions/datastream#datastream.serviceAgent)\nrole.\n\nConfigure BigQuery as a destination\n-----------------------------------\n\nTo configure Datastream for streaming to BigQuery, perform the\nfollowing steps:\n\n1. Make sure that the BigQuery API is enabled in your Google Cloud project.\n2. If you want to use the **Single dataset for all schemas** option, [create a dataset in BigQuery](/bigquery/docs/datasets#create-dataset).\n3. [Configure the destination dataset for your stream](#configure-datasets).\n4. [Configure write mode](#configure-write-mode).\n5. [Specify the maximum data staleness limit](#specify-staleness) for your stream.\n\n### Configure the destination datasets\n\nDatasets are top-level containers that are used to organize and control access\nto your BigQuery tables.\n\nWhen you configure datasets for the BigQuery destination using\nDatastream, you can select one of the following options:\n\n- **Dataset for each schema** : The dataset is selected or automatically created by Datastream in the [BigQuery location](/bigquery/docs/locations) specified, based on the schema name of the source. As a result, each schema in the source has a corresponding dataset in BigQuery.\n For example, if you have a MySQL source, and this source has a `mydb`\n database and an `employees` table within the database, then\n Datastream creates the `mydb` dataset and `employees` table in\n BigQuery.\n\n If you select this option, then Datastream creates datasets in the project that contains the stream. Although you don't need to create the datasets in the same region as your stream, we recommend to keep all resources for the stream, as well as datasets, in the same region for cost and performance optimization.\n | **Note:** The **Dataset for each schema** option isn't supported for Salesforce sources ([Preview](/products#product-launch-stages)).\n- **Single dataset for all schemas** : You select a BigQuery\n dataset for the stream. Datastream streams all data into this\n dataset. For the dataset that you select, Datastream creates all\n tables as `\u003cschema\u003e_\u003ctable\u003e`.\n\n For example, if you have a MySQL source, and this source has a `mydb`\n database and an `employees` table within the database, then\n Datastream creates the `mydb_employees` table in the dataset that\n you select.\n | **Note:** If your source is Salesforce ([Preview](/products#product-launch-stages)), Datastream uses the customer domain as the dataset name.\n\n### Configure write mode\n\nThere are two modes you can use to define how you want your data written to\nBigQuery:\n\n- **Merge**: This is the default write mode. When selected, BigQuery reflects the way your data is stored in the source database. This means that Datastream writes all changes to your data to BigQuery, and BigQuery then consolidates the changes with existing data, thus creating final tables that are replicas of the source tables. With merge mode, no historical record of the change events is kept. For example, if you insert and then update a row, BigQuery only keeps the updated data. If you then delete the row from the source table, BigQuery no longer keeps any record of that row.\n\n | **Note:** Merge mode is only applicable for tables with primary keys. Tables without primary keys are append-only.\n- **Append-only** : The append-only write mode lets you add data to BigQuery as a stream of changes (`INSERT`, `UPDATE-INSERT`, `UPDATE-DELETE` and `DELETE` events). Use this mode when you need to retain the historical state of your data.\n To get a better understanding of the append-only write mode, consider the following scenarios:\n\n - *Initial backfill* : after the initial backfill, all events are written to BigQuery as `INSERT` type events, with the same timestamp, universally unique identifier (UUID), and change sequence number.\n - *Primary key update* : when a primary key changes, two rows are written to BigQuery:\n - An `UPDATE-DELETE` row with the original primary key\n - An `UPDATE-INSERT` row with the new primary key\n - *Row update* : when you update a row, a single `UPDATE-INSERT` row is written to BigQuery\n - *Row deletion* : when you delete a row, a single `DELETE` row is written to BigQuery\n\n### Specify data staleness limit\n\nBigQuery applies source modifications in the background on an ongoing basis, or at query run time, according to the configured data staleness limit. When Datastream creates a new table in BigQuery, the table's `max_staleness` option is set according to the current data staleness limit value for the stream.\n\nFor more information about using BigQuery tables with the `max_staleness` option, see [Table staleness](/bigquery/docs/change-data-capture#manage_table_staleness)."]]
