Restez organisé à l'aide des collections
Enregistrez et classez les contenus selon vos préférences.
Cette page explique comment configurer Datastream pour pouvoir écrire des données dans des ensembles de données BigQuery.
Autorisations requises
Datastream utilise la compatibilité intégrée de BigQuery avec les mises à jour de capture de données modifiées (CDC). Datastream met à jour les tables BigQuery en traitant et en appliquant les modifications en streaming à l'aide de l'API BigQuery Storage Write.
Les autorisations requises pour utiliser l'API et ingérer des données dans BigQuery sont accordées au rôle Agent de service Datastream.
Configurer BigQuery en tant que destination
Pour configurer Datastream pour le streaming vers BigQuery, procédez comme suit :
Assurez-vous que l'API BigQuery est activée dans votre projet Google Cloud.
Configurer les ensembles de données de destination
Les ensembles de données sont des conteneurs de niveau supérieur utilisés pour organiser et contrôler l'accès à vos tables BigQuery.
Lorsque vous configurez des ensembles de données pour la destination BigQuery à l'aide de Datastream, vous pouvez sélectionner l'une des options suivantes :
Ensemble de données pour chaque schéma : l'ensemble de données est sélectionné ou créé automatiquement par Datastream dans l'emplacement BigQuery spécifié, en fonction du nom du schéma de la source. Par conséquent, chaque schéma de la source possède un ensemble de données correspondant dans BigQuery.
Par exemple, si vous disposez d'une source MySQL avec une base de données mydb et une table employees dans cette base de données, Datastream crée l'ensemble de données mydb et la table employees dans BigQuery.
Si vous sélectionnez cette option, Datastream crée des ensembles de données dans le projet contenant le flux. Bien que vous n'ayez pas besoin de créer les ensembles de données dans la même région que votre flux, nous vous recommandons de conserver toutes les ressources du flux, ainsi que les ensembles de données, dans la même région pour optimiser les coûts et les performances.
Ensemble de données unique pour tous les schémas : vous sélectionnez un ensemble de données BigQuery pour le flux. Datastream diffuse toutes les données dans cet ensemble de données. Pour l'ensemble de données que vous sélectionnez, Datastream crée toutes les tables au format <schema>_<table>.
Par exemple, si vous disposez d'une source MySQL avec une base de données mydb et une table employees dans cette base de données, Datastream crée la table mydb_employees dans l'ensemble de données que vous sélectionnez.
Configurer le mode écriture
Vous pouvez utiliser deux modes pour définir la façon dont vous souhaitez que vos données soient écrites dans BigQuery :
Fusionner : il s'agit du mode d'écriture par défaut. Lorsque cette option est sélectionnée, BigQuery reflète la façon dont vos données sont stockées dans la base de données source. Cela signifie que Datastream écrit toutes les modifications apportées à vos données dans BigQuery, qui les consolide ensuite avec les données existantes. Il crée ainsi des tables finales qui sont des répliques des tables sources. En mode de fusion, aucun enregistrement historique des événements de modification n'est conservé. Par exemple, si vous insérez une ligne, puis la mettez à jour, BigQuery ne conserve que les données mises à jour. Si vous supprimez ensuite la ligne de la table source, BigQuery ne conserve plus aucun enregistrement de cette ligne.
Ajout uniquement : le mode d'écriture "Ajout uniquement" vous permet d'ajouter des données à BigQuery sous forme de flux de modifications (événements INSERT, UPDATE-INSERT, UPDATE-DELETE et DELETE). Utilisez ce mode lorsque vous devez conserver l'état historique de vos données.
Pour mieux comprendre le mode d'écriture "ajout uniquement", examinons les scénarios suivants :
Remplissage initial : après le remplissage initial, tous les événements sont écrits dans BigQuery en tant qu'événements de type INSERT, avec le même code temporel, le même identifiant unique universel (UUID) et le même numéro de séquence de modification.
Mise à jour de la clé primaire : lorsqu'une clé primaire change, deux lignes sont écrites dans BigQuery :
Une ligne UPDATE-DELETE avec la clé primaire d'origine
Une ligne UPDATE-INSERT avec la nouvelle clé primaire
Mise à jour d'une ligne : lorsqu'une ligne est mise à jour, une seule ligne UPDATE-INSERT est écrite dans BigQuery.
Suppression de lignes : lorsqu'une ligne est supprimée, une seule ligne DELETE est écrite dans BigQuery.
Spécifier la limite d'obsolescence des données
BigQuery applique les modifications de la source en arrière-plan de manière continue ou au moment de l'exécution de la requête, en fonction de la limite d'obsolescence des données configurée. Lorsque Datastream crée une table dans BigQuery, l'option max_staleness de la table est définie en fonction de la valeur actuelle de la limite d'obsolescence des données pour le flux.
Pour en savoir plus sur l'utilisation des tables BigQuery avec l'option max_staleness, consultez Latence des tables.
Sauf indication contraire, le contenu de cette page est régi par une licence Creative Commons Attribution 4.0, et les échantillons de code sont régis par une licence Apache 2.0. Pour en savoir plus, consultez les Règles du site Google Developers. Java est une marque déposée d'Oracle et/ou de ses sociétés affiliées.
Dernière mise à jour le 2025/09/04 (UTC).
[[["Facile à comprendre","easyToUnderstand","thumb-up"],["J'ai pu résoudre mon problème","solvedMyProblem","thumb-up"],["Autre","otherUp","thumb-up"]],[["Difficile à comprendre","hardToUnderstand","thumb-down"],["Informations ou exemple de code incorrects","incorrectInformationOrSampleCode","thumb-down"],["Il n'y a pas l'information/les exemples dont j'ai besoin","missingTheInformationSamplesINeed","thumb-down"],["Problème de traduction","translationIssue","thumb-down"],["Autre","otherDown","thumb-down"]],["Dernière mise à jour le 2025/09/04 (UTC)."],[],[],null,["# Configure a BigQuery destination\n\nThis page describes how to configure Datastream so that you can write\ndata to BigQuery datasets.\n\nRequired permissions\n--------------------\n\nDatastream uses the BigQuery built-in support for change data\ncapture (CDC) updates. Datastream updates the BigQuery tables\nby processing and applying streamed changes using the BigQuery Storage Write API.\n\nThe permissions required for using the API and ingesting data to\nBigQuery are granted to the\n[Datastream Service Agent](/iam/docs/roles-permissions/datastream#datastream.serviceAgent)\nrole.\n\nConfigure BigQuery as a destination\n-----------------------------------\n\nTo configure Datastream for streaming to BigQuery, perform the\nfollowing steps:\n\n1. Make sure that the BigQuery API is enabled in your Google Cloud project.\n2. If you want to use the **Single dataset for all schemas** option, [create a dataset in BigQuery](/bigquery/docs/datasets#create-dataset).\n3. [Configure the destination dataset for your stream](#configure-datasets).\n4. [Configure write mode](#configure-write-mode).\n5. [Specify the maximum data staleness limit](#specify-staleness) for your stream.\n\n### Configure the destination datasets\n\nDatasets are top-level containers that are used to organize and control access\nto your BigQuery tables.\n\nWhen you configure datasets for the BigQuery destination using\nDatastream, you can select one of the following options:\n\n- **Dataset for each schema** : The dataset is selected or automatically created by Datastream in the [BigQuery location](/bigquery/docs/locations) specified, based on the schema name of the source. As a result, each schema in the source has a corresponding dataset in BigQuery.\n For example, if you have a MySQL source, and this source has a `mydb`\n database and an `employees` table within the database, then\n Datastream creates the `mydb` dataset and `employees` table in\n BigQuery.\n\n If you select this option, then Datastream creates datasets in the project that contains the stream. Although you don't need to create the datasets in the same region as your stream, we recommend to keep all resources for the stream, as well as datasets, in the same region for cost and performance optimization.\n | **Note:** The **Dataset for each schema** option isn't supported for Salesforce sources ([Preview](/products#product-launch-stages)).\n- **Single dataset for all schemas** : You select a BigQuery\n dataset for the stream. Datastream streams all data into this\n dataset. For the dataset that you select, Datastream creates all\n tables as `\u003cschema\u003e_\u003ctable\u003e`.\n\n For example, if you have a MySQL source, and this source has a `mydb`\n database and an `employees` table within the database, then\n Datastream creates the `mydb_employees` table in the dataset that\n you select.\n | **Note:** If your source is Salesforce ([Preview](/products#product-launch-stages)), Datastream uses the customer domain as the dataset name.\n\n### Configure write mode\n\nThere are two modes you can use to define how you want your data written to\nBigQuery:\n\n- **Merge**: This is the default write mode. When selected, BigQuery reflects the way your data is stored in the source database. This means that Datastream writes all changes to your data to BigQuery, and BigQuery then consolidates the changes with existing data, thus creating final tables that are replicas of the source tables. With merge mode, no historical record of the change events is kept. For example, if you insert and then update a row, BigQuery only keeps the updated data. If you then delete the row from the source table, BigQuery no longer keeps any record of that row.\n\n | **Note:** Merge mode is only applicable for tables with primary keys. Tables without primary keys are append-only.\n- **Append-only** : The append-only write mode lets you add data to BigQuery as a stream of changes (`INSERT`, `UPDATE-INSERT`, `UPDATE-DELETE` and `DELETE` events). Use this mode when you need to retain the historical state of your data.\n To get a better understanding of the append-only write mode, consider the following scenarios:\n\n - *Initial backfill* : after the initial backfill, all events are written to BigQuery as `INSERT` type events, with the same timestamp, universally unique identifier (UUID), and change sequence number.\n - *Primary key update* : when a primary key changes, two rows are written to BigQuery:\n - An `UPDATE-DELETE` row with the original primary key\n - An `UPDATE-INSERT` row with the new primary key\n - *Row update* : when you update a row, a single `UPDATE-INSERT` row is written to BigQuery\n - *Row deletion* : when you delete a row, a single `DELETE` row is written to BigQuery\n\n### Specify data staleness limit\n\nBigQuery applies source modifications in the background on an ongoing basis, or at query run time, according to the configured data staleness limit. When Datastream creates a new table in BigQuery, the table's `max_staleness` option is set according to the current data staleness limit value for the stream.\n\nFor more information about using BigQuery tables with the `max_staleness` option, see [Table staleness](/bigquery/docs/change-data-capture#manage_table_staleness)."]]
