Le modèle de flux de modification Spanner vers Cloud Storage est un pipeline de streaming qui diffuse les enregistrements de modification des données Spanner et les écrit dans un bucket Cloud Storage à l'aide de l'exécuteur Dataflow v2.
Le pipeline regroupe les enregistrements de flux de modification dans des fenêtres en fonction de leur horodatage, chaque fenêtre représentant une durée dont vous pouvez configurer la durée avec ce modèle. Tous les enregistrements dont les horodatages appartiennent à la fenêtre sont garantis dans la fenêtre. Il ne peut pas y avoir d'arrivées tardives. Vous pouvez également définir un certain nombre de partitions de sortie. Le pipeline crée un fichier de sortie Cloud Storage par fenêtre et par partition. Dans un fichier de sortie, les enregistrements ne sont pas ordonnés. Les fichiers de sortie peuvent être au format JSON ou AVRO, en fonction de la configuration utilisateur.
Notez que vous pouvez réduire la latence du réseau et les coûts de transport réseau en exécutant la tâche Dataflow à partir de la même région que votre instance Spanner ou bucket Cloud Storage. Si vous utilisez des sources, des récepteurs, des emplacements de fichiers de préproduction ou des emplacements de fichiers temporaires situés en dehors de la région associée à votre tâche, vos données peuvent être envoyées d'une région à l'autre. En savoir plus sur les régions Dataflow.
En savoir plus sur les flux de modification, la création de pipelines Dataflow de flux de modification et les bonnes pratiques.
Conditions requises pour ce pipeline
- L'instance Spanner doit exister avant l'exécution du pipeline.
- La base de données Spanner doit exister avant l'exécution du pipeline.
- L'instance de métadonnées Spanner doit exister avant l'exécution du pipeline.
- La base de données de métadonnées Spanner doit exister avant l'exécution du pipeline.
- Le flux de modifications Spanner doit exister avant l'exécution du pipeline.
- Le bucket de sortie Cloud Storage doit exister avant l'exécution du pipeline.
Paramètres de modèle
Paramètres obligatoires
- spannerInstanceId: ID d'instance Spanner à partir duquel lire les flux de modifications.
- spannerDatabase: base de données Spanner à partir de laquelle lire les données des flux de modifications.
- spannerMetadataInstanceId: ID d'instance Spanner à utiliser pour la table de métadonnées du connecteur de flux de modifications.
- spannerMetadataDatabase: base de données Spanner à utiliser pour la table de métadonnées du connecteur de flux de modifications.
- spannerChangeStreamName: nom du flux de modifications Spanner à lire.
- gcsOutputDirectory: chemin d'accès et préfixe de nom de fichier pour l'écriture des fichiers de sortie. Doit se terminer par une barre oblique. Le format DateTime permet d'analyser le chemin d'accès au répertoire pour les outils de mise en forme de date et d'heure. Exemple :
gs://your-bucket/your-path
Paramètres facultatifs
- spannerProjectId: ID du projet Google Cloud qui contient la base de données Spanner à partir de laquelle lire les flux de modifications. Il s'agit également du projet dans lequel la table de métadonnées du connecteur de flux de modifications est créée. La valeur par défaut de ce paramètre correspond au projet dans lequel le pipeline Dataflow est exécuté.
- spannerDatabaseRole: rôle de base de données Spanner à utiliser lors de l'exécution du modèle. Ce paramètre n'est requis que lorsque le compte principal IAM qui exécute le modèle est un utilisateur de contrôle d'accès précis. Le rôle de base de données doit disposer du droit
SELECT
sur le flux de modifications et du droitEXECUTE
sur la fonction de lecture du flux de modifications. Pour en savoir plus, consultez la section "Contrôle des accès précis pour les flux de modifications" (https://cloud.google.com/spanner/docs/fgac-change-streams). - spannerMetadataTableName: Nom de la table des métadonnées du connecteur de flux de modifications Spanner à utiliser. Si aucune valeur n'est fournie, une table de métadonnées de flux de modifications Spanner est automatiquement créée pendant l'exécution du pipeline. Vous devez fournir une valeur pour ce paramètre lorsque vous mettez à jour un pipeline existant. Sinon, n'utilisez pas ce paramètre.
- startTimestamp: date et heure de début (incluses) à utiliser pour lire les flux de modifications, au format
Ex-2021-10-12T07:20:50.52Z
. La valeur par défaut est l'horodatage du démarrage du pipeline, c'est-à-dire l'heure actuelle. - endTimestamp: date et heure de fin (incluses) à utiliser pour lire les flux de modifications. Exemple :
Ex-2021-10-12T07:20:50.52Z
Elle est définie par défaut sur une période infinie dans le futur. - spannerHost: point de terminaison Cloud Spanner à appeler dans le modèle. Utilisé uniquement pour les tests. Exemple :
https://spanner.googleapis.com
La valeur par défaut est https://spanner.googleapis.com. - outputFileFormat: format du fichier Cloud Storage de sortie. Les formats autorisés sont
TEXT
etAVRO
. La valeur par défaut estAVRO
. - windowDuration: la durée de la fenêtre correspond à l'intervalle au cours duquel les données sont écrites dans le répertoire de sortie. Configurez la durée en fonction du débit du pipeline. Par exemple, un débit plus élevé peut nécessiter des tailles de fenêtre plus petites pour que les données s'intègrent à la mémoire. La valeur par défaut est "5m" (cinq minutes), avec une durée minimale de 1s (une seconde). Les formats autorisés sont les suivants : [int]s (pour les secondes, exemple : 5s), [int]m (pour les minutes, exemple : 12m), [int]h (pour les heures, exemple : 2h). Exemple :
5m
- rpcPriority: priorité des requêtes pour les appels Spanner. La valeur doit être
HIGH
,MEDIUM
ouLOW
. La valeur par défaut estHIGH
. - outputFilenamePrefix: préfixe à placer sur chaque fichier ciblé sur une fenêtre. Exemple :
output-
La valeur par défaut est : "output". - numShards: nombre maximal de partitions de sortie générées lors de l'écriture. Un nombre plus élevé de segments entraîne un débit plus élevé pour l'écriture dans Cloud Storage, mais potentiellement un coût d'agrégation de données plus élevé entre les partitions lors du traitement des fichiers Cloud Storage de sortie. La valeur par défaut est 20.
Exécuter le modèle
Console
- Accédez à la page Dataflow Créer un job à partir d'un modèle. Accéder à la page Créer un job à partir d'un modèle
- Dans le champ Nom du job, saisissez un nom de job unique.
- Facultatif : pour Point de terminaison régional, sélectionnez une valeur dans le menu déroulant. La région par défaut est
us-central1
.Pour obtenir la liste des régions dans lesquelles vous pouvez exécuter un job Dataflow, consultez la page Emplacements Dataflow.
- Dans le menu déroulant Modèle Dataflow, sélectionnez the Cloud Spanner change streams to Google Cloud Storage template.
- Dans les champs fournis, saisissez vos valeurs de paramètres.
- Cliquez sur Run Job (Exécuter la tâche).
gcloud
Dans le shell ou le terminal, exécutez le modèle :
gcloud dataflow flex-template run JOB_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/Spanner_Change_Streams_to_Google_Cloud_Storage \ --region REGION_NAME \ --parameters \ spannerInstanceId=SPANNER_INSTANCE_ID,\ spannerDatabase=SPANNER_DATABASE,\ spannerMetadataInstanceId=SPANNER_METADATA_INSTANCE_ID,\ spannerMetadataDatabase=SPANNER_METADATA_DATABASE,\ spannerChangeStreamName=SPANNER_CHANGE_STREAM,\ gcsOutputDirectory=GCS_OUTPUT_DIRECTORY
Remplacez les éléments suivants :
JOB_NAME
: nom de job unique de votre choixVERSION
: version du modèle que vous souhaitez utiliserVous pouvez utiliser les valeurs suivantes :
latest
pour utiliser la dernière version du modèle, disponible dans le dossier parent non daté du bucket gs://dataflow-templates-REGION_NAME/latest/- Le nom de la version, par exemple
2023-09-12-00_RC00
, pour utiliser une version spécifique du modèle, qui est imbriqué dans le dossier parent daté respectif dans le bucket : gs://dataflow-templates-REGION_NAME/
REGION_NAME
: région dans laquelle vous souhaitez déployer votre job Dataflow, par exempleus-central1
SPANNER_INSTANCE_ID
: ID de l'instance Cloud SpannerSPANNER_DATABASE
: base de données Cloud SpannerSPANNER_METADATA_INSTANCE_ID
: ID d'instance de métadonnées Cloud SpannerSPANNER_METADATA_DATABASE
: base de données de métadonnées Cloud SpannerSPANNER_CHANGE_STREAM
: flux de modifications Cloud SpannerGCS_OUTPUT_DIRECTORY
: emplacement du fichier de sortie des flux de modifications
API
Pour exécuter le modèle à l'aide de l'API REST, envoyez une requête HTTP POST. Pour en savoir plus sur l'API, ses autorisations et leurs champs d'application, consultez la section projects.templates.launch
.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launch_parameter": { "jobName": "JOB_NAME", "parameters": { "spannerInstanceId": "SPANNER_INSTANCE_ID", "spannerDatabase": "SPANNER_DATABASE", "spannerMetadataInstanceId": "SPANNER_METADATA_INSTANCE_ID", "spannerMetadataDatabase": "SPANNER_METADATA_DATABASE", "spannerChangeStreamName": "SPANNER_CHANGE_STREAM", "gcsOutputDirectory": "GCS_OUTPUT_DIRECTORY" }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Spanner_Change_Streams_to_Google_Cloud_Storage", } }
Remplacez les éléments suivants :
PROJECT_ID
: ID du projet Google Cloud dans lequel vous souhaitez exécuter le job DataflowJOB_NAME
: nom de job unique de votre choixVERSION
: version du modèle que vous souhaitez utiliserVous pouvez utiliser les valeurs suivantes :
latest
pour utiliser la dernière version du modèle, disponible dans le dossier parent non daté du bucket gs://dataflow-templates-REGION_NAME/latest/- Le nom de la version, par exemple
2023-09-12-00_RC00
, pour utiliser une version spécifique du modèle, qui est imbriqué dans le dossier parent daté respectif dans le bucket : gs://dataflow-templates-REGION_NAME/
LOCATION
: région dans laquelle vous souhaitez déployer votre job Dataflow, par exempleus-central1
SPANNER_INSTANCE_ID
: ID de l'instance Cloud SpannerSPANNER_DATABASE
: base de données Cloud SpannerSPANNER_METADATA_INSTANCE_ID
: ID d'instance de métadonnées Cloud SpannerSPANNER_METADATA_DATABASE
: base de données de métadonnées Cloud SpannerSPANNER_CHANGE_STREAM
: flux de modifications Cloud SpannerGCS_OUTPUT_DIRECTORY
: emplacement du fichier de sortie des flux de modifications
Étape suivante
- Apprenez-en plus sur les modèles Dataflow.
- Consultez la liste des modèles fournis par Google.