Dataplex fournit des modèles, optimisés par Dataflow, pour effectuer des tâches de traitement de données courantes telles que l'ingestion, le traitement et la gestion du cycle de vie des données. Ce guide explique comment configurer et exécuter des modèles de traitement des données.
Avant de commencer
Les modèles Dataplex sont alimentés par Dataflow. Avant d'utiliser des modèles, activez les API Dataflow.
Veuillez noter les points suivants :
Tous les modèles sont compatibles avec les options de pipeline Dataflow courantes.
Dataplex utilise des pipelines de données pour planifier les tâches définies par les modèles.
Vous ne pouvez voir que les tâches que vous planifiez via Dataplex dans la console Google Cloud , sur la page Dataplex.
Modèle: Convertir des données brutes en données sélectionnées
Le modèle de conversion de format de fichier Dataplex convertit les données d'un composant Dataplex Cloud Storage ou d'une liste d'entités Dataplex stockées au format CSV ou JSON en données au format Parquet ou Avro dans un autre composant Dataplex. La mise en page de la partition est conservée lors de la conversion. Il prend également en charge la compression des fichiers de sortie.
Paramètres de modèle
| Paramètre | Description |
|---|---|
inputAssetOrEntitiesList |
Élément Dataplex ou entités Dataplex contenant les fichiers d'entrée. Ce paramètre doit respecter le format suivant :
projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name>
ou projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/entities/<entity1-name>,projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/entities/<entity 2 name>... |
outputFileFormat |
Format du fichier de sortie dans Cloud Storage. Ce paramètre doit respecter le format PARQUET ou AVRO. |
outputAsset |
Nom de l'asset Dataplex contenant le bucket Cloud Storage dans lequel les fichiers de sortie seront stockés. Ce paramètre doit respecter le format suivant: projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name>. Vous trouverez l'outputAsset dans la console Google Cloud , dans l'onglet Details des composants Dataplex. |
outputFileCompression |
Facultatif: compression du fichier de sortie. La valeur par défaut pour ce paramètre est SNAPPY. Les autres valeurs du paramètre peuvent être UNCOMPRESSED, SNAPPY, GZIP ou BZIP2. BZIP2 n'est pas compatible avec les fichiers PARQUET. |
writeDisposition |
Facultatif: spécifie l'action qui se produit si un fichier de destination existe déjà. La valeur par défaut de ce paramètre est SKIP, ce qui indique de ne traiter que les fichiers qui n'existent pas dans le répertoire de destination. Les autres valeurs du paramètre peuvent être OVERWRITE (remplacer les fichiers existants) ou FAIL (ne rien traiter et générer une erreur si au moins un fichier de destination existe déjà). |
updateDataplexMetadata |
Facultatif: indique si les métadonnées Dataplex doivent être mises à jour pour les entités nouvellement créées. La valeur par défaut pour ce paramètre est Si cette option est activée, le pipeline copie automatiquement le schéma de la source vers les entités Dataplex de destination, et la découverte Dataplex automatique ne s'exécute pas pour elles. Utilisez cet indicateur si le schéma des données source (brutes) est géré par Dataplex. |
Exécuter le modèle
Console
Dans la console Google Cloud , accédez à la page Dataplex.
Accédez à la vue Process (Procédure).
Cliquez sur Créer une tâche.
Sous Convertir vers des formats sélectionnés, cliquez sur Créer une tâche.
Choisissez un lac Dataplex.
Indiquez un nom de tâche.
Choisissez une région pour l'exécution de la tâche.
Renseignez les paramètres requis.
Cliquez sur Continuer.
gcloud
Dans le shell ou le terminal, exécutez le modèle :
gcloud beta dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview \ --parameters \ inputAssetOrEntitiesList=INPUT_ASSET_OR_ENTITIES_LIST,\ outputFileFormat=OUTPUT_FILE_FORMAT,\ outputAsset=OUTPUT_ASSET
Remplacez les éléments suivants :
JOB_NAME: a job name of your choice PROJECT_ID: your template project ID REGION_NAME: region in which to run the job INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers OUTPUT_FILE_FORMAT: your output file format in Cloud Storage OUTPUT_ASSET: your Dataplex output asset ID
REST
Envoyez une requête POST HTTP :
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
"launch_parameter": {
"jobName": "JOB_NAME",
"parameters": {
"inputAssetOrEntitiesList": "INPUT_ASSET_OR_ENTITIES_LIST",
"outputFileFormat": "OUTPUT_FILE_FORMAT",
"outputAsset": "OUTPUT_ASSET",
},
"containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_File_Format_Conversion_Preview",
}
}
Remplacez les éléments suivants :
PROJECT_ID: your template project ID REGION_NAME: region in which to run the job JOB_NAME: a job name of your choice INPUT_ASSET_OR_ENTITIES_LIST: path to your JDBC drivers OUTPUT_FILE_FORMAT: your output file format in Cloud Storage OUTPUT_ASSET: your Dataplex output asset ID
Modèle: hiérarchiser les données d'un élément BigQuery dans un élément Cloud Storage
Le modèle Dataplex BigQuery vers Cloud Storage copie les données d'un élément BigQuery Dataplex vers un élément Cloud Storage Dataplex dans une mise en page et un format compatibles avec Dataplex. Vous pouvez spécifier un ensemble de données BigQuery ou une liste de tables BigQuery à copier. Pour plus de flexibilité, le modèle permet de copier les données antérieures à une date de modification spécifiée et de supprimer éventuellement les données de BigQuery après une copie réussie.
Lorsque vous copiez des tables partitionnées de BigQuery vers Cloud Storage:
- Le modèle crée des partitions de style Hive sur le bucket Cloud Storage.
Dans BigQuery, la clé de partition de style Hive ne peut pas être identique à une colonne existante. Vous pouvez utiliser l'option
enforceSamePartitionKeypour créer une clé de partition ou conserver la même clé de partition, mais renommer la colonne existante. - Dataplex Discovery enregistre le type de partition en tant que
stringlors de la création d'une table BigQuery (et d'une table dans Dataproc Metastore). Cela peut avoir une incidence sur vos filtres de partitionnement existants.
Le nombre de tables et de partitions pouvant être transformées en une seule exécution de modèle est limité à environ 300. Le nombre exact dépend de la longueur des noms de table et d'autres facteurs.
Paramètres de modèle
| Paramètre | Description |
|---|---|
sourceBigQueryDataset |
Ensemble de données BigQuery à partir duquel les données doivent être classées. Ce paramètre doit contenir un nom d'asset Dataplex au format projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name> ou un ID d'ensemble de données BigQuery au format projects/<name>/datasets/<dataset-id>. |
destinationStorageBucketAssetName |
Nom de l'élément Dataplex pour le bucket Cloud Storage vers lequel les données doivent être hiérarchisées. Ce paramètre doit respecter le format projects/<name>/locations/<loc>/lakes/<lake-name>/zones/<zone-name>/assets/<asset-name>. |
tables |
Facultatif: liste des tables BigQuery à hiérarchiser, séparées par une virgule. Si aucune liste n'est fournie, toutes les tables seront réparties en plusieurs niveaux. Les tables doivent être spécifiées par leur nom uniquement (sans préfixe de projet ou d'ensemble de données) et sont sensibles à la casse. |
exportDataModifiedBeforeDateTime |
Facultatif: Utilisez ce paramètre pour déplacer les données antérieures à cette date (et à l'heure facultative). Pour les tables BigQuery partitionnées, déplacez les partitions modifiées pour la dernière fois avant cette date/heure. Pour les tables non partitionnées, déplacez-les si la table a été modifiée pour la dernière fois avant cette date/heure. Si cet attribut n'est pas spécifié, déplacez toutes les tables/partitions. La date/heure est analysée dans le fuseau horaire par défaut par défaut, mais les suffixes facultatifs Z et +HH:mm sont acceptés. Ce paramètre doit respecter le format YYYY-MM-DD, YYYY-MM-DDTHH:mm:ss ou YYYY-MM-DDTHH:mm:ss+03:00.
La date/heure relative est également prise en charge et doit suivre le format -PnDTnHnMn.nS (doit commencer par -P, qui indique l'heure passée).
|
fileFormat |
(Facultatif) Format du fichier de sortie dans Cloud Storage. La valeur par défaut pour ce paramètre est PARQUET. Une autre valeur pour le paramètre peut être AVRO. |
fileCompression |
Facultatif: compression du fichier de sortie. La valeur par défaut pour ce paramètre est SNAPPY. Les autres valeurs du paramètre peuvent être UNCOMPRESSED, SNAPPY, GZIP ou BZIP2. BZIP2 n'est pas compatible avec les fichiers PARQUET. |
deleteSourceData |
Facultatif: Indique si les données sources doivent être supprimées de BigQuery après une exportation réussie. Les valeurs peuvent être true ou false. La valeur par défaut pour ce paramètre est false. |
partitionIdRegExp |
Facultatif: traiter uniquement les partitions dont l'ID de partition correspond à cette expression régulière. Si aucune valeur n'est fournie, ce paramètre est défini par défaut sur "Tout traiter". |
writeDisposition |
Facultatif: spécifie l'action à effectuer si un fichier de destination existe déjà, ce qui signifie qu'une ou plusieurs tables/partitions ont déjà été pré-établissées. La valeur par défaut de ce paramètre est SKIP, ce qui indique de ne traiter que les tables/partitions qui n'ont pas déjà été pré-établissées. Les autres valeurs du paramètre peuvent être OVERWRITE (remplacer les fichiers existants) ou FAIL (ne rien traiter et générer une erreur si au moins un fichier de destination existe déjà). |
enforceSamePartitionKey |
Facultatif: Indique si vous devez appliquer la même clé de partition. En raison d'une limite BigQuery, la clé de partitionnement (dans le chemin d'accès au fichier) d'une table externe partitionnée ne peut pas porter le même nom que l'une des colonnes du fichier. Si ce paramètre est défini sur "true" (valeur par défaut), la clé de partition du fichier cible est définie sur le nom de la colonne de partition d'origine, et la colonne du fichier est renommée. Si la valeur est "false", la clé de partition est renommée. Par exemple, si la table d'origine est partitionnée sur une colonne nommée Si la valeur est |
updateDataplexMetadata |
Facultatif: indique si les métadonnées Dataplex doivent être mises à jour pour les entités nouvellement créées. La valeur par défaut pour ce paramètre est Si cette option est activée, le pipeline copie automatiquement le schéma de la source vers les entités Dataplex de destination, et la découverte Dataplex automatisée ne s'exécute pas pour elles. Utilisez cet indicateur si vous gérez le schéma des tables BigQuery sources. |
Exécuter le modèle
Console
Dans la console Google Cloud , accédez à la page Dataplex.
Accédez à la vue Process (Procédure).
Cliquez sur Créer une tâche.
Sous Transférer d'un élément BQ vers un élément GCS, cliquez sur Créer une tâche.
Choisissez un lac Dataplex.
Indiquez un nom de tâche.
Choisissez une région pour l'exécution de la tâche.
Renseignez les paramètres requis.
Cliquez sur Continuer.
gcloud
Dans le shell ou le terminal, exécutez le modèle :
gcloud beta dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview \ --parameters \ sourceBigQueryDataset=SOURCE_ASSET_NAME_OR_DATASET_ID,\ destinationStorageBucketAssetName=DESTINATION_ASSET_NAME
Remplacez les éléments suivants :
JOB_NAME: a job name of your choice PROJECT_ID: your template project ID REGION_NAME: region in which to run the job SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex asset name for the source BigQuery dataset, or the dataset ID DESTINATION_ASSET_NAME: your Dataplex asset name for the destination Cloud Storage bucket
REST
Envoyez une requête POST HTTP :
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/REGION_NAME/flexTemplates:launch
{
"launch_parameter": {
"jobName": "JOB_NAME",
"parameters": {
"sourceBigQueryDataset": "SOURCE_ASSET_NAME_OR_DATASET_ID",
"destinationStorageBucketAssetName": "DESTINATION_ASSET_NAME",
},
"containerSpecGcsPath": "gs://dataflow-templates-REGION_NAME/latest/flex/Dataplex_BigQuery_to_GCS_Preview",
}
}
Remplacez les éléments suivants :
PROJECT_ID: your template project ID REGION_NAME: region in which to run the job JOB_NAME: a job name of your choice SOURCE_ASSET_NAME_OR_DATASET_ID: your Dataplex asset name for the source BigQuery dataset, or the dataset ID DESTINATION_ASSET_NAME: your Dataplex asset name for the destination Cloud Storage bucket REGION_NAME: region in which to run the job
Planifier d'autres modèles Dataflow fournis par Google Cloudou personnalisés
Dataplex vous permet de planifier et de surveiller les modèles Dataflow fournis parGoogle Cloudou votre modèle Dataflow personnalisé dans la console.
Planification
Console
Dans la console Google Cloud , accédez à la page Dataplex.
Accédez à la vue Process (Procédure).
Cliquez sur Créer une tâche.
Sous Créer un pipeline Dataflow, cliquez sur Créer un pipeline Dataflow.
Choisissez un lac Dataplex.
Indiquez un nom de tâche.
Choisissez une région dans laquelle exécuter la tâche.
Choisissez un modèle Dataflow.
Renseignez les paramètres requis.
Cliquez sur Continuer.
Surveiller
Console
Dans la console Google Cloud , accédez à la page Dataplex.
Accédez à la vue Process (Procédure).
Cliquez sur Pipelines Dataflow.
Filtrez par nom de lac ou de pipeline.