Dataplex permet de planifier l'exécution de code personnalisé, que ce soit pour une exécution ponctuelle, à intervalles réguliers ou à la demande. La fonctionnalité à la demande est en version Preview et n'est disponible que via l'API. Vous pouvez planifier des transformations de données client à l'aide de Spark (Java), PySpark (limité à la version 3.2 de Spark) ou Spark SQL. Dataplex exécute le code à l'aide du traitement Spark sans serveur et d'un planificateur sans serveur intégré.
Terminologie
- Tâche
- Une tâche Dataplex représente le travail que vous souhaitez que Dataplex effectue de manière planifiée. Il encapsule votre code, vos paramètres et la planification.
- Job
Une tâche représente une exécution unique d'une tâche Dataplex. Par exemple, si une tâche est planifiée pour s'exécuter quotidiennement, Dataplex crée une tâche tous les jours.
Pour les tâches créées le 10 mai 2023 ou après, le champ Trigger (Déclencheur) indique le type de déclencheur d'exécution de la tâche.
Voici les types de déclencheurs d'exécution de tâches:
RUN_REQUEST: indique que la tâche a été exécutée en raison de l'appel de l'API
RunTask.TASK_CONFIG: indique que la tâche a été exécutée en raison de la configuration
TriggerSpecde la tâche.
Modes de planification
Dataplex est compatible avec les modes de planification suivants:
- Exécuter une fois
- Utilisez ce mode pour exécuter votre tâche une seule fois. Vous pouvez choisir de l'exécuter immédiatement ou à une heure définie ultérieurement. Si vous exécutez la tâche immédiatement, l'exécution peut prendre jusqu'à deux minutes.
- Exécuter selon un calendrier
- Utilisez ce mode pour exécuter la tâche à une fréquence répétée. Les répétitions acceptées sont quotidiennes, hebdomadaires, mensuelles ou personnalisées.
- Exécuter à la demande
Utilisez ce mode pour exécuter une tâche créée précédemment à la demande. Le mode d'exécution à la demande n'est compatible qu'avec l'API
RunTask. Lorsque votre tâche s'exécute à la demande, Dataplex utilise des paramètres existants pour créer une tâche. Vous pouvez spécifier les argumentsExecutionSpecet les libellés pour exécuter la tâche.
Avant de commencer
activer l'API Dataproc ;
Activez l'accès privé à Google pour votre réseau et votre sous-réseau. Activez l'accès privé à Google sur le réseau que vous utilisez avec les tâches Dataplex. Si vous ne spécifiez pas de réseau ni de sous-réseau lorsque vous créez la tâche Dataplex, Dataplex utilise le sous-réseau par défaut, et vous devez activer l'accès privé à Google pour le sous-réseau par défaut.
Créer un compte de service Un compte de service est nécessaire pour planifier des tâches Dataplex. Le compte de service doit appartenir au projet dans lequel vous exécutez les tâches. Le compte de service doit disposer des autorisations suivantes :
Accès aux données BigQuery et Cloud Storage en cours de traitement.
Autorisation Rôle Nœud de calcul Dataproc sur le projet dans lequel vous exécutez la tâche.
Si la tâche doit lire ou mettre à jour l'instance Dataproc Metastore associée au lac, le compte de service doit disposer du rôle Afficheur ou Éditeur du métastore Dataproc. Ce rôle doit être accordé dans le projet dans lequel le lac Dataplex est configuré.
Si la tâche est une tâche Spark SQL, vous devez attribuer au compte de service le rôle de développeur Dataplex. Ce rôle doit être accordé dans le projet dans lequel le lac Dataplex est configuré.
Si la tâche est un job Spark SQL, vous avez besoin d'autorisations d'administrateur Cloud Storage sur le bucket dans lequel les résultats sont écrits.
Pour planifier et exécuter des tâches Spark SQL et Spark personnalisées, vous devez disposer des rôles IAM Lecteur de métadonnées Dataplex (
roles/dataplex.metadataReader), Lecteur Dataplex (roles/dataplex.viewer) et Utilisateur de métadonnées Dataproc Metastore (roles/metastore.metadataUser) sur votre compte de service.
Attribuez au compte utilisateur qui envoie le job le rôle Utilisateur du compte de service (
roles/iam.serviceAccountUser) sur le compte de service. Pour obtenir des instructions, consultez Gérer l'accès aux comptes de service.Accordez au compte de service du lac Dataplex les autorisations nécessaires pour utiliser le compte de service. Vous trouverez le compte de service de lac Dataplex sur la page Détails du lac de la consoleGoogle Cloud .
Si le projet contenant votre lac Dataplex est différent du projet dans lequel la tâche doit être exécutée, attribuez au compte de service du lac Dataplex le rôle Éditeur Dataproc dans le projet dans lequel vous exécutez la tâche.
Placez les artefacts de code requis (fichiers JAR, Python ou de script SQL) ou les fichiers archivés (
.jar,.tar,.tar.gz,.tgz,.zip) dans un chemin Cloud Storage.Assurez-vous que le compte de service dispose de l'autorisation
storage.objects.getrequise pour le bucket Cloud Storage qui stocke ces artefacts de code.
Planifier une tâche Spark (Java ou Python)
Console
Dans la console Google Cloud , accédez à la page "Dataplex".
Accédez à la vue Process (Procédure).
Cliquez sur Créer une tâche.
Pour Créer une tâche Spark personnalisée, cliquez sur Créer une tâche.
Choisissez un lac Dataplex.
Indiquez un nom de tâche.
Créez un ID pour votre tâche.
Dans la section Configuration de la tâche, pour Type, sélectionnez Spark ou PySpark.
Saisissez les arguments pertinents.
Dans le champ Compte de service, saisissez un compte de service utilisateur avec lequel votre tâche Spark personnalisée peut s'exécuter.
Cliquez sur Continuer.
Facultatif: Définir une planification: sélectionnez Exécuter une fois ou Répéter. Renseignez les champs obligatoires.
Cliquez sur Continuer.
Facultatif: Personnalisez les ressources et Ajoutez des paramètres supplémentaires.
Cliquez sur Créer.
gcloud
Vous pouvez planifier une tâche Spark (Java / Python) à l'aide de la commande gcloud CLI. Le tableau suivant présente les paramètres obligatoires et facultatifs à utiliser:
| Paramètre | Description |
|---|---|
--lake |
ID du lac pour la ressource de lac du service Dataplex. |
--location |
Emplacement du service Dataplex. |
--spark-main-class |
Classe principale du pilote. Le fichier jar contenant la classe doit se trouver dans le CLASSPATH par défaut.
|
--spark-main-jar-file-uri |
URI Cloud Storage du fichier jar contenant la classe principale.
|
--spark-archive-uris |
Facultatif: URI Cloud Storage des archives à extraire dans le répertoire de travail de chaque exécuteur. Types de fichiers compatibles : .jar, .tar, .tar.gz, .tgz et .zip
|
--spark-file-uris |
Facultatif: URI Cloud Storage des fichiers à placer dans le répertoire de travail de chaque exécuteur. |
--batch-executors-count |
Facultatif: nombre total d'exécuteurs de tâches. La valeur par défaut est "2". |
--batch-max-executors-count |
Facultatif: Nombre maximal d'exécuteurs configurables. La valeur par défaut est 1 000. Si batch-max-executors-count est supérieur à batch-executors-count, Dataplex active l'autoscaling.
|
--container-image-java-jars |
Facultatif: liste des fichiers JAR Java à ajouter au chemin d'accès aux classes. Les entrées valides incluent les URI Cloud Storage vers des binaires JAR. Par exemple, gs://bucket-name/my/path/to/file.jar.
|
--container-image-properties |
Facultatif: clés de propriété, spécifiées au format prefix:property.Par exemple, core:hadoop.tmp.dir.Pour en savoir plus, consultez la section Propriétés du cluster. |
--vpc-network-tags |
Facultatif: liste des tags réseau à appliquer à la tâche. |
--vpc-network-name |
Facultatif: réseau cloud privé virtuel sur lequel l'ordre est exécuté. Par défaut, Dataplex utilise le réseau VPC nommé Default dans le projet. Vous ne devez utiliser qu'un seul élément parmi --vpc-network-name ou --vpc-sub-network-name.
|
--vpc-sub-network-name |
(Facultatif) Sous-réseau VPC dans lequel la tâche s'exécute.
Vous ne devez utiliser qu'un seul élément parmi --vpc-sub-network-name ou --vpc-network-name.
|
--trigger-type |
Type de déclencheur de la tâche spécifiée par l'utilisateur. Les valeurs doivent être les suivantes :ON_DEMAND : la tâche s'exécute une fois peu de temps après sa création.RECURRING : la tâche s'exécute régulièrement selon un calendrier.
|
--trigger-start-time |
Facultatif: heure de la première exécution de la tâche. Le format est "{year}-{month}-{day}T{hour}:{min}:{sec}Z", où le fuseau horaire est UTC. Par exemple, "2017-01-15T01:30:00Z" encode 01:30 UTC le 15 janvier 2017. Si cette valeur n'est pas spécifiée, la tâche s'exécute après avoir été envoyée si le type de déclencheur est ON_DEMAND, ou selon le calendrier spécifié si le type de déclencheur est RECURRING.
|
--trigger-disabled |
Facultatif: empêche l'exécution de la tâche. Ce paramètre n'annule pas les tâches déjà en cours d'exécution, mais désactive temporairement les tâches RECURRING.
|
--trigger-max-retires |
Facultatif: nombre de tentatives avant d'abandonner. Définissez la valeur sur zéro pour ne jamais tenter de relancer une tâche ayant échoué. |
--trigger-schedule |
Planification Cron pour l'exécution périodique de tâches. |
--description |
Facultatif: description de la tâche. |
--display-name |
(Facultatif) Nom à afficher de la tâche. |
--labels |
Facultatif: liste des paires de libellés KEY=VALUE à ajouter. |
--execution-args |
Facultatif: arguments à transmettre à la tâche. Les arguments peuvent être un mélange de paires clé-valeur. Vous pouvez transmettre une liste de paires clé-valeur séparées par une virgule en tant qu'arguments d'exécution. Pour transmettre des arguments positionnels, définissez la clé sur TASK_ARGS et la valeur sur une chaîne contenant tous les arguments positionnels, séparés par une virgule. Pour utiliser un délimiteur autre qu'une virgule, consultez la section Échappage.Si key-value et les arguments positionnels sont transmis ensemble, TASK_ARGS est transmis en tant que dernier argument.
|
--execution-service-account |
Compte de service à utiliser pour exécuter une tâche. |
--max-job-execution-lifetime |
Facultatif: durée maximale avant l'expiration de l'exécution de la tâche. |
--container-image |
Facultatif: image de conteneur personnalisée pour l'environnement d'exécution de la tâche. Si cette option n'est pas spécifiée, une image de conteneur par défaut est utilisée. |
--kms-key |
Facultatif: clé Cloud KMS à utiliser pour le chiffrement, au format:projects/{project_number}/locations/{location_id}/keyRings/{key-ring-name}/cryptoKeys/{key-name}
|
Exemple Java:
glcoud dataplex tasks create --project=<project-name> --location=<location> --lake=<lake-id> --trigger-type=ON_DEMAND –spark-main-jar-file-uri=<gcs location to java file> --execution-service-account=<service-account-email> --trigger-start-time=<timestamp after which job starts ex. 2099-01-01T00:00:00Z> --labels=key1=value1,key2=value3,key3=value3 --execution-args=arg1=value1,arg2=value3,arg3=value3 <task-id>
Exemple PySpark:
gcloud dataplex tasks create --project=<project-name> --location=<location> --lake=<lake-id> --trigger-type=RECURRING --trigger-schedule=<Cron schedule https://en.wikipedia.org/wiki/Cron> --spark-python-script-file=<gcs location to python script> --execution-service-account=<service-account-email> --execution-args=^::^arg1=value1::arg2=value2::TASK_ARGS="pos-arg1, pos-arg2" <task-id>
REST
Pour créer une tâche, utilisez APIs Explorer.
Programmer une tâche Spark SQL
gcloud
Pour planifier une tâche SQL Spark, exécutez la même commande gcloud CLI que dans la section Planifier une tâche Spark (Java ou Python), avec les paramètres supplémentaires suivants:
| Paramètre | Description |
|---|---|
--spark-sql-script |
Texte de la requête SQL. spark-sql-script ou spark-sql-script-file est obligatoire. |
--spark-sql-script-file |
Référence à un fichier de requête. Cette valeur peut être l'URI Cloud Storage du fichier de requête ou le chemin d'accès au contenu du script SQL.
spark-sql-script ou spark-sql-script-file est obligatoire. |
--execution-args |
Pour les tâches Spark SQL, les arguments suivants sont obligatoires et doivent être transmis en tant qu'arguments positionnels:--output_location, <GCS uri of the output directory>--output_format, <output file format>.Les formats acceptés sont les fichiers CSV, JSON, parquet et orc. |
gcloud dataplex tasks create --project=<project-name> --location=<location> --lake=<lake-id> --execution-service-account=<service-account-email> --trigger-type=ON_DEMAND --spark-sql-script=<sql-script> --execution-args=^::^TASK_ARGS="--output_location, <gcs folder location>, --output_format, json" <sql-task-id>
REST
Pour créer une tâche, utilisez APIs Explorer.
Surveiller votre tâche
Console
Dans la console Google Cloud , accédez à la page "Dataplex" :
Accédez à la vue Process (Procédure).
Dans l'onglet Tasks (Tâches), vous trouverez une liste de tâches filtrées par type de modèle de tâche.
Dans la colonne Nom, cliquez sur la tâche que vous souhaitez afficher.
Cliquez sur l'ID de tâche de la tâche que vous souhaitez afficher.
La page Dataproc s'ouvre dans la consoleGoogle Cloud , qui vous permet d'afficher les détails de la surveillance et de la sortie.
gcloud
Le tableau suivant répertorie les commandes de gcloud CLI permettant de surveiller vos tâches.
| Action | Commande gcloud CLI |
|---|---|
| Répertorier les tâches | gcloud dataplex tasks list --project=<project-name> --location=<location> --lake=<lake-id> |
| Afficher les détails de la tâche | gcloud dataplex tasks describe --project=<project-name> --location=<location> --lake=<lake-id> <task-id> |
| Répertorier les tâches d'une tâche | gcloud dataplex tasks jobs list --project=<project-name> --location=<location> --lake=<lake-id> --task=<task-id> |
| Afficher les détails d'une tâche | gcloud dataplex tasks jobs describe --project=<project-name> --location=<location> --lake=<lake-id> --task=<task-id> <job-id> |
Dataplex exécute des jobs sur Dataproc sans serveur (lots). Pour afficher les journaux d'exécution d'une tâche Dataplex, procédez comme suit:
Obtenez l'ID de tâche Dataproc sans serveur (lots). Exécutez la commande suivante :
gcloud dataplex tasks jobs describe --project=<project-name> --location=<location> --lake=<lake-id> --task=<task-id> <job-id>Affichez les journaux. Exécutez la commande suivante, en utilisant l'ID de tâche obtenu en exécutant la commande précédente:
gcloud beta dataproc batches wait --project=<project-name> --region=<location> <job-id>
REST
Pour get ou list une tâche ou une tâche, utilisez APIs Explorer.
Gérer la programmation
Dans la console Google Cloud , dans Dataplex, vous pouvez modifier la planification d'une tâche, la supprimer ou annuler une tâche en cours. Le tableau suivant répertorie les commandes de la gcloud CLI pour ces actions.
| Action | Commande gcloud CLI |
|---|---|
| Modifier la planification des tâches | gcloud dataplex tasks update --project=<project-name> --location=<location> --lake=<lake-id> --trigger-schedule=<updated-schedule> <task-id> |
| Supprimer une tâche | gcloud dataplex tasks delete --project=<project-name> --location=<location> --lake=<lake-id> <task-id> |
| Annuler une mission | gcloud dataplex tasks jobs cancel --project=<project-name> --location=<location> --lake=<lake-id> --task=<task-id> <job-id> |
Étape suivante
- Consultez Modèles Dataproc.
- Essayez un modèle prédéfini pour déplacer des données de manière incrémentielle des éléments Cloud Storage Dataplex vers BigQuery.
- Consultez Configurer des alertes et des notifications pour les tâches Dataplex.