Utiliser des opérateurs différables dans vos DAG

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Cette page explique comment activer la prise en charge des opérateurs différables dans votre et d'utiliser des opérateurs Google Cloud différables dans vos DAG.

À propos des opérateurs différables dans Cloud Composer

Si vous disposez d'au moins une instance de déclencheur (ou d'au moins deux instances des environnements résilients), vous pouvez utiliser Opérateurs et déclencheurs différables dans vos DAG.

Pour les opérateurs différables, Airflow divise l'exécution des tâches en plusieurs étapes :

1. Démarrez l'opération. À ce stade, la tâche occupe un emplacement de nœud de calcul Airflow. La tâche effectue une opération qui la délègue à un un service différent.

   Par exemple, l'exécution d'un job BigQuery peut prendre de quelques secondes à plusieurs heures. Une fois le job créé, l'opération transmet l'identifiant de travail (ID de tâche BigQuery) à un déclencheur Airflow.

2. Le déclencheur surveille la tâche jusqu'à sa fin. À cette étape, l'emplacement de nœud de calcul n'est pas occupé. Le déclencheur Airflow a des commandes et est capable de gérer des centaines de tâches de ce type. Lorsque le déclencheur détecte que la tâche est terminée, il envoie un événement qui déclenche la dernière étape.

3. Lors de la dernière étape, un nœud de calcul Airflow exécute un rappel. Ce rappel, pour peut marquer la tâche comme réussie ou exécuter une autre opération et définir à nouveau la tâche pour qu'elle soit surveillée par le déclencheur.

Le déclencheur est sans état et résiste donc aux interruptions ou redémarrages, . De ce fait, les jobs de longue durée sont résilients aux redémarrages des pods. sauf si le redémarrage se produit lors de la dernière étape, qui devrait être courte.

Avant de commencer

• Les opérateurs et capteurs différables sont disponibles dans les environnements Cloud Composer 2 et nécessitent les éléments suivants :
  • Cloud Composer 2.0.31 et versions ultérieures
  • Airflow 2.2.5, 2.3.3 et versions ultérieures

Attention : Compatibilité du fournisseur Terraform pour les déclencheurs Airflow est en version Preview. Utiliser le fournisseur Terraform google-beta lorsque vous modifiez le scaling et les paramètres de performances de votre environnement, même si ces modifications en lien avec le déclencheur. Par exemple, lorsque vous modifiez les paramètres des nœuds de calcul Airflow.

Activer la prise en charge des opérateurs différables

Un composant d'environnement appelé déclencheur Airflow surveille de manière asynchrone toutes les tâches différées de votre environnement. Une fois qu'une opération différée d'une telle tâche est terminée, le déclencheur transmet la tâche à un nœud de calcul Airflow.

Vous avez besoin d'au moins une instance de déclencheur dans votre environnement (ou d'au moins deux instances dans les environnements hautement résilients) d'utiliser le mode différable dans vos DAG. Vous pouvez configurer les déclencheurs lorsque vous créez un environnement ou d'ajuster le nombre de déclencheurs et les paramètres de performances pour un environnement existant

Opérateurs Google Cloud compatibles avec le mode différable

Seuls certains opérateurs Airflow ont été étendus pour être compatibles avec le modèle différable. La liste suivante est une référence pour les opérateurs du Package airflow.providers.google.operators.cloud compatibles avec le mode différable. La colonne contenant la version minimale requise du package airflow.providers.google.operators.cloud représente la version de package la plus ancienne pour laquelle cet opérateur est compatible avec le mode différable.

Important : Les tableaux suivants ne répertorient pas tous les opérateurs compatibles avec le mode différable. De nombreux autres opérateurs de airflow.providers.google.operators.cloud et d'autres packages de fournisseurs sont compatibles avec Airflow et Cloud Composer. Ces ne sont pas décrits sur cette page. Pour vérifier si un opérateur particulier prend en charge le mode différable, consultez la Documentation sur le package du fournisseur fournies par Airflow.

Remarque :Les opérateurs BigQuery en mode defferable échouent si le n'est pas définie sur US. Cela est dû à un bug dans une dépendance d'Airflow, et non dans les opérateurs BigQuery.

Opérateurs Cloud Composer

Nom de l'opérateur	Version apache-airflow-providers-google requise
CloudComposerCreateEnvironmentOperator	6.4.0
CloudComposerDeleteEnvironmentOperator	6.4.0
CloudComposerUpdateEnvironmentOperator	6.4.0

Opérateurs BigQuery

Nom de l'opérateur	Version apache-airflow-providers-google requise
BigQueryCheckOperator	8.4.0
BigQueryValueCheckOperator	8.4.0
BigQueryIntervalCheckOperator	8.4.0
BigQueryGetDataOperator	8.4.0
BigQueryInsertJobOperator	8.4.0

Opérateurs du service de transfert de données BigQuery

Nom de l'opérateur	Version apache-airflow-providers-google requise
BigQueryDataTransferServiceStartTransferRunsOperator	8.9.0

Opérateurs Cloud Build

Nom de l'opérateur	Version apache-airflow-providers-google requise
CloudBuildCreateBuildOperator	8.7.0

Opérateurs Cloud SQL

Nom de l'opérateur	Version apache-airflow-providers-google requise
CloudSQLExportInstanceOperator	10.3.0

Opérateurs Dataflow

Nom de l'opérateur	Version apache-airflow-providers-google requise
DataflowTemplatedJobStartOperator	8.9.0
DataflowStartFlexTemplateOperator	8.9.0

Opérateurs Cloud Data Fusion

Nom de l'opérateur	Version apache-airflow-providers-google requise
CloudDataFusionStartPipelineOperator	8.9.0

Opérateurs Dataproc

Nom de l'opérateur	Version apache-airflow-providers-google requise
DataprocCreateClusterOperator	8.9.0
DataprocDeleteClusterOperator	8.9.0
DataprocJobBaseOperator	8.4.0
DataprocInstantiateWorkflowTemplateOperator	9.0.0
DataprocInstantiateInlineWorkflowTemplateOperator	10.1.0
DataprocSubmitJobOperator	8.4.0
DataprocUpdateClusterOperator	8.9.0
DataprocCreateBatchOperator	8.9.0

Opérateurs Google Kubernetes Engine

Nom de l'opérateur	Version apache-airflow-providers-google requise
GKEDeleteClusterOperator	9.0.0
GKECreateClusterOperator	9.0.0

Opérateurs AI Platform

Nom de l'opérateur	Version apache-airflow-providers-google requise
MLEngineStartTrainingJobOperator	8.9.0

Utiliser des opérateurs différables dans vos DAG

Une convention courante pour tous les opérateurs Google Cloud consiste à activer le mode différable avec le paramètre booléen deferrable. Si un service Google Cloud ne comporte pas ce paramètre, il ne peut donc pas s'exécuter dans l'environnement . D'autres opérateurs peuvent avoir une convention différente. Par exemple, certains opérateurs de la communauté disposent d'une classe distincte avec le suffixe Async dans le nom.

Important :Les dossiers dags/ et /plugins de votre bucket d'environnement sont n'est pas synchronisé avec le déclencheur. Vous pouvez utiliser des déclencheurs installés Packages PyPI, ou inclus dans un package préinstallé le package fournisseur.

L'exemple de DAG suivant utilise l'opérateur DataprocSubmitJobOperator dans Mode différable:

PYSPARK_JOB = {
    "reference": { "project_id": "PROJECT_ID" },
    "placement": { "cluster_name": "PYSPARK_CLUSTER_NAME" },
    "pyspark_job": {
        "main_python_file_uri": "gs://dataproc-examples/pyspark/hello-world/hello-world.py"
    },
}

DataprocSubmitJobOperator(
        task_id="dataproc-deferrable-example",
        job=PYSPARK_JOB,
        deferrable=True,
    )

Afficher les journaux du déclencheur

Le déclencheur génère des journaux qui sont disponibles avec les journaux d'autres composants d'environnement. Pour en savoir plus sur l'affichage de votre environnement consultez la section Afficher les journaux.

Surveiller le déclencheur

Pour en savoir plus sur la surveillance du composant déclencheur, consultez la section Métriques Airflow.

En plus de surveiller le déclencheur, vous pouvez vérifier le nombre dans les métriques Tâche non terminée du tableau de bord Monitoring environnement.

Étape suivante

• Résoudre les problèmes liés au déclencheur Airflow
• Métriques du déclencheur Airflow
• Journaux du déclencheur Airflow