Accéder à l'interface de ligne de commande Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Apache Airflow dispose d'une interface de ligne de commande (CLI) qui vous permet de déclencher et gérer des DAG, d'obtenir des informations sur les exécutions de DAG et sur les tâches, et d'ajouter ou supprimer des connexions et des utilisateurs.

À propos des versions de syntaxe de la CLI

Airflow dans Cloud Composer 1 fournit deux syntaxes différentes pour les commandes de CLI :

Commandes de CLI Airflow compatibles

Pour obtenir la liste complète des commandes de CLI Airflow compatibles, consultez la documentation de référence gcloud composer environments run.

Avant de commencer

  • Vous devez disposer d'autorisations suffisantes pour utiliser Google Cloud CLI avec Cloud Composer et exécuter des commandes de la CLI Airflow.

  • Dans les versions de Cloud Composer antérieures à 2.4.0, vous devez accéder au plan de contrôle du cluster de votre environnement pour exécuter des commandes de CLI Airflow.

Exécuter des commandes de CLI Airflow

Pour exécuter les commandes de CLI Airflow dans vos environnements, utilisez gcloud :

gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    SUBCOMMAND \
    -- SUBCOMMAND_ARGUMENTS

Remplacez :

  • ENVIRONMENT_NAME par le nom de l'environnement.
  • LOCATION par la région où se trouve l'environnement.
  • SUBCOMMAND par l'une des commandes de CLI Airflow compatibles.
  • SUBCOMMAND_ARGUMENTS par les arguments de la commande Airflow CLI.

Séparateur des arguments de sous-commande

Séparez les arguments de la commande de CLI Airflow spécifiée avec -- :

Airflow 2

Pour la syntaxe Airflow 2 :

  • Spécifiez les commandes CLI composées dans une sous-commande.
  • Spécifiez les arguments des commandes composées en tant qu'arguments de sous-commande, après un séparateur --.
gcloud composer environments run example-environment \
    dags list -- --output=json

Airflow 1

Pour la syntaxe CLI Airflow 1.10 :

  • Spécifiez les commandes CLI en tant que sous-commande.
  • Spécifiez les arguments après un séparateur --.
gcloud composer environments run example-environment \
    list_dags -- --report

Emplacement par défaut

La plupart des commandes gcloud composer nécessitent un emplacement. Vous pouvez le spécifier à l'aide de l'option --location ou en définissant l'emplacement par défaut.

Exemple

Par exemple, pour déclencher un DAG nommé sample_quickstart ayant l'ID 5077 dans votre environnement Cloud Composer :

Airflow 2 

gcloud composer environments run example-environment \
    --location us-central1 dags trigger -- sample_quickstart \
    --run-id=5077

Airflow 1 

gcloud composer environments run example-environment \
    --location us-central1 trigger_dag -- sample_quickstart \
    --run_id=5077

Exécuter des commandes sur un environnement d'adresse IP privée

Pour exécuter des commandes de CLI Airflow sur un environnement d'adresse IP privée, exécutez-les sur une machine qui peut accéder au point de terminaison du plan de contrôle du cluster GKE. Les options peuvent varier en fonction de votre configuration de cluster privé.

Si l'accès aux points de terminaison publics est désactivé dans le cluster de votre environnement, vous ne pouvez pas utiliser les commandes gcloud composer pour exécuter la CLI Airflow. Pour pouvoir exécuter des commandes de CLI Airflow, procédez comme suit:

  1. Créer une VM dans votre réseau VPC
  2. Obtenez les identifiants du cluster. Exécutez la commande suivante : bash gcloud container clusters get-credentials CLUSTER_NAME \ --region REGION \ --project PROJECT \ --internal-ip
  • Utilisez kubectl pour exécuter votre commande Airflow. Exemple :
kubectl exec deployment/airflow-scheduler -n COMPOSER_NAMESPACE \
  --container airflow-scheduler -- airflow dags list

Remplacez COMPOSER_NAMESPACE par un espace de noms semblable à : composer-2-0-28-airflow-2-3-394zxc12411. Vous pouvez trouver votre Cloud Composer dans la liste des charges de travail ou à l'aide de la commande kubectl get namespaces.

Si l'accès public aux points de terminaison est activé dans le cluster de votre environnement, vous pouvez également exécuter les commandes de la CLI Airflow depuis une machine dotée d'une adresse IP externe ajoutée aux réseaux autorisés. Pour activer l'accès depuis votre machine, ajoutez l'adresse externe de votre machine à la liste des réseaux autorisés de votre environnement.

Dépannage

Aucune connectivité au plan de contrôle du cluster

Lorsque vous exécutez des commandes gcloud composer environments run ou kubectl, vous pouvez rencontrer l'erreur suivante:

Get "https://<IP Address>/api?timeout=32s": dial tcp <IP Address>:443: i/o timeout"

Symptôme: Ce message d'erreur indique qu'il n'y a pas de connectivité réseau à partir d'un ordinateur sur lequel vous exécutez ces commandes.

Solution: Suivez les consignes présentées dans la section Exécuter des commandes sur un environnement d'adresse IP privée ou utilisez les instructions disponibles dans la section Expiration de la commande kubectl.