Cloud Composer 1 est en mode post-maintenance. Google ne publie aucune autre mise à jour de Cloud Composer 1, y compris les nouvelles versions d'Airflow, les corrections de bugs et les mises à jour de sécurité. Nous vous recommandons de planifier la migration vers Cloud Composer 2.

Cette page a été traduite par l'API Cloud Translation.

Accéder à l'interface de ligne de commande Airflow

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Apache Airflow dispose d'une interface de ligne de commande (CLI) qui vous permet de déclencher et gérer des DAG, d'obtenir des informations sur les exécutions de DAG et sur les tâches, et d'ajouter ou supprimer des connexions et des utilisateurs.

À propos des versions de syntaxe de la CLI

Airflow dans Cloud Composer 2 utilise la syntaxe CLI Airflow 2.

Commandes de CLI Airflow compatibles

Pour obtenir la liste complète des commandes de CLI Airflow compatibles, consultez la documentation de référence gcloud composer environments run.

Avant de commencer

Vous devez disposer des autorisations suffisantes pour utiliser la ligne de commande gcloud avec Cloud Composer et exécuter les commandes CLI Airflow. Pour plus pour plus d'informations, consultez la section Contrôle des accès.
Dans les versions de Cloud Composer antérieures à la version 2.4.0, vous devez L'accès au plan de contrôle du cluster de votre environnement pour exécuter les commandes de CLI Airflow.

Exécuter des commandes de CLI Airflow

Pour exécuter les commandes de CLI Airflow dans vos environnements, utilisez gcloud :

gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    SUBCOMMAND \
    -- SUBCOMMAND_ARGUMENTS

Remplacez :

ENVIRONMENT_NAME par le nom de l'environnement.
LOCATION par la région dans laquelle se trouve l'environnement.
SUBCOMMAND par l'une des commandes de CLI Airflow compatibles.
SUBCOMMAND_ARGUMENTS par les arguments de la commande Airflow CLI.

Séparateur d'arguments de sous-commande

Séparez les arguments de la commande de CLI Airflow spécifiée avec -- :

Airflow 2

Pour la syntaxe Airflow 2 :

Spécifiez les commandes CLI composées en tant que sous-commande.
spécifier tous les arguments des commandes composées en tant qu'arguments de sous-commande ; après un séparateur --.

gcloud composer environments run example-environment \
    dags list -- --output=json

Airflow 1

Cloud Composer 2 n'est compatible qu'avec Airflow 2.

Emplacement par défaut

La plupart des commandes gcloud composer nécessitent un emplacement. Vous pouvez le spécifier à l'aide de l'option --location ou en définissant l'emplacement par défaut.

Exemple

Par exemple, pour déclencher un DAG nommé sample_quickstart ayant l'ID 5077 dans votre environnement Cloud Composer :

Airflow 2

gcloud composer environments run example-environment \
    --location us-central1 dags trigger -- sample_quickstart \
    --run-id=5077

Airflow 1

Cloud Composer 2 n'est compatible qu'avec Airflow 2.

Exécuter des commandes sur un environnement d'adresse IP privée

À partir de la version 2.4.0 de Cloud Composer, vous pouvez exécuter la CLI Airflow sur un environnement IP privé sans configuration supplémentaire. Votre machine n'a pas besoin d'accéder au plan de contrôle du cluster de l'environnement point de terminaison pour exécuter ces commandes.

Dans les versions de Cloud Composer antérieures à la version 2.4.0:

Pour exécuter des commandes de CLI Airflow dans un environnement d'adresse IP privée, les exécuter sur une machine pouvant accéder point de terminaison du plan de contrôle. Les options peuvent varier en fonction de votre configuration de cluster privé.

Si l'accès public aux points de terminaison est désactivé dans le cluster de votre environnement, il n'est pas possible d'utiliser les commandes gcloud composer pour exécuter la CLI Airflow. Pour pouvoir exécuter des commandes de CLI Airflow, procédez comme suit:

Créer une VM dans votre réseau VPC
Procurez-vous les identifiants du cluster. Exécutez la commande suivante: bash gcloud container clusters get-credentials CLUSTER_NAME \ --region REGION \ --project PROJECT \ --internal-ip

Utilisez kubectl pour exécuter votre commande Airflow. Exemple :

kubectl exec deployment/airflow-scheduler -n COMPOSER_NAMESPACE \
  --container airflow-scheduler -- airflow dags list

Remplacez COMPOSER_NAMESPACE par un espace de noms semblable à celui-ci: composer-2-0-28-airflow-2-3-394zxc12411 Vous pouvez trouver vos fichiers Cloud Composer dans la liste des charges de travail ou à l'aide de la commande kubectl get namespaces.

Si l'accès public aux points de terminaison est activé dans le cluster de votre environnement, vous pouvez et exécuter les commandes de CLI Airflow sur une machine dotée d'une adresse IP externe aux réseaux autorisés. Pour autoriser l'accès depuis votre machine, ajoutez le externe de votre machine au réseau VPC liste des réseaux autorisés.

Exécuter des commandes de CLI Airflow via l'API Cloud Composer

À partir de la version 2.4.0 de Cloud Composer, vous pouvez exécuter la CLI Airflow via l'API Cloud Composer.

Exécuter une commande

Créez une requête API environments.executeAirflowCommand:

{
  "environment": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
  "command": "AIRFLOW_COMMAND",
  "subcommand": "AIRFLOW_SUBCOMMAND",
  "parameters": [
    "SUBCOMMAND_PARAMETER"
  ]
}

Remplacez les éléments suivants :

PROJECT_ID: ID du projet
LOCATION: région dans laquelle se trouve l'environnement.
ENVIRONMENT_NAME : nom de votre environnement
AIRFLOW_COMMAND: commande CLI Airflow que vous souhaitez exécuter, par exemple dags
AIRFLOW_SUBCOMMAND: sous-commande de la commande CLI Airflow qui que vous souhaitez exécuter, par exemple list.
(facultatif) SUBCOMMAND_PARAMETER: paramètres de la sous-commande. Si vous si vous souhaitez utiliser plusieurs paramètres, ajoutez des éléments à la liste.

Exemple :

// POST https://composer.googleapis.com/v1/{environment=projects/*/locations/*/environments/*}:executeAirflowCommand
{
  "environment": "projects/example-project/locations/us-central1/environments/example-environment",
  "command": "dags",
  "subcommand": "list",
  "parameters": [
    "-o json",
    "--verbose"
  ]
}

État de la commande de sondage

Après avoir exécuté une commande CLI Airflow via l'API Cloud Composer, vérifiez si la commande s'est terminée avec succès PollAirflowCommand et inspectant la dans exitInfo pour les erreurs et les codes d'état. Le champ output contient des lignes de journal.

Pour obtenir l'état d'exécution de la commande et récupérer les journaux, indiquez executionId. Valeurs pod et podNamespace renvoyées par ExecuteAirflowCommandRequest:

Exemple :

// POST https://composer.googleapis.com/v1/{environment=projects/*/locations/*/environments/*}:pollAirflowCommand
{
  "executionId": "39b82312-3a19-4d21-abac-7f8f19855ce7",
  "pod": "airflow-scheduler-1327d8cd68-hblpd",
  "podNamespace": "composer-2-4-0-airflow-2-5-3-184dadaf",
  "nextLineNumber": 1
}

Dépannage

Aucune connectivité au plan de contrôle du cluster

Lors de l'exécution de gcloud composer environments run ou kubectl, vous pouvez rencontrer l'erreur suivante:

Get "https://<IP Address>/api?timeout=32s": dial tcp <IP Address>:443: i/o timeout"

Problème constaté: ce message d'erreur indique qu'il n'y a pas de réseau la connectivité à partir d'un ordinateur où vous exécutez ces commandes.

Solution: suivez les consignes présentées dans les Exécuter des commandes dans un environnement IP privé ou suivez les instructions fournies dans le Section Expiration du délai de la commande kubectl.