Cloud Composer 1 | Cloud Composer 2
Apache Airflow dispose d'une interface de ligne de commande (CLI) qui vous permet de déclencher et gérer des DAG, d'obtenir des informations sur les exécutions de DAG et sur les tâches, et d'ajouter ou supprimer des connexions et des utilisateurs.
À propos des versions de syntaxe de la CLI
Airflow dans Cloud Composer 2 utilise la syntaxe CLI Airflow 2.
Commandes de CLI Airflow compatibles
Pour obtenir la liste complète des commandes de CLI Airflow compatibles, consultez la documentation de référence gcloud composer environments run
.
Avant de commencer
Vous devez disposer des autorisations nécessaires pour utiliser l'outil de ligne de commande
gcloud
avec Cloud Composer et exécuter des commandes de CLI Airflow. Pour en savoir plus, consultez la section Contrôle des accès.Dans les versions de Cloud Composer antérieures à la version 2.4.0, vous devez accéder au plan de contrôle du cluster de votre environnement pour exécuter des commandes de CLI Airflow.
Exécuter des commandes de CLI Airflow
Pour exécuter les commandes de CLI Airflow dans vos environnements, utilisez gcloud
:
gcloud composer environments run ENVIRONMENT_NAME \
--location LOCATION \
SUBCOMMAND \
-- SUBCOMMAND_ARGUMENTS
Remplacez :
ENVIRONMENT_NAME
par le nom de l'environnement.LOCATION
par la région où se trouve l'environnement.SUBCOMMAND
par l'une des commandes de CLI Airflow compatibles.SUBCOMMAND_ARGUMENTS
par les arguments de la commande Airflow CLI.
Séparateur des arguments de sous-commande
Séparez les arguments de la commande de CLI Airflow spécifiée avec --
:
Airflow 2
Pour la syntaxe Airflow 2 :
- Spécifiez les commandes CLI composées dans une sous-commande.
- Spécifiez les arguments des commandes composées en tant qu'arguments de sous-commande, après un séparateur
--
.
gcloud composer environments run example-environment \
dags list -- --output=json
Airflow 1
Cloud Composer 2 n'est compatible qu'avec Airflow 2.
Emplacement par défaut
La plupart des commandes gcloud composer
nécessitent un emplacement. Vous pouvez le spécifier à l'aide de l'option --location
ou en définissant l'emplacement par défaut.
Exemple
Par exemple, pour déclencher un DAG nommé sample_quickstart
ayant l'ID 5077
dans votre environnement Cloud Composer :
Airflow 2
gcloud composer environments run example-environment \
--location us-central1 dags trigger -- sample_quickstart \
--run-id=5077
Airflow 1
Cloud Composer 2 n'est compatible qu'avec Airflow 2.
Exécuter des commandes sur un environnement d'adresse IP privée
À partir de la version 2.4.0 de Cloud Composer, vous pouvez exécuter des commandes de CLI Airflow sur un environnement d'adresse IP privée sans configuration supplémentaire. Votre machine n'a pas besoin d'accéder au point de terminaison du plan de contrôle du cluster de l'environnement pour exécuter ces commandes.
Dans les versions de Cloud Composer antérieures à 2.4.0:
Pour exécuter des commandes de CLI Airflow dans un environnement d'adresse IP privée, exécutez-les sur une machine pouvant accéder au point de terminaison du plan de contrôle du cluster GKE. Les options peuvent varier en fonction de votre configuration de cluster privé.
Si l'accès public aux points de terminaison est désactivé dans le cluster de votre environnement, vous devez exécuter les commandes de CLI Airflow depuis une VM du même réseau VPC. Créez une VM dans votre réseau VPC pour activer ce chemin.
Si l'accès public aux points de terminaison est activé dans le cluster de votre environnement, vous pouvez également exécuter des commandes de CLI Airflow depuis une machine avec une adresse IP publique ajoutée aux réseaux autorisés. Pour activer l'accès depuis votre machine, ajoutez l'adresse externe de votre machine à la liste des réseaux autorisés de votre environnement.
Exécuter des commandes de CLI Airflow via l'API Cloud Composer
À partir de la version 2.4.0 de Cloud Composer, vous pouvez exécuter les commandes de la CLI Airflow via l'API Cloud Composer.
Exécuter une commande
Créez une requête API environments.executeAirflowCommand
:
{
"environment": "projects/PROJECT_ID/locations/LOCATION/environments/ENVIRONMENT_NAME",
"command": "AIRFLOW_COMMAND",
"subcommand": "AIRFLOW_SUBCOMMAND",
"parameters": [
"SUBCOMMAND_PARAMETER"
]
}
Remplacez les éléments suivants :
PROJECT_ID
: ID du projetLOCATION
: région où se trouve l'environnement.ENVIRONMENT_NAME
: nom de votre environnementAIRFLOW_COMMAND
: commande de CLI Airflow que vous souhaitez exécuter, par exempledags
.AIRFLOW_SUBCOMMAND
: sous-commande de la commande de CLI Airflow que vous souhaitez exécuter, par exemplelist
.- (Facultatif)
SUBCOMMAND_PARAMETER
: paramètres pour la sous-commande. Si vous souhaitez utiliser plusieurs paramètres, ajoutez d'autres éléments à la liste.
Exemple :
// POST https://composer.googleapis.com/v1/{environment=projects/*/locations/*/environments/*}:executeAirflowCommand
{
"environment": "projects/example-project/locations/us-central1/environments/example-environment",
"command": "dags",
"subcommand": "list",
"parameters": [
"-o json",
"--verbose"
]
}
État de la commande de sondage
Après avoir exécuté une commande de CLI Airflow via l'API Cloud Composer, vérifiez si la commande a bien été exécutée en envoyant une requête PollAirflowCommand et en inspectant les champs dans exitInfo
. Le champ output
contient des lignes de journal.
Pour obtenir l'état d'exécution de la commande et récupérer les journaux, fournissez les valeurs executionId
, pod
et podNamespace
renvoyées par ExecuteAirflowCommandRequest
:
Exemple :
// POST https://composer.googleapis.com/v1/{environment=projects/*/locations/*/environments/*}:pollAirflowCommand
{
"executionId": "39b82312-3a19-4d21-abac-7f8f19855ce7",
"pod": "airflow-scheduler-1327d8cd68-hblpd",
"podNamespace": "composer-2-4-0-airflow-2-5-3-184dadaf",
"nextLineNumber": 1
}
Dépannage
Aucune connectivité au plan de contrôle du cluster
Lorsque vous exécutez des commandes gcloud composer environments run
ou kubectl
, vous pouvez rencontrer l'erreur suivante:
Get "https://<IP Address>/api?timeout=32s": dial tcp <IP Address>:443: i/o timeout"
Symptôme: ce message d'erreur indique qu'aucune connectivité réseau n'est assurée par un ordinateur sur lequel vous exécutez ces commandes.
Solution: suivez les instructions de la section Exécuter des commandes dans un environnement d'adresse IP privée ou utilisez les instructions de la section Délai avant expiration de la commande kubectl
.