Accedi all'interfaccia a riga di comando di Airflow

Cloud Composer 1 | Cloud Composer 2

Apache Airflow ha un'interfaccia a riga di comando (CLI) che puoi utilizzare per eseguire attività come l'attivazione e la gestione dei DAG, il recupero di informazioni sulle esecuzioni e le attività dei DAG, l'aggiunta e l'eliminazione di connessioni e utenti.

Informazioni sulle versioni della sintassi dell'interfaccia a riga di comando

Airflow in Cloud Composer 1 fornisce due diverse sintassi per i comandi dell'interfaccia a riga di comando:

Comandi dell'interfaccia a riga di comando di Airflow supportati

Per un elenco completo dei comandi dell'interfaccia a riga di comando di Airflow supportati, consulta il riferimento per gcloud composer environments run.

Prima di iniziare

  • Devi disporre di autorizzazioni sufficienti per utilizzare lo strumento a riga di comando gcloud con Cloud Composer ed eseguire i comandi dell'interfaccia a riga di comando di Airflow. Per ulteriori informazioni, consulta la sezione Controllo dell'accesso.

  • Nelle versioni di Cloud Composer precedenti alla 2.4.0, devi avere accesso al piano di controllo del cluster del tuo ambiente per eseguire i comandi dell'interfaccia a riga di comando di Airflow.

Esegui i comandi dell'interfaccia a riga di comando di Airflow

Per eseguire i comandi dell'interfaccia a riga di comando di Airflow nei tuoi ambienti, utilizza gcloud:

gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    SUBCOMMAND \
    -- SUBCOMMAND_ARGUMENTS

Sostituisci:

Separatore di argomenti dei sottocomandi

Separa gli argomenti per il comando dell'interfaccia a riga di comando Airflow specificato con --:

Airflow 2

Per la sintassi dell'interfaccia a riga di comando di Airflow 2:

  • Specifica i comandi dell'interfaccia a riga di comando composti come sottocomando.
  • Specifica eventuali argomenti per i comandi composti come argomenti dei comandi secondari, dopo un separatore --.
gcloud composer environments run example-environment \
    dags list -- --output=json

Airflow 1

Per la sintassi dell'interfaccia a riga di comando Airflow 1.10:

  • Specifica i comandi dell'interfaccia a riga di comando come sottocomando.
  • Specifica gli argomenti dopo un separatore --.
gcloud composer environments run example-environment \
    list_dags -- --report

Località predefinita

La maggior parte dei comandi gcloud composer richiede una posizione. Puoi specificare la località con il flag --location o impostando la località predefinita.

Esempio

Ad esempio, per attivare un DAG denominato sample_quickstart con l'ID 5077 nel tuo ambiente Cloud Composer:

Airflow 2 

gcloud composer environments run example-environment \
    --location us-central1 dags trigger -- sample_quickstart \
    --run-id=5077

Airflow 1 

gcloud composer environments run example-environment \
    --location us-central1 trigger_dag -- sample_quickstart \
    --run_id=5077

Esecuzione di comandi in un ambiente con IP privato

Per eseguire i comandi dell'interfaccia a riga di comando di Airflow su un ambiente IP privato, eseguili su una macchina che può accedere all'endpoint del piano di controllo del cluster GKE. Le opzioni possono variare a seconda della configurazione del cluster privato.

Se l'accesso agli endpoint pubblici è disabilitato nel cluster del tuo ambiente, non puoi utilizzare i comandi gcloud composer per eseguire l'interfaccia a riga di comando di Airflow. Per poter eseguire i comandi dell'interfaccia a riga di comando di Airflow, segui questi passaggi:

  1. Crea una VM nella tua rete VPC
  2. Acquisisci credenziali cluster. Esegui questo comando: bash gcloud container clusters get-credentials CLUSTER_NAME \ --region REGION \ --project PROJECT \ --internal-ip
  • Usa kubectl per eseguire il comando Airflow. Ad esempio:
kubectl exec deployment/airflow-scheduler -n COMPOSER_NAMESPACE \
  --container airflow-scheduler -- airflow dags list

Sostituisci COMPOSER_NAMESPACE con uno spazio dei nomi simile a: composer-2-0-28-airflow-2-3-394zxc12411. Puoi trovare Cloud Composer nell'elenco dei carichi di lavoro o utilizzando il comando kubectl get namespaces.

Se l'accesso pubblico agli endpoint è abilitato nel cluster del tuo ambiente, puoi anche eseguire i comandi dell'interfaccia a riga di comando di Airflow da una macchina con un indirizzo IP esterno che viene aggiunto alle reti autorizzate. Per abilitare l'accesso dalla tua macchina, aggiungi l'indirizzo esterno della macchina all'elenco di reti autorizzate del tuo ambiente.

Risoluzione dei problemi

Nessuna connettività al piano di controllo del cluster

Durante l'esecuzione dei comandi gcloud composer environments run o kubectl, potresti riscontrare il seguente errore:

Get "https://<IP Address>/api?timeout=32s": dial tcp <IP Address>:443: i/o timeout"

Sintomo: questo messaggio di errore indica che non è presente alcuna connettività di rete dal computer in cui esegui questi comandi.

Soluzione: segui le linee guida presentate nella sezione Esecuzione di comandi in un ambiente IP privato o utilizza le istruzioni disponibili nella sezione Timeout del comando kubectl.