Visualizza i DAG, le esecuzioni di DAG e le attività

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Questa pagina spiega come ottenere informazioni sui DAG nel tuo ambiente.

Modi per visualizzare le informazioni sui DAG

Cloud Composer offre diversi modi per ottenere informazioni dettagliate sui DAG nel tuo ambiente:

  • La UI del DAG è una sezione dell'interfaccia della console Google Cloud per Cloud Composer dedicato alla visualizzazione e al monitoraggio dei DAG, delle esecuzioni di DAG e singole attività.
  • La UI di Airflow è l'interfaccia web integrata di Airflow.
  • L'interfaccia a riga di comando di Airflow è l'interfaccia a riga di comando di Airflow. Tu puoi ottenere informazioni sui DAG eseguendo i comandi dell'interfaccia a riga di comando di Airflow con gcloud.

Informazioni sulla UI dei DAG di Cloud Composer

La UI del DAG è una sezione dell'interfaccia della console Google Cloud per Cloud Composer dedicato alla visualizzazione e al monitoraggio dei DAG, delle esecuzioni di DAG e singole attività.

Nella UI dei DAG, puoi:

  • Visualizza un elenco di DAG nel tuo ambiente, inclusi intervalli di pianificazione, DAG stati e descrizioni.

  • Metti in pausa, riattiva e attiva i DAG.

  • Visualizza i dettagli delle esecuzioni di DAG, incluse le esecuzioni riuscite, attive e non riuscite, ora dall'ultima esecuzione completata. Per ogni DAG, puoi visualizzare la cronologia dei DAG eseguite e istanze di attività associate a questo particolare DAG, inclusi i log per le attività eseguite.

  • Filtra i dettagli dell'esecuzione del DAG. Ad esempio, puoi scegliere un intervallo di tempo creare query per selezionare le informazioni di cui hai bisogno.

  • Visualizza informazioni dettagliate sui singoli DAG e attività. Sono inclusi diagrammi DAG visualizzati, informazioni sulle attività all'interno di un DAG, un DAG il codice sorgente e informazioni aggiuntive sui DAG.

Prima di iniziare

  • Assicurati che il tuo account abbia un ruolo che possa accedere all'UI dei DAG e visualizzare i DAG i dettagli. Per ulteriori informazioni, vedi Controllo dell'accesso.

  • La UI del DAG richiede la serie DAG abilitata.

  • La UI dei DAG è supportata in Cloud Composer 1.17.8 e versioni successive versions.

Visualizza l'elenco dei DAG per il tuo ambiente

Console

La scheda DAG del tuo ambiente mostra l'elenco dei DAG insieme ai DAG dei dettagli dell'esecuzione di ogni DAG.

Per visualizzare l'elenco dei DAG:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.

Puoi utilizzare i filtri per visualizzare i dettagli solo per determinati DAG o per determinate condizioni. Ad esempio:

  1. Seleziona il campo Filtri.
  2. Dall'elenco a discesa, seleziona la proprietà ID DAG.
  3. Specifica l'identificatore del DAG. I risultati mostrano i dettagli solo per il DAG selezionato.
  4. (Facoltativo) Per includere altri DAG, aggiungi gli operatori OR seguiti dagli ID dei DAG.
  5. (Facoltativo) Per filtrare in base ad altre condizioni, aggiungi altre proprietà in nel campo Filtri. Ad esempio, puoi filtrare i DAG con errori viene eseguito specificando Failed runs:>0.

UI di Airflow

Per visualizzare l'elenco dei DAG nell'interfaccia web di Airflow:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nella colonna Server web Airflow, segui il link Airflow per il tuo completamente gestito di Google Cloud.

  3. Accedi con l'Account Google che dispone delle autorizzazioni appropriate.

  4. Nell'interfaccia web di Airflow, nella pagina DAG, viene visualizzato un elenco di DAG per viene visualizzato l'ambiente.

gcloud

In Airflow 1.10.*, esegui il comando list_dags dell'interfaccia a riga di comando di Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dags

In Airflow 2, esegui il comando dags list dell'interfaccia a riga di comando di Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list -- -o plain

Sostituisci:

  • ENVIRONMENT_NAME con il nome dell'ambiente.
  • LOCATION con la regione in cui si trova l'ambiente.

Visualizza la cronologia delle esecuzioni e delle attività dei DAG

Console

La scheda Esecuzioni nella pagina Dettagli DAG mostra la cronologia delle esecuzioni di DAG per un singolo DAG.

Per visualizzare la cronologia delle esecuzioni dei DAG:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.

  3. Seleziona un DAG.

  4. Nella pagina Dettagli DAG, vai alla scheda Esecuzioni.

  5. Seleziona un'esecuzione di DAG dall'elenco per visualizzare i dettagli dell'esecuzione del DAG, ad esempio stato delle istanze delle attività per l'esecuzione di questo DAG, il numero di tentativi dell'esecuzione. Puoi selezionare le singole attività da visualizzare dei log delle istanze delle attività.

UI di Airflow

Per visualizzare l'elenco dei DAG nell'interfaccia web di Airflow:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nella colonna Server web Airflow, segui il link Airflow per il tuo completamente gestito di Google Cloud.

  3. Accedi con l'Account Google che dispone delle autorizzazioni appropriate.

  4. Nell'interfaccia web di Airflow, nel menu, seleziona Sfoglia > Esecuzioni DAG. La pagina Esecuzioni di DAG viene visualizzata. I DAG vengono eseguiti per il tuo ambiente. Puoi seguire il link in ID esecuzione per ottenere ulteriori informazioni sulle attività.

gcloud

In Airflow 1.10.*, esegui il comando list_dag_runs dell'interfaccia a riga di comando di Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    list_dag_runs -- DAG_ID

In Airflow 2, esegui il comando dags list-runs dell'interfaccia a riga di comando di Airflow:

  gcloud composer environments run ENVIRONMENT_NAME \
    --location LOCATION \
    dags list-runs -- -d DAG_ID

Sostituisci:

  • ENVIRONMENT_NAME con il nome dell'ambiente.
  • LOCATION con la regione in cui si trova l'ambiente.
  • DAG_ID con il nome del DAG.

Per ottenere ulteriori informazioni sulle istanze delle attività, esegui i comandi dell'interfaccia a riga di comando tasks state e tasks states-for-dag-run di Airflow.

Per saperne di più, consulta Accedere all'interfaccia a riga di comando di Airflow e Riferimento per l'interfaccia a riga di comando di Airflow per Airflow 1 e Airflow 2.

Visualizza i diagrammi DAG

Console

La scheda Diagramma nella pagina Dettagli DAG mostra la visualizzazione di un DAG con dipendenze delle attività.

Per visualizzare il diagramma di un DAG:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.

  3. Seleziona un DAG.

  4. Nella pagina Dettagli DAG, vai alla scheda Diagramma.

  5. (Facoltativo) Per visualizzare ulteriori informazioni sulle attività, seleziona le singole attività nel diagramma.

UI di Airflow

Per visualizzare il diagramma di un DAG nell'interfaccia web di Airflow:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nella colonna Server web Airflow, segui il link Airflow per il tuo completamente gestito di Google Cloud.

  3. Accedi con l'Account Google che dispone delle autorizzazioni appropriate.

  4. Nell'interfaccia web di Airflow, nella pagina DAG, viene visualizzato un elenco di DAG per viene visualizzato l'ambiente.

  5. Per il tuo DAG, nella colonna Link, segui il link Visualizzazione grafico.

Visualizza il codice sorgente dei DAG e ulteriori informazioni sui DAG

Console

Puoi visualizzare il codice sorgente dei DAG e informazioni aggiuntive come Identificatori di DAG e link ai file di definizione dei DAG nell'ambiente di sincronizzare la directory di una VM con un bucket.

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nella colonna Elenco DAG, segui il link DAG per il tuo ambiente.

  3. Seleziona un DAG.

  4. Per visualizzare il codice sorgente del DAG, vai alla scheda Diagramma.

  5. Per visualizzare ulteriori informazioni sul DAG, vai alla scheda Origine.

UI di Airflow

Per visualizzare il diagramma di un DAG nell'interfaccia web di Airflow:

  1. Nella console Google Cloud, vai alla pagina Ambienti.

    Vai ad Ambienti

  2. Nella colonna Server web Airflow, segui il link Airflow per il tuo completamente gestito di Google Cloud.

  3. Accedi con l'Account Google che dispone delle autorizzazioni appropriate.

  4. Nell'interfaccia web di Airflow, nella pagina DAG, fai clic sul nome per il tuo DAG.

  5. Nella pagina con i dettagli del DAG, vai alle schede disponibili da visualizzare e altre informazioni sul DAG.

Passaggi successivi