Orchestrare i DAG di Airflow

Per richiedere assistenza o fornire un feedback su questa funzionalità, invia un'email all'indirizzo bigquery-orchestration-tab-feedback@google.com.

Questo documento descrive come orchestrare i grafici diretti aciclici (DAG) di Airflow da Cloud Composer 3 (anteprima) nella pagina Orchestration in BigQuery, inclusa la procedura per attivare manualmente i DAG e visualizzare la cronologia e i log delle esecuzioni DAG passate.

Informazioni sui DAG di Airflow in BigQuery

La pagina Orchestration in BigQuery fornisce strumenti per orchestrare i DAG di Airflow eseguiti nei tuoi ambienti Cloud Composer 3.

I DAG di Airflow che orchestri in BigQuery vengono eseguiti in uno o più ambienti Cloud Composer del tuo progetto. La pagina Orchestration (Orchestrazione) in BigQuery combina le informazioni su tutti i DAG di Airflow nel progetto.

Durante l'esecuzione di un DAG, Airflow pianifica ed esegue le singole attività che compongono un DAG in una sequenza definita dal DAG. Nella pagina Orchestration di BigQuery, puoi visualizzare gli stati delle esecuzioni di DAG passate, esplorare log dettagliati di tutte le esecuzioni di DAG e di tutte le attività di queste esecuzioni di DAG e visualizzare dettagli sui DAG.

Per saperne di più sui concetti di base di Airflow, come i DAG, le esecuzioni dei DAG, le attività o gli operatori di Airflow, consulta la pagina Concetti fondamentali nella documentazione di Airflow.

Per scoprire di più sugli ambienti Cloud Composer, consulta la pagina Panoramica di Cloud Composer 3 nella documentazione di Cloud Composer.

Prima di iniziare

  1. Enable the Cloud Composer API.

    Enable the API

  2. Assicurati che il tuo progetto Google Cloud abbia almeno un ambiente Cloud Composer 3 con almeno un file DAG già caricato:

Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per orchestrare i DAG di Airflow, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per orchestrare i DAG di Airflow. Per visualizzare le autorizzazioni esatte richieste, espandi la sezione Autorizzazioni richieste:

Autorizzazioni obbligatorie

Per orchestrare i DAG di Airflow sono necessarie le seguenti autorizzazioni:

  • Per visualizzare i DAG di Airflow e i relativi dettagli: composers.dags.list, composer.environments.list
  • Per attivare e mettere in pausa i DAG di Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni su Cloud Composer 3 IAM, consulta Controllo dell'accesso con IAM nella documentazione di Cloud Composer.

Attivare manualmente un DAG

Quando attivi manualmente un DAG Airflow, Airflow esegue il DAG una volta, indipendentemente dalla pianificazione specificata per il DAG.

Per attivare manualmente un DAG Airflow selezionato:

  1. Nella console Google Cloud, vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. Esegui una delle operazioni seguenti:

    • Fai clic sul nome del DAG selezionato e poi su Attiva DAG nella pagina Dettagli DAG.

    • Nella riga contenente il DAG selezionato, fai clic su Visualizza azioni nella colonna Azioni e poi su Attiva DAG.

Visualizzare i log e i dettagli delle esecuzioni di DAG

Per visualizzare i dettagli di un DAG Airflow selezionato:

  1. Nella console Google Cloud, vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. Fai clic sul nome del DAG selezionato.

  3. Nella pagina Dettagli DAG, seleziona la scheda Dettagli.

  4. Per visualizzare le esecuzioni DAG passate, seleziona la scheda Esecuzioni.

    1. (Facoltativo) La scheda Esecuzioni mostra per impostazione predefinita le esecuzioni del DAG degli ultimi 10 giorni. Per filtrare le esecuzioni del DAG in base a un intervallo di tempo diverso, nel menu a discesa 10 giorni seleziona un intervallo di tempo e poi fai clic su Ok.

    2. (Facoltativo) Per visualizzare colonne aggiuntive con i dettagli delle esecuzioni del DAG nell'elenco di tutte le esecuzioni del DAG, fai clic su Opzioni di visualizzazione delle colonne, poi seleziona le colonne e fai clic su OK.

    3. Per visualizzare i dettagli e i log di un'esecuzione DAG selezionata, seleziona un'esecuzione DAG.

  5. Per visualizzare una visualizzazione del DAG con le dipendenze delle attività, seleziona la scheda Diagramma.

    1. Per visualizzare i dettagli di un'attività, selezionala nel diagramma.

  6. Per visualizzare il codice sorgente del DAG, seleziona la scheda Codice.

  7. (Facoltativo) Per aggiornare i dati visualizzati, fai clic su Aggiorna.

Visualizza tutti i DAG

Per visualizzare i DAG di Airflow da tutti gli ambienti Cloud Composer 3 nel tuo progetto Google Cloud:

  1. Nella console Google Cloud, vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. (Facoltativo) Per visualizzare altre colonne con i dettagli del DAG, fai clic su Opzioni di visualizzazione delle colonne, quindi seleziona le colonne e fai clic su OK.

Mettere in pausa un DAG

Per mettere in pausa un DAG Airflow selezionato:

  1. Nella console Google Cloud, vai alla pagina Orchestration.

    Vai alla pagina Orchestrazione

  2. Esegui una delle operazioni seguenti:

    • Fai clic sul nome del DAG selezionato e poi sulla pagina Dettagli DAG fai clic su Metti in pausa DAG.

    • Nella riga contenente il DAG selezionato, fai clic su Visualizza azioni nella colonna Azioni e poi su Metti in pausa DAG.

Risoluzione dei problemi

Per istruzioni sulla risoluzione dei problemi relativi ai DAG di Airflow, consulta Risolvere i problemi relativi ai DAG di Airflow nella documentazione di Cloud Composer.

Passaggi successivi