Pianificare i DAG di Airflow

Questo documento descrive come pianificare i grafi aciclici diretti (DAG) di Airflow da Cloud Composer 3 nella pagina Pianificazione di BigQuery, inclusi come attivare manualmente i DAG e come visualizzare la cronologia e i log delle esecuzioni precedenti dei DAG.

Informazioni sulla gestione dei DAG Airflow in BigQuery

La pagina Pianificazione in BigQuery fornisce strumenti per pianificare i DAG Airflow eseguiti negli ambienti Cloud Composer 3.

I DAG di Airflow che pianifichi in BigQuery vengono eseguiti in uno o più ambienti Cloud Composer nel tuo progetto. La pagina Pianificazione in BigQuery combina le informazioni di tutti i DAG Airflow nel tuo progetto.

Durante l'esecuzione di un DAG, Airflow pianifica ed esegue le singole attività che compongono un DAG in una sequenza definita dal DAG. Nella pagina Pianificazione di BigQuery, puoi visualizzare gli stati delle esecuzioni di DAG passate, esplorare i log dettagliati di tutte le esecuzioni di DAG e di tutte le attività di queste esecuzioni di DAG e visualizzare i dettagli sui DAG.

Per saperne di più sui concetti di base di Airflow, come DAG, esecuzioni di DAG, attività o operatori, consulta la pagina Concetti di base nella documentazione di Airflow.

Per saperne di più sugli ambienti Cloud Composer, consulta la pagina Panoramica di Cloud Composer 3 nella documentazione di Cloud Composer.

Prima di iniziare

  1. Enable the Cloud Composer API.

    Roles required to enable APIs

    To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

    Enable the API

  2. Assicurati che il tuo Google Cloud progetto abbia almeno un ambiente Cloud Composer 3 con almeno un file DAG già caricato:

Autorizzazioni obbligatorie

Per ottenere le autorizzazioni necessarie per pianificare i DAG di Airflow, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Questi ruoli predefiniti contengono le autorizzazioni necessarie per pianificare i DAG di Airflow. Per vedere quali sono esattamente le autorizzazioni richieste, espandi la sezione Autorizzazioni obbligatorie:

Autorizzazioni obbligatorie

Per pianificare i DAG di Airflow sono necessarie le seguenti autorizzazioni:

  • Per visualizzare i DAG Airflow e i relativi dettagli: composers.dags.list, composer.environments.list
  • Per attivare e mettere in pausa i DAG Airflow: composers.dags.list, composer.environments.list, composer.dags.execute

Potresti anche ottenere queste autorizzazioni con ruoli personalizzati o altri ruoli predefiniti.

Per saperne di più su Cloud Composer 3 IAM, consulta Controllo dell'accesso con IAM nella documentazione di Cloud Composer.

Attivare manualmente un DAG Airflow

Quando attivi manualmente un DAG Airflow, Airflow esegue il DAG una sola volta, indipendentemente dalla pianificazione specificata per il DAG.

Per attivare manualmente un DAG Airflow selezionato:

  1. Nella console Google Cloud , vai alla pagina Scheduling.

    Vai alla pagina Pianificazione

  2. Esegui una delle operazioni seguenti:

    • Fai clic sul nome del DAG selezionato, quindi nella pagina Dettagli DAG, fai clic su Attiva DAG.

    • Nella riga contenente il DAG selezionato, fai clic su Visualizza azioni nella colonna Azioni, quindi fai clic su Attiva DAG.

Visualizzare i log e i dettagli dell'esecuzione di DAG di Airflow

Per visualizzare i dettagli di un DAG Airflow selezionato:

  1. Nella console Google Cloud , vai alla pagina Scheduling.

    Vai alla pagina Pianificazione

  2. Fai clic sul nome del DAG selezionato.

  3. Nella pagina Dettagli DAG, seleziona la scheda Dettagli.

  4. Per visualizzare le esecuzioni DAG precedenti, seleziona la scheda Esecuzioni.

    1. (Facoltativo) La scheda Esecuzioni mostra le esecuzioni dei DAG degli ultimi 10 giorni per impostazione predefinita. Per filtrare le esecuzioni DAG in base a un intervallo di tempo diverso, nel menu a discesa 10 giorni, seleziona un intervallo di tempo e poi fai clic su Ok.

    2. (Facoltativo) Per visualizzare colonne aggiuntive con i dettagli di esecuzione del DAG nell'elenco di tutte le esecuzioni del DAG, fai clic su Opzioni di visualizzazione delle colonne, seleziona le colonne e fai clic su Ok.

    3. Per visualizzare i dettagli e i log di un'esecuzione DAG selezionata, seleziona un'esecuzione DAG.

  5. Per visualizzare una visualizzazione del DAG con le dipendenze delle attività, seleziona la scheda Diagramma.

    1. Per visualizzare i dettagli di un'attività, selezionala nel diagramma.

  6. Per visualizzare il codice sorgente del DAG, seleziona la scheda Codice.

  7. (Facoltativo) Per aggiornare i dati visualizzati, fai clic su Aggiorna.

Visualizza tutti i DAG di Airflow

Per visualizzare i DAG Airflow di tutti gli ambienti Cloud Composer 3 nel tuo progettoGoogle Cloud , segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Scheduling.

    Vai alla pagina Pianificazione

  2. (Facoltativo) Per visualizzare colonne aggiuntive con i dettagli del DAG, fai clic su Opzioni di visualizzazione delle colonne, poi seleziona le colonne e fai clic su Ok.

Mettere in pausa un DAG Airflow

Per mettere in pausa un DAG Airflow selezionato:

  1. Nella console Google Cloud , vai alla pagina Scheduling.

    Vai alla pagina Pianificazione

  2. Esegui una delle operazioni seguenti:

    • Fai clic sul nome del DAG selezionato, quindi nella pagina Dettagli DAG, fai clic su Metti in pausa DAG.

    • Nella riga contenente il DAG selezionato, fai clic su Visualizza azioni nella colonna Azioni e poi fai clic su Metti in pausa DAG.

Risoluzione dei problemi

Per istruzioni sulla risoluzione dei problemi relativi ai DAG Airflow, consulta Risoluzione dei problemi relativi ai DAG Airflow nella documentazione di Cloud Composer.

Passaggi successivi