Controllo dell'integrità dell'ambiente Cloud Composer

A causa dell'architettura di microservizi di Cloud Composer, il monitoraggio end-to-end dell'attività della configurazione Airflow prevede l'utilizzo di più metriche. Questo tutorial mostra un approccio all'utilizzo delle metriche basate su log della suite operativa di Google Cloud per configurare il monitoraggio e gli avvisi basati su una metrica personalizzata.

Obiettivi

  • Esegui il deployment di un semplice DAG eseguito a intervalli di pochi minuti nell'ambiente Cloud Composer
  • Sfrutta i log prodotti dalla suite operativa di Google Cloud per Cloud Composer utilizzando le metriche basate su log per creare una metrica personalizzata
  • Configura monitoraggio e avvisi in base alla metrica personalizzata

Costi

In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:

  • Cloud Composer

Per generare una stima dei costi in base all'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud possono essere idonei a una prova senza costi aggiuntivi.

Prima di iniziare

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

  2. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  4. Nella pagina del selettore di progetti della console Google Cloud, seleziona o crea un progetto Google Cloud.

    Vai al selettore progetti

  5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  6. Crea un ambiente Cloud Composer.
  7. Assicurati di avere le autorizzazioni appropriate. Per accedere ai log e alle metriche per l'ambiente Cloud Composer sono necessarie le seguenti autorizzazioni:
    • Logging e monitoraggio di sola lettura: logging.viewer e monitoring.viewer
    • Logging di sola lettura, inclusi i log privati: logging.privateLogViewer
    • Monitoraggio lettura/scrittura: monitoring.editor

    Per saperne di più, vedi Controllo dell'accesso.

Aggiunta del DAG all'ambiente

  1. Carica il seguente DAG nel bucket Cloud Storage per l'ambiente:

    import airflow
from airflow import DAG
from airflow.operators.bash_operator import BashOperator
from datetime import timedelta

default_args = {
    'retries': 1,
    'retry_delay': timedelta(minutes=5),
    'start_date': airflow.utils.dates.days_ago(0)
}

dag = DAG(
    'liveness',
    default_args=default_args,
    description='liveness monitoring dag',
    schedule_interval=timedelta(minutes=1))

t1 = BashOperator(
    task_id='echo', bash_command='echo test', dag=dag, depends_on_past=False)

  2. Attendi che Airflow programmi il DAG. Puoi controllare lo stato nell'interfaccia web di Airflow.

    Interfaccia web di Airflow

Creazione della metrica contatore basata su log nella suite operativa di Google Cloud

  1. Vai a Esplora log.

    Vai a Esplora log

  2. Assicurati che sia selezionato il progetto corretto nella parte superiore della pagina oppure utilizza il menu a discesa nella parte superiore della pagina per selezionare un progetto.

  3. Nel campo della risorsa, seleziona Ambiente Cloud Composer, quindi seleziona la località e il nome dell'ambiente.

  4. Nel campo del tipo di log, seleziona airflow-worker.

  5. Nella barra dei filtri, crea un filtro per mostrare solo i log emessi dal DAG di attività inserendo la seguente etichetta: label:workflow:liveness.

  6. Nella parte superiore della pagina, fai clic su Crea metrica. Sul lato destro della pagina è visualizzato l'Editor metriche, mentre sul lato sinistro viene visualizzato il riquadro del visualizzatore.

    Crea metrica

  7. Nel riquadro Editor metriche, imposta i seguenti campi:

    1. Nome: scegli un nome univoco tra le metriche basate su log nel progetto, ad esempio liveness-logs-cnt.
    2. Descrizione: descrivi la metrica.
    3. Tipo: contatore.

  8. Fai clic su Crea metrica. Viene visualizzata la pagina Metriche basate su log.

Creazione del criterio di avviso

  1. Nella pagina Metriche basate su log, controlla la metrica per cui vuoi creare un criterio e nel menu sul lato destro dell'elenco della metrica, seleziona Crea avviso da metrica. Viene visualizzata la pagina Crea nuovo criterio di avviso.

    Crea avviso

  2. Nella pagina Crea nuovo criterio di avviso, fai clic su Modifica nella sezione Condizioni. Viene visualizzata la finestra Crea METRIC precompilata.

  3. (Facoltativo) Inserisci un nome per la condizione.

  4. Nella sezione Target, per Aggregatore, scegli conteggio.

  5. Nella sezione Configurazione, per Soglia, imposta il valore in base alle esigenze.

    Criterio di avviso

  6. Fai clic su Salva. Viene visualizzato il riquadro Crea nuovo criterio di avviso con la condizione completata.

  7. Compila le sezioni Notifiche, Documentazione e Assegna un nome a questo criterio del criterio di avviso.

  8. Fai clic su Salva.

Esegui la pulizia

Per evitare che al tuo Account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.

  1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi

Per saperne di più sull'utilizzo di una dashboard personalizzata per visualizzare le metriche per il tuo ambiente Cloud Composer, consulta Monitoraggio di ambienti e flussi di lavoro nella suite operativa di Google Cloud.