Crea una dashboard di monitoraggio della pipeline utilizzando Cloud Monitoring

Scopri come utilizzare Cloud Monitoring per creare una dashboard per monitorare le pipeline.

Per seguire le indicazioni dettagliate per questa attività direttamente nella console Google Cloud, fai clic su Aiuto:

Guidami

Prima di iniziare

  1. Accedi al tuo account Google Cloud. Se non conosci Google Cloud, crea un account per valutare le prestazioni dei nostri prodotti in scenari reali. I nuovi clienti ricevono anche 300 $di crediti gratuiti per l'esecuzione, il test e il deployment dei carichi di lavoro.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Assicurati che la fatturazione sia attivata per il tuo progetto Google Cloud.

  6. Abilita le API Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc.

    Abilita le API

  7. Per creare dashboard personalizzate, devi disporre del ruolo IAM Editor Monitoring (roles/monitoring.editor) per l'account di servizio.

    Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestione dell'accesso.

Crea un'istanza di Cloud Data Fusion con Cloud Logging abilitato

Per utilizzare Cloud Logging con la tua pipeline Cloud Data Fusion, crea un'istanza Cloud Data Fusion con Cloud Logging abilitato:

  1. Vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea istanza.

    Crea un'istanza

  2. Nel campo Nome istanza, inserisci un nome per la nuova istanza.

  3. Dal menu a discesa Regione, seleziona la regione Google Cloud in cui vuoi creare l'istanza.

  4. Dal menu a discesa Versione, seleziona una versione di Cloud Data Fusion.

  5. Seleziona un'edizione.

  6. Espandi Opzioni avanzate.

  7. Nella sezione Logging e monitoraggio, seleziona Abilita il servizio di logging di Stackdriver.

  8. Fai clic su Crea.

Dopo aver creato un'istanza, non puoi abilitare Cloud Logging nella console Google Cloud.

Crea una metrica basata su log

  1. Vai alla pagina Metriche basate su log di Cloud Logging:

    Vai a Metriche basate su log

  2. Fai clic su Crea metrica.

  3. Nella pagina Crea una metrica:

    1. In Tipo di metrica, seleziona Contatore.
    2. Nel campo Nome metrica basata su log, inserisci pipeline_logs.
    3. Nel campo Unità, inserisci 1.

    4. Nel campo Crea filtro, inserisci quanto segue:

      resource.type="cloud_dataproc_cluster"
log_name=~"projects/.*/logs/datafusion-pipeline-logs"

    5. Nella sezione Etichette, fai clic su Aggiungi etichetta e crea le seguenti etichette. Dopo aver inserito ogni etichetta, fai clic su Fine, poi fai di nuovo clic su Aggiungi etichetta per creare l'etichetta successiva.

      Nome dell'etichetta Tipo di etichetta Nome campo
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName

    6. Fai clic su Crea metrica.

      La metrica appena creata viene visualizzata nella tabella delle metriche definite dall'utente. Se la metrica non è immediatamente visibile, aggiorna la pagina.

      La dashboard contiene i seguenti grafici:

      • Tutte le pipeline
      • Pipeline completate
      • Pipeline non riuscite
      • Tutte le esecuzioni della pipeline
      • Esecuzioni pipeline completate
      • Esecuzioni pipeline non riuscite
      • Cluster Dataproc per le esecuzioni

      Dopo aver creato una metrica, potrebbero essere necessarie fino a 24 ore prima che i dati delle serie temporali inizino a essere visualizzati.

Installa la dashboard

  1. Scarica il file JSON sulla tua macchina locale.

  2. Vai alla pagina Dashboard di Cloud Monitoring:

    Vai alle dashboard di Monitoring

  3. Fai clic su Crea dashboard.

  4. Fai clic su Impostazioni dashboard > JSON > editor JSON.

  5. In un editor di testo, apri il file JSON che hai scaricato.

  6. Copia i contenuti del file JSON scaricato e incollali nell'editor JSON, sostituendo i contenuti inclusi per impostazione predefinita nell'editor JSON.

  7. Fai clic su Applica modifiche.

    La dashboard viene aggiornata. Le pipeline di Cloud Data Fusion eseguite dopo la creazione della metrica vengono visualizzate nella dashboard. Se non sono state eseguite pipeline dopo la creazione della metrica, la dashboard sarà vuota.

  8. Il salvataggio automatico è attivo per impostazione predefinita. Se il salvataggio automatico è disattivato, fai clic su Salva per salvare la dashboard.

  9. Fai clic su Chiudi editor.

    La nuova dashboard viene visualizzata nell'elenco delle dashboard nella pagina Panoramica di Monitoring.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi:

Elimina l'istanza di Cloud Data Fusion

Segui queste istruzioni per eliminare l'istanza di Cloud Data Fusion.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.

Per eliminare il progetto:

  1. Nella console Google Cloud, vai alla pagina Gestisci risorse.

    Vai a Gestisci risorse

  2. Nell'elenco dei progetti, seleziona il progetto che vuoi eliminare, quindi fai clic su Elimina.
  3. Nella finestra di dialogo, digita l'ID del progetto e fai clic su Chiudi per eliminare il progetto.

Passaggi successivi