Creare una dashboard di monitoraggio della pipeline utilizzando Cloud Monitoring

Scopri come utilizzare Cloud Monitoring per creare una dashboard per monitorare le pipeline.

Per seguire le indicazioni dettagliate per questa attività direttamente nella console Google Cloud, fai clic su Procedura guidata:

Procedura guidata

Prima di iniziare

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

  2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  3. Make sure that billing is enabled for your Google Cloud project.

  4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

    Go to project selector

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.

    Enable the APIs

  7. Per creare dashboard personalizzate, devi disporre della Editor di Monitoring (roles/monitoring.editor) Ruolo IAM nell'account di servizio.

    Per ulteriori informazioni sulla concessione dei ruoli, consulta Gestire l'accesso.

Creare un'istanza di Cloud Data Fusion con Cloud Logging abilitato

Per utilizzare Cloud Logging con la pipeline Cloud Data Fusion, crea un'istanza di Cloud Data Fusion con Cloud Logging abilitato:

  1. Vai alla pagina Istanze di Cloud Data Fusion e fai clic su Crea istanza.

    Crea un'istanza

  2. Nel campo Nome istanza, inserisci un nome per la nuova istanza.

  3. Dal menu a discesa Regione, seleziona la regione Google Cloud in cui vuoi creare l'istanza.

  4. Dal menu a discesa Versione, seleziona una versione di Cloud Data Fusion.

  5. Seleziona un'Edizione.

  6. Espandi Opzioni avanzate.

  7. Nella sezione Logging e monitoraggio, seleziona Attiva servizio Stackdriver Logging.

  8. Fai clic su Crea.

Dopo aver creato un'istanza, non puoi attivare Cloud Logging nella console Google Cloud.

Creare una metrica basata su log

  1. Vai alla pagina Metriche basate su log di Cloud Logging:

    Vai a Metriche basate su log

  2. Fai clic su Crea metrica.

  3. Nella pagina Crea una metrica:

    1. In Tipo di metrica, seleziona Contatore.
    2. Nel campo Nome metrica basata su log, inserisci pipeline_logs.
    3. Nel campo Unità, inserisci 1.

    4. Nel campo Crea filtro, inserisci quanto segue:

      resource.type="cloud_dataproc_cluster"
log_name=~"projects/.*/logs/datafusion-pipeline-logs"

    5. Nella sezione Etichette, fai clic su Aggiungi etichetta e crea quanto segue etichette. Dopo aver inserito ciascuna etichetta, fai clic su Fine e poi Aggiungi etichetta di nuovo per creare l'etichetta successiva.

      Nome etichetta Tipo di etichetta Nome campo
      Project STRING resource.labels.project_id
      Message STRING jsonPayload.message
      LoggerName STRING labels.loggerName
      ClusterName STRING resource.labels.cluster_name
      SparkPhase STRING labels.".workflowSparkId"
      Region STRING resource.labels.region
      Pipeline STRING labels.".applicationId"
      RunId STRING labels.".runId"
      Namespace STRING labels.".namespaceId"
      LogLevel STRING labels.levelName

    6. Fai clic su Crea metrica.

      La metrica appena creata viene visualizzata nella tabella delle metriche definite dall'utente. Se la metrica non è immediatamente visibile, aggiorna la pagina.

      La dashboard contiene i seguenti grafici:

      • Tutte le pipeline
      • Pipeline completate
      • Pipeline non riuscite
      • Tutte le esecuzioni pipeline
      • Esecuzioni pipeline completate
      • Esecuzioni pipeline non riuscite
      • Cluster Dataproc per le esecuzioni

      Dopo aver creato una metrica, l'avvio potrebbe richiedere fino a 24 ore che mostrano i dati delle serie temporali.

Installare la dashboard

  1. Scarica il file JSON nella macchina locale.

  2. Vai alla pagina Dashboard di Cloud Monitoring:

    Vai alle dashboard di monitoraggio

  3. Fai clic su Crea dashboard.

  4. Fai clic su Impostazioni dashboard > JSON > Editor JSON.

  5. In un editor di testo, apri il file JSON che hai scaricato.

  6. Copia i contenuti del file JSON scaricato e incollali nell'editor JSON, sostituendo i contenuti inclusi per impostazione predefinita nell'editor JSON.

  7. Fai clic su Applica modifiche.

    La dashboard viene aggiornata. Le pipeline di Cloud Data Fusion eseguite dopo la creazione della metrica vengono visualizzate nella dashboard. Se non sono state eseguite pipeline dopo la creazione della metrica, la dashboard sarà vuota.

  8. Il salvataggio automatico è abilitato per impostazione predefinita. Se il salvataggio automatico è disattivato, fai clic su Salva. per salvare la dashboard.

  9. Fai clic su Chiudi editor.

    La nuova dashboard viene visualizzata nell'elenco delle dashboard nella pagina Panoramica del monitoraggio.

Esegui la pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questa pagina, segui questi passaggi.

Elimina l'istanza Cloud Data Fusion

Segui queste istruzioni per eliminare l'istanza Cloud Data Fusion.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione creato per il tutorial.

Per eliminare il progetto:

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

Passaggi successivi