Monitorare le esecuzioni

Questo documento mostra come:

Prima di iniziare

Per monitorare i log di esecuzione, assicurati di svolgere le seguenti operazioni:

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  2. Seleziona o crea un repository.

  3. Seleziona o crea un workspace di sviluppo.

  4. Attiva un'esecuzione almeno una volta.

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per visualizzare i log di esecuzione, chiedi all'amministratore di concederti il ruolo IAM Editor Dataform (roles/dataform.editor) nel repository workflowInvocations. Per saperne di più sulla concessione dei ruoli, consulta Gestisci l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Il ruolo IAM Logs Viewer (roles/logging.viewer) ti consente di accedere in sola lettura a tutte le funzionalità di Cloud Logging. Per ulteriori informazioni sui ruoli e sulle autorizzazioni di Identity and Access Management che si applicano ai dati di Logging, consulta Controllo dell'accesso con IAM.

Per creare e gestire avvisi basati su log, assicurati che il tuo ruolo IAM includa le autorizzazioni descritte in Ruoli richiesti per creare e utilizzare policy di avviso basate su log.

Monitora i log di esecuzione

Questa sezione mostra come visualizzare i log di esecuzione in Dataform.

Puoi visualizzare i log di tutte le esecuzioni attivate in un repository e i log delle esecuzioni attivate in un workspace nelle ultime 24 ore.

Controllare i log di esecuzione del repository

Per visualizzare i log di tutte le esecuzioni attivate in un repository:

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  2. Vai al tuo repository.

  3. Fai clic su Log di esecuzione del flusso di lavoro.

  4. Per visualizzare i dettagli di un'esecuzione, fai clic sull'esecuzione.

  5. Per visualizzare i dettagli di un'azione all'interno dell'esecuzione, fai clic su Visualizza dettagli.

Controllare i log di esecuzione dello spazio di lavoro

Per visualizzare i log delle 1000 esecuzioni più recenti attivate in un workspace nelle ultime 24 ore, segui questi passaggi:

  1. Nella console Google Cloud , vai alla pagina Dataform.

    Vai a Dataform

  2. Vai al repository e seleziona il tuo workspace.

  3. Nell'area di lavoro, fai clic su Esecuzioni.

  4. Per visualizzare i dettagli di un'esecuzione, fai clic sull'esecuzione.

  5. Per visualizzare i dettagli di un'azione all'interno dell'esecuzione, fai clic su Visualizza dettagli.

Visualizza i log di Logging per Dataform

Questa sezione mostra come visualizzare i log di Cloud Logging per le invocazioni del flusso di lavoro Dataform.

Ogni chiamata del flusso di lavoro Dataform viene registrata utilizzando Logging. La registrazione viene attivata automaticamente per le invocazioni del flusso di lavoro Dataform, che possono comportare addebiti per la fatturazione di Logging. Per ulteriori informazioni, consulta la sezione Prezzi di Dataform.

Visualizza i log

Per informazioni sul filtraggio dei log di Logging in Esplora log, vedi Visualizza i log utilizzando Esplora log.

I log di Dataform sono indicizzati in base al repository Dataform.

Formato log

Dataform invia messaggi di log di invocazione del workflow nel seguente formato:

{
  "insertId": "14ip1tza5",
  "jsonPayload": {
    "terminalState": "SUCCEEDED",
    "workflowInvocationId": "1678383230-ac4ed48c-eb70-4555-b2b0-cda54d13edfa",
    "@type": "type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
  },
  "resource": {
    "type": "dataform.googleapis.com/Repository",
    "labels": {
      "repository_id": "repository-name-example",
      "resource_container": "PROJECT_ID",
      "location": "us-central1"
    }
  },
  "timestamp": "2023-03-09T17:34:06.965981805Z",
  "severity": "INFO",
  "logName": "projects/project-name-example/logs/dataform.googleapis.com%2Fworkflow_invocation_completion",
  "receiveTimestamp": "2023-03-09T17:34:07.362371980Z"
}

Che cosa viene registrato

Le voci di log di Dataform contengono informazioni utili per monitorare ed eseguire il debug delle invocazioni del flusso di lavoro.

Le voci di log contengono i seguenti tipi di informazioni:

  • receiveTimestamp
  • release_config_id
  • repository_id
  • resource_container
  • workflow_invocation_id
  • workflow_config_id
  • severity: può essere INFO, WARNING o ERROR
  • terminalState: può essere SUCCEEDED, CANCELED o FAILED
  • timestamp
  • @type

Configurare metriche e avvisi con Cloud Monitoring

Puoi utilizzare Monitoring per osservare le tendenze nei log e ricevere notifiche quando si verificano le condizioni che descrivi.

Per fornire a Monitoring i dati dei log, Logging offre quanto segue:

  • Metriche basate su log, che puoi utilizzare nel seguente modo:
    • Creare criteri di avviso che ti informino delle modifiche nel tempo.
    • Per creare grafici che mostrano le variazioni nel tempo.
  • Avvisi basati sui log, che ti inviano una notifica ogni volta che un evento specifico viene visualizzato in un log.

Per saperne di più sulle metriche basate su log e sugli avvisi basati su log, consulta Monitorare i log.

Per scoprire come configurare gli avvisi basati su log per le chiamate del flusso di lavoro Dataform, consulta Configurare gli avvisi per le chiamate del flusso di lavoro non riuscite.

Configura gli avvisi per le chiamate del workflow non riuscite

Questa sezione mostra come configurare gli avvisi basati sui log per le invocazioni del flusso di lavoro Dataform non riuscite utilizzando Esplora log.

Puoi utilizzare Monitoring per osservare le tendenze nei log di Logging per le chiamate del workflow Dataform e per ricevere una notifica quando si verificano le condizioni che descrivi.

Ogni chiamata del flusso di lavoro Dataform viene registrata utilizzando Logging. La registrazione è abilitata automaticamente per le chiamate del flusso di lavoro Dataform, che possono comportare addebiti per la fatturazione di Logging. Per ulteriori informazioni, consulta la sezione Prezzi di Dataform.

Per ricevere avvisi quando l'invocazione di un workflow Dataform non va a buon fine, puoi creare avvisi basati sui log.

Puoi creare avvisi basati su log dalla pagina Esplora log nella console Google Cloud o utilizzando l'API Monitoring. Questa sezione descrive come creare avvisi basati sui log per l'errore di chiamata del flusso di lavoro Dataform utilizzando Esplora log.

Per configurare avvisi basati sui log per le chiamate del flusso di lavoro Dataform non riuscite:

  1. Nella console Google Cloud , seleziona Logging, quindi seleziona Esplora log.

    Vai a Esplora log

  2. Nel riquadro Query, seleziona Mostra query e inserisci la seguente query:

        resource.type="dataform.googleapis.com/Repository"
    jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
    jsonPayload.terminalState="FAILED"

    Questa query ti avvisa di tutte le chiamate del workflow Dataform non riuscite.

    1. (Facoltativo) Per filtrare le chiamate del workflow non riuscite in base a una configurazione della release, aggiungi quanto segue alla query:

          jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"

      Sostituisci RELEASE_CONFIGURATION_ID con l'ID della configurazione di rilascio.

    2. (Facoltativo) Per filtrare le chiamate del workflow non riuscite in base a una configurazione del workflow, aggiungi quanto segue alla query:

          jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"

      Sostituisci WORKFLOW_CONFIGURATION_ID con l'ID della configurazione del flusso di lavoro.

    La seguente query ti avvisa quando un'invocazione del flusso di lavoro Dataform correlata sia alla configurazione della release daily sia alla configurazione del flusso di lavoro production non va a buon fine:

     resource.type="dataform.googleapis.com/Repository"
 jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry"
 jsonPayload.terminalState="FAILED"
 jsonPayload.releaseConfigId="daily"
 jsonPayload.workflowConfigId="production"

  3. (Facoltativo) Per convalidare la query, utilizza Esegui query nel riquadro Risultati delle query.

  4. Nell'intestazione del riquadro Risultati delle query, fai clic su Crea avviso. Quando la finestra è ridotta, l'opzione Crea avviso potrebbe essere visualizzata nel menu Azioni.

  5. Nel riquadro Dettagli avviso, assegna un nome e una descrizione all'avviso:

    1. Inserisci un nome per l'avviso nel campo Nome avviso. Ad esempio: Dataform: workflow failure.

    2. Inserisci una descrizione di questo avviso. Puoi anche includere informazioni che potrebbero aiutare il destinatario di una notifica a diagnosticare il problema. La seguente stringa riassume il motivo dell'avviso:

      Log-based alert in project ${project} detected a failed Dataform workflow.

      Per informazioni su come formattare e personalizzare i contenuti di questo campo, consulta Annotare le notifiche con la documentazione definita dall'utente.

  6. Per passare al passaggio successivo, fai clic su Avanti.

  7. Nel riquadro Scegli i log da includere nell'avviso, controlla la query e i risultati facendo clic su Anteprima dei log.

    Ti consigliamo di creare la query nel riquadro Query di Esplora log. In questo riquadro viene visualizzata anche la query che hai creato nel riquadro Query.

    Se necessario, puoi modificare la query in questo riquadro. Se modifichi la query, controlla i risultati facendo clic su Anteprima dei log.

  8. Fai clic su Avanti.

  9. Seleziona il tempo minimo tra le notifiche. Questo valore ti consente di controllare il numero di notifiche che ricevi da questo avviso se viene attivato più volte. Per questo esempio, seleziona 5 min dalle opzioni.

  10. (Facoltativo) Seleziona la durata chiusura automatica incidenti. Per impostazione predefinita, la durata di chiusura automatica dell'incidente è impostata su 7 giorni.

  11. Fai clic su Avanti.

  12. Seleziona uno o più canali di notifica per il tuo avviso. In questo esempio, seleziona un canale di notifica via email.

    Se hai già configurato un canale di notifica via email, puoi selezionarlo dall'elenco. In caso contrario, fai clic su Gestisci canali di notifica e aggiungi un canale email. Per informazioni sulla creazione di canali di notifica, consulta Crea e gestisci i canali di notifica.

  13. Fai clic su Salva.

L'avviso basato sui log è ora pronto per essere testato. Per istruzioni su come testare l'avviso, vedi Testa la policy di avviso basata sui log di esempio.

Passaggi successivi