Puoi utilizzare Cloud Monitoring per osservare le tendenze nei log di Cloud Logging per le chiamate dei flussi di lavoro Dataform e per informarti quando si verificano le condizioni descritte.
Ogni chiamata del flusso di lavoro Dataform viene registrata utilizzando Cloud Logging. Logging è abilitato automaticamente per le chiamate del flusso di lavoro Dataform, che può comportare addebiti di Cloud Logging. Per ulteriori informazioni, consulta i prezzi di Dataform.
Per ricevere avvisi quando una chiamata del flusso di lavoro Dataform non va a buon fine, puoi creare avvisi basati su log.
Puoi creare avvisi basati su log dalla pagina Esplora log nella console Google Cloud o utilizzando l'API Monitoring. Questa guida descrive come creare avvisi basati su log per errori di chiamata del flusso di lavoro Dataform utilizzando Esplora log.
Prima di iniziare
Per creare e gestire avvisi basati su log, assicurati che il tuo ruolo Identity and Access Management includa le autorizzazioni descritte in Autorizzazioni per gli avvisi basati su log.
Configura avvisi basati su log per le chiamate al flusso di lavoro Dataform non riuscite
Per configurare avvisi basati su log per le chiamate del flusso di lavoro Dataform non riuscite, segui questi passaggi:
Nella console Google Cloud, seleziona Logging e poi Esplora log:
Nel riquadro Query, seleziona Mostra query e inserisci la seguente query:
resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED"
Questa query ti avvisa di tutte le chiamate al flusso di lavoro Dataform non riuscite.
(Facoltativo) Per filtrare le chiamate al flusso di lavoro non riuscite in base a una configurazione di release, aggiungi quanto segue alla query:
jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"
(Facoltativo) Per filtrare le chiamate al flusso di lavoro non riuscite da parte di una configurazione del flusso di lavoro, aggiungi quanto segue alla query:
jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"
I seguenti avvisi di query vengono avvisati quando una chiamata del flusso di lavoro Dataform relativa alla configurazione della release
daily
e alla configurazione del flusso di lavoroproduction
ha esito negativo:resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED" jsonPayload.releaseConfigId="daily" jsonPayload.workflowConfigId="production"
(Facoltativo) Utilizza Esegui query nel riquadro Risultati query per convalidare la query.
Nell'intestazione del riquadro Risultati query, fai clic su Crea avviso. Quando la finestra è stretta, nel menu Azioni potrebbe essere visualizzata l'opzione Crea avviso.
Nel riquadro Dettagli avviso, assegna all'avviso un nome e una descrizione:
Inserisci un nome per l'avviso nel campo Nome avviso. Ad esempio: "Dataform: errore del flusso di lavoro".
Inserisci una descrizione per l'avviso. Puoi anche includere informazioni che potrebbero aiutare il destinatario di una notifica a diagnosticare il problema. La stringa seguente riassume il motivo dell'avviso:
Log-based alert in project ${project} detected a failed Dataform workflow.
Per informazioni su come formattare e personalizzare i contenuti di questo campo, consulta Utilizzare Markdown e le variabili nei modelli di documentazione.
Per andare al passaggio successivo, fai clic su Avanti.
Nel riquadro Scegli i log da includere nel avviso, controlla la query e i risultati facendo clic su Anteprima log.
Ti consigliamo di creare la query nel riquadro Query di Esplora log. In questo riquadro viene visualizzata anche la query creata nel riquadro Query.
Se necessario, puoi modificare la query in questo riquadro. Se modifichi la query, controlla i risultati facendo clic su Visualizza l'anteprima dei log.
Tocca Avanti.
Seleziona il tempo minimo tra le notifiche. Questo valore consente di controllare il numero di notifiche che ricevi da questo avviso se viene attivato più volte. Per questo esempio, seleziona 5 min tra le opzioni.
(Facoltativo) Seleziona la durata della chiusura automatica dell'incidente. Per impostazione predefinita, la durata della chiusura automatica degli incidenti è impostata su 7 giorni.
Tocca Avanti.
Seleziona uno o più canali di notifica per il tuo avviso. In questo esempio, seleziona un canale di notifica via email.
Se hai già configurato un canale di notifica via email, puoi selezionarlo dall'elenco. In caso contrario, fai clic su Gestisci canali di notifica e aggiungi un canale email. Per informazioni sulla creazione di canali di notifica, vedi Gestione dei canali di notifica.
Fai clic su Salva.
L'avviso basato su log è ora pronto per il test. Per istruzioni su come testare l'avviso, vedi Test dell'avviso basato su log di esempio.
Passaggi successivi
- Scopri di più sulla configurazione di avvisi basati su log con Cloud Logging.
- Scopri di più sui log di Cloud Logging per Dataform.
- Scopri di più sulle metriche basate su log e sugli avvisi basati su log di Cloud Monitoring.
- Leggi una panoramica di Cloud Audit Logs e Cloud Monitoring.