Puoi utilizzare Cloud Monitoring per osservare le tendenze nei log di Cloud Logging per le chiamate dei flussi di lavoro Dataform e per ricevere una notifica quando si verificano le condizioni descritte.
Ogni chiamata al flusso di lavoro Dataform viene registrata utilizzando Cloud Logging. Logging è abilitato automaticamente per le chiamate del flusso di lavoro Dataform, che possono comportare addebiti per la fatturazione di Cloud Logging. Per ulteriori informazioni, vedi Prezzi di Dataform.
Per ricevere avvisi quando un richiamo del flusso di lavoro Dataform non va a buon fine, puoi creare avvisi basati su log.
Puoi creare avvisi basati su log dalla pagina Esplora log nella console Google Cloud o utilizzando l'API Monitoring. Questa guida descrive come creare avvisi basati su log per i problemi di chiamata del flusso di lavoro Dataform utilizzando Esplora log.
Prima di iniziare
Per creare e gestire gli avvisi basati su log, assicurati che il ruolo Identity and Access Management includa le autorizzazioni descritte in Autorizzazioni per gli avvisi basati su log.
Configurare avvisi basati su log per le chiamate del flusso di lavoro Dataform non riuscite
Per configurare avvisi basati su log per le chiamate del flusso di lavoro Dataform non riuscite, segui questi passaggi:
Nella console Google Cloud, seleziona Logging, quindi Esplora log:
Nel riquadro Query, seleziona Mostra query e inserisci la seguente query:
resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED"
Questa query ti avvisa di tutte le chiamate al flusso di lavoro Dataform non riuscite.
(Facoltativo) Per filtrare le chiamate del flusso di lavoro non riuscite in base a una configurazione di release, aggiungi quanto segue alla query:
jsonPayload.releaseConfigId="RELEASE_CONFIGURATION_ID"
(Facoltativo) Per filtrare le chiamate non riuscite del flusso di lavoro in base a una configurazione del flusso di lavoro, aggiungi alla query quanto segue:
jsonPayload.workflowConfigId="WORKFLOW_CONFIGURATION_ID"
La seguente query avvisa quando un richiamo del flusso di lavoro Dataform è correlato sia alla configurazione della release
daily
sia alla configurazione del flusso di lavoroproduction
:resource.type="dataform.googleapis.com/Repository" jsonPayload.@type="type.googleapis.com/google.cloud.dataform.logging.v1.WorkflowInvocationCompletionLogEntry" jsonPayload.terminalState="FAILED" jsonPayload.releaseConfigId="daily" jsonPayload.workflowConfigId="production"
(Facoltativo) Utilizza Esegui query nel riquadro Risultati delle query per convalidare la query.
Nell'intestazione del riquadro Risultati delle query, fai clic su Crea avviso. Quando la finestra è stretta, l'opzione Crea avviso potrebbe essere visualizzata nel menu Azioni.
Nel riquadro Dettagli avviso, assegna un nome e una descrizione all'avviso:
Inserisci un nome per l'avviso nel campo Nome avviso. Ad esempio: "Dataform: flusso di lavoro non riuscito".
Inserisci una descrizione di questo avviso. Puoi anche includere informazioni che potrebbero aiutare il destinatario di una notifica a diagnosticare il problema. La seguente stringa riassume il motivo dell'avviso:
Log-based alert in project ${project} detected a failed Dataform workflow.
Per informazioni su come formattare e personalizzare i contenuti di questo campo, consulta la pagina Utilizzare Markdown e le variabili nei modelli di documentazione.
Per andare al passaggio successivo, fai clic su Avanti.
Nel riquadro Scegli i log da includere nel avviso, controlla la query e i risultati facendo clic su Anteprima log.
Ti consigliamo di creare la query nel riquadro Query di Esplora log. La query creata nel riquadro Query viene visualizzata anche in questo riquadro.
Se necessario, puoi modificare la query in questo riquadro. Se modifichi la query, controlla i risultati facendo clic su Visualizza l'anteprima dei log.
Tocca Next (Avanti).
Seleziona il tempo minimo tra le notifiche. Questo valore ti consente di controllare il numero di notifiche che ricevi da questo avviso se vengono attivate più volte. Per questo esempio, seleziona 5 min dalle opzioni.
(Facoltativo) Seleziona la durata della chiusura automatica degli incidenti. Per impostazione predefinita, la durata della chiusura automatica degli incidenti è impostata su 7 giorni.
Tocca Next (Avanti).
Seleziona uno o più canali di notifica per il tuo avviso. In questo esempio, seleziona un canale di notifica via email.
Se hai già configurato un canale di notifica via email, puoi selezionarlo dall'elenco. In caso contrario, fai clic su Gestisci canali di notifica e aggiungi un canale email. Per informazioni sulla creazione dei canali di notifica, consulta la sezione Gestire i canali di notifica.
Fai clic su Salva.
L'avviso basato su log è ora pronto per il test. Per istruzioni su come testare l'avviso, vedi Eseguire un test dell'avviso basato su log di esempio.
Passaggi successivi
- Scopri di più sulla configurazione degli avvisi basati su log con Cloud Logging.
- Scopri di più sui log di Cloud Logging per Dataform.
- Scopri di più sulle metriche basate su log e sugli avvisi basati su log di Cloud Monitoring.
- Leggi una panoramica di Cloud Audit Logs e Cloud Monitoring.