Gestire i flussi di lavoro

Questo documento descrive come gestire i workflow, inclusa la pianificazione ed eliminazione.

Questo documento descrive anche come visualizzare e gestire i metadati dei flussi di lavoro in Dataplex.

Workflows sono basati su Dataform.

Prima di iniziare

  1. Crea un flusso di lavoro.
  2. Per gestire i metadati del flusso di lavoro in Dataplex, assicurati che l'API Dataplex sia abilitata nel tuo progetto Google Cloud .

Ruoli obbligatori

Per ottenere le autorizzazioni necessarie per gestire i workflow, chiedi all'amministratore di concederti i seguenti ruoli IAM:

  • Per eliminare i flussi di lavoro: Dataform Admin (roles/dataform.Admin) nel flusso di lavoro
  • Per visualizzare ed eseguire i flussi di lavoro: Dataform Viewer (roles/dataform.Viewer) nel progetto

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per gestire i metadati del flusso di lavoro in Dataplex, assicurati di disporre dei ruoli Dataplex necessari.

Per ulteriori informazioni su Dataform IAM, consulta Controllo dell'accesso con IAM.

Visualizza tutti i flussi di lavoro

Per visualizzare un elenco di tutti i flussi di lavoro nel progetto:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, fai clic su espandi Flussi di lavoro.

Visualizzare le esecuzioni manuali precedenti

Per visualizzare le esecuzioni manuali precedenti di un flusso di lavoro selezionato:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Workflow, quindi seleziona un flusso di lavoro.

  3. Fai clic su Esecuzioni.

  4. (Facoltativo) Per aggiornare l'elenco delle esecuzioni passate, fai clic su Aggiorna.

Configurare gli avvisi per le esecuzioni del flusso di lavoro non riuscite

Ogni flusso di lavoro ha un ID repository Dataform corrispondente. Ogni esecuzione del flusso di lavoro BigQuery viene registrata in Cloud Logging utilizzando l'ID repository Dataform corrispondente. Puoi utilizzare Cloud Monitoring per osservare le tendenze nei log di Cloud Logging per le esecuzioni dei flussi di lavoro BigQuery e per ricevere una notifica quando si verificano le condizioni descritte.

Per ricevere avvisi quando l'esecuzione di un flusso di lavoro BigQuery non va a buon fine, puoi creare un criterio di avviso basato su log per l'ID repository Dataform corrispondente. Per le istruzioni, consulta Configurare gli avvisi per le chiamate di flusso di lavoro non riuscite.

Per trovare l'ID del repository Dataform del tuo flusso di lavoro:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Workflow, quindi seleziona un flusso di lavoro.

  3. Fai clic su Impostazioni.

    L'ID repository Dataform del flusso di lavoro viene visualizzato nella parte inferiore della scheda Impostazioni.

Eliminare un flusso di lavoro

Per eliminare definitivamente un flusso di lavoro:

  1. Nella console Google Cloud , vai alla pagina BigQuery.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Workflow. Trova il flusso di lavoro che vuoi eliminare.

  3. Fai clic su Visualizza azioni accanto al flusso di lavoro e poi su Elimina.

  4. Fai clic su Elimina.

Gestire i metadati in Dataplex

Dataplex ti consente di archiviare e gestire i metadati per i flussi di lavoro. Workflows sono disponibili in Dataplex per impostazione predefinita, senza configurazione aggiuntiva.

Puoi utilizzare Dataplex per gestire i flussi di lavoro in tutte le località dei flussi di lavoro. La gestione dei flussi di lavoro in Dataplex è soggetta alle quote e ai limiti di Dataplex e ai prezzi di Dataplex.

Dataplex recupera automaticamente i seguenti metadati dai flussi di lavoro:

  • Nome dell'asset di dati
  • Asset di dati principale
  • Posizione dell'asset di dati
  • Tipo di asset di dati
  • Progetto Google Cloud corrispondente

Dataplex registra i flussi di lavoro come entries con i seguenti valori di entry:

Gruppo di voci di sistema
Il gruppo di voci del sistema per i flussi di lavoro è @dataform. Per visualizzare i dettagli delle voci del flusso di lavoro in Dataplex, devi visualizzare il gruppo di voci di sistema dataform. Per istruzioni su come visualizzare un elenco di tutte le voci di un gruppo di voci, consulta Visualizzare i dettagli di un gruppo di voci nella documentazione di Dataplex.
Tipo di voce del sistema
Il tipo di voce di sistema per i flussi di lavoro è dataform-code-asset. Per visualizzare i dettagli delle attività di flusso di lavoro, devi visualizzare il tipo di voce di sistema dataform-code-asset, filtrare i risultati con un filtro basato sugli aspetti e impostare il campo type all'interno dell'aspetto dataform-code-asset su WORKFLOW. Quindi, seleziona una voce del flusso di lavoro selezionato. Per istruzioni su come visualizzare i dettagli di un tipo di voce selezionato, consulta Visualizzare i dettagli di un tipo di voce nella documentazione di Dataplex. Per istruzioni su come visualizzare i dettagli di una voce selezionata, consulta Visualizzare i dettagli di una voce nella documentazione di Dataplex.
Tipo di aspetto del sistema
Il tipo di aspetto di sistema per i flussi di lavoro è dataform-code-asset. Per fornire un contesto aggiuntivo ai flussi di lavoro in Dataplex annotando le voci del flusso di lavoro dei dati con gli aspetti, visualizza il tipo di aspetto dataform-code-asset, filtra i risultati con un filtro basato sugli aspetti e imposta il campo type all'interno dell'aspetto dataform-code-asset su WORKFLOW. Per istruzioni su come annotare le voci con gli aspetti, consulta Gestire gli aspetti e arricchire i metadati nella documentazione di Dataplex.
Tipo
Il tipo di canvas di dati è WORKFLOW. Questo tipo ti consente di filtrare i flussi di lavoro nel dataform-code-asset tipo di voce di sistema e nel dataform-code-asset tipo di aspetto utilizzando la query aspect:dataplex-types.global.dataform-code-asset.type=WORKFLOW in un filtro basato sugli aspetti.

Per istruzioni su come cercare gli asset in Dataplex, consulta Cercare asset di dati in Dataplex nella documentazione di Dataplex.

Passaggi successivi