Gestire la preparazione dei dati

Questo documento descrive come gestire la preparazione dei dati in BigQuery, inclusa la concessione dei ruoli IAM (Identity and Access Management) necessari e la gestione dei metadati in Dataplex.

Le preparazioni dei dati sono risorse di BigQuery basate su Dataform.

Prima di iniziare

  1. Assicurati di aver attivato l'API Gemini for Google Cloud.
  2. Per gestire i metadati di preparazione dei dati in Dataplex, assicurati che l'API Dataplex sia abilitata nel tuo progetto Google Cloud.

Ruoli obbligatori

Per assicurarti che l'account di servizio Dataform disponga delle autorizzazioni necessarie per preparare i dati in BigQuery, consulta i ruoli richiesti per gli account di servizio Dataform.

Per ottenere le autorizzazioni necessarie per preparare i dati in BigQuery, chiedi all'amministratore di concederti i seguenti ruoli IAM nel progetto:

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per gestire i metadati di preparazione dei dati in Dataplex, assicurati di disporre dei ruoli Dataplex e dell'autorizzazione dataform.repositories.get richiesti.

Visualizzare le preparazioni dei dati esistenti

Per visualizzare un elenco delle preparazioni dei dati esistenti:

  1. Nella pagina BigQuery Studio, vai al riquadro Explorer.
  2. Espandi il progetto.
  3. Espandi l'elenco Preparazioni dei dati.

Ottimizza la preparazione dei dati elaborandoli in modo incrementale

Per configurare il modo in cui i dati preparati vengono scritti in una tabella di destinazione, segui questi passaggi.

  1. Nella console Google Cloud, vai alla pagina BigQuery Studio.

    Vai a BigQuery

  2. Nel riquadro Attività, seleziona la preparazione dei dati.

  3. Nella barra degli strumenti della preparazione dei dati, seleziona Altro > Modalità scrittura.

  4. Seleziona una delle opzioni. Per ulteriori informazioni, vedi Modalità di scrittura.

  5. Fai clic su Salva.

Contribuisci a migliorare i suggerimenti

Puoi contribuire a migliorare i suggerimenti di Gemini condividendo con Google i dati dei prompt che invii alle funzionalità in Anteprima. Per condividere i dati dei prompt, segui questi passaggi:

  1. Apri l'editor di preparazione dei dati in BigQuery.
  2. Nella barra degli strumenti di preparazione dei dati, fai clic su Impostazioni Altro.
  3. Seleziona Condividi i dati per migliorare Gemini in BigQuery.

Le impostazioni di condivisione dei dati si applicano all'intero progetto e possono essere impostate solo da un amministratore del progetto con le autorizzazioni IAM serviceusage.services.enable e serviceusage.services.list. Per ulteriori informazioni sull'utilizzo dei dati nel programma Trusted Tester, vedi Gemini per il programma Google Cloud Trusted Tester.

Versioni di preparazione dei dati

Le preparazioni dei dati di BigQuery non supportano la visualizzazione, il confronto o il recupero delle versioni di preparazione dei dati.

Per un elenco delle versioni di preparazione dei dati in ordine cronologico:

  1. Nella pagina BigQuery Studio, vai al riquadro Explorer.
  2. Seleziona la preparazione dei dati. Le versioni sono elencate nella scheda Attività nel riquadro Explorer.

Scaricare una preparazione dei dati

Per scaricare una preparazione dei dati in un file YAML:

  1. Nella console Google Cloud, vai alla pagina BigQuery Studio.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto e la cartella Preparazione dei dati. Fai clic sul nome della preparazione dei dati da scaricare.

  3. Fai clic su Scarica. La preparazione dei dati viene salvata nel formato del file YAML, ad esempio NAME data preparation.dp.yaml.

Carica una preparazione dei dati

Per caricare una preparazione dei dati da un file YAML:

  1. Nella console Google Cloud, vai alla pagina BigQuery Studio.

    Vai a BigQuery

  2. Nel riquadro Explorer, espandi il progetto.

  3. Vai alla cartella Preparazione dei dati e fai clic su more_vert Menu > Carica in Preparazione dei dati.

  4. Nella finestra di dialogo Carica preparazione dei dati, seleziona un file da caricare o inserisci l'URL della preparazione dei dati.

  5. Inserisci un nome per la preparazione dei dati.

  6. Seleziona una posizione di preparazione dei dati in cui vengono gestite e archiviate le risorse.

  7. Fai clic su Carica.

Gestire i metadati in Dataplex

Dataplex ti consente di archiviare e gestire i metadati per la preparazione dei dati. Le preparazioni dei dati sono disponibili in Dataplex per impostazione predefinita, senza configurazione aggiuntiva.

Puoi utilizzare Dataplex per gestire la preparazione dei dati in tutte le località BigQuery. La gestione delle preparazioni dei dati in Dataplex è soggetta alle quote e ai limiti di Dataplex e ai prezzi di Dataplex.

Dataplex recupera automaticamente i seguenti metadati dalle preparazioni dei dati:

  • Nome dell'asset di dati
  • Asset di dati principale
  • Posizione dell'asset di dati
  • Tipo di asset di dati
  • Progetto Google Cloud corrispondente

Dataplex registra le preparazioni dei dati come entries con i seguenti valori di entry:

Gruppo di voci di sistema
Il gruppo di voci del sistema per le preparazioni dei dati è @dataform. Per visualizzare i dettagli delle voci di preparazione dei dati in Dataplex, devi visualizzare il gruppo di voci di sistema dataform. Per istruzioni su come visualizzare un elenco di tutte le voci in un gruppo di voci, consulta Visualizzare i dettagli di un gruppo di voci nella documentazione di Dataplex.
Tipo di voce del sistema
Il tipo di voce del sistema per le preparazioni dei dati è dataform-code-asset. Per visualizzare i dettagli delle preparazioni dei dati, devi visualizzare il tipo di voce di sistema dataform-code-asset, filtrare i risultati con un filtro basato sugli aspetti e impostare il campo type all'interno dell'aspetto dataform-code-asset su DATA_PREPARATION. Quindi, seleziona una voce della preparazione dati selezionata. Per istruzioni su come visualizzare i dettagli di un tipo di voce selezionato, consulta Visualizzare i dettagli di un tipo di voce nella documentazione di Dataplex. Per istruzioni su come visualizzare i dettagli di una voce selezionata, consulta Visualizzare i dettagli di una voce nella documentazione di Dataplex.
Tipo di aspetto del sistema
Il tipo di aspetto del sistema per le preparazioni dei dati è dataform-code-asset. Per fornire un contesto aggiuntivo alle preparazioni dei dati in Dataplex annotando le voci di preparazione dei dati con gli aspetti, visualizza il tipo di aspetto dataform-code-asset, filtra i risultati con un filtro basato sugli aspetti e imposta il campo type all'interno dell'aspetto dataform-code-asset su DATA_PREPARATION. Per istruzioni su come annotare le voci con gli aspetti, consulta Gestire gli aspetti e arricchire i metadati nella documentazione di Dataplex.
Tipo
Il tipo di canvas di dati è DATA_PREPARATION. Questo tipo consente di filtrare le preparazioni dei dati nel dataform-code-asset tipo di voce di sistema e nel dataform-code-asset tipo di aspetto utilizzando la query aspect:dataplex-types.global.dataform-code-asset.type=DATA_PREPARATION in un filtro basato sugli aspetti.

Per istruzioni su come cercare gli asset in Dataplex, consulta Cercare asset di dati in Dataplex nella documentazione di Dataplex.

Passaggi successivi