Lavorare con Data Catalog

Data Catalog è una funzionalità di Dataplex che si integra con a BigQuery mediante la catalogazione automatica dei metadati Risorse BigQuery come tabelle, set di dati, viste e modelli. Questo documento descrive come cercare queste risorse, visualizzare la derivazione dei dati e aggiungere utilizzando Data Catalog.

Cerca risorse BigQuery

Per utilizzare Data Catalog per cercare set di dati, tabelle e progetti aggiunti a Speciali BigQuery:

1. Nella console Google Cloud, vai alla pagina Ricerca in Dataplex.

   Vai a Ricerca

2. Nel campo Cerca, inserisci una query e fai clic su Cerca.

   

   Per perfezionare i parametri di ricerca, utilizza il riquadro Filtri. Ad esempio, nella sezione Sistemi, seleziona la casella di controllo BigQuery. I risultati vengono filtrati in base ai sistemi BigQuery.

Puoi eseguire ricerche di base in Data Catalog tramite nella console Google Cloud. Per saperne di più sulla ricerca nella console Google Cloud, consulta Aprire un set di dati pubblico.

Derivazione dei dati

La derivazione dei dati è una funzionalità di Dataplex che consente di monitorare il modo in cui i dati vengono spostati nei sistemi: da dove provengono, dove vengono inviati e a quali trasformazioni sono sottoposti. Puoi accedere alla funzionalità di evoluzione dei dati direttamente da BigQuery.

L'attivazione della consistenza dei dati nel progetto BigQuery fa sì che Dataplex registri automaticamente le informazioni sulla consistenza per le tabelle create dalle seguenti operazioni:

• Copiare i job.

• Job di query che utilizzano le seguenti istruzioni DDL (Data Definition Language) o DML (Data Manipulation Language) in GoogleSQL:

  • CREATE TABLE (inclusa l'istruzione CREATE TABLE AS SELECT)
  • INSERT
  • UPDATE
  • DELETE
  • MERGE

Prima di iniziare

In questa sezione, attivi l'API Data Lineage e concedi i ruoli Identity and Access Management (IAM) che forniscono agli utenti le autorizzazioni necessarie per eseguire ogni attività in questo documento.

Abilita la derivazione dei dati

1. Nella console Google Cloud, nella pagina di selezione del progetto, seleziona il progetto contenente le risorse per le quali vuoi monitorare la cronologia.

   Vai al selettore progetti

2. Abilita l'API Data Lineage e le API Data Catalog.

   Abilita le API

Nota: l'abilitazione dell'API Data Lineage potrebbe comportare costi aggiuntivi. Per ulteriori informazioni sui prezzi dell'API Data Lineage, consulta la pagina relativa agli costi per le API.

Ruoli IAM richiesti

Le informazioni sulla derivazione vengono monitorate automaticamente quando attivi l'API Data Lineage.

Per ottenere le autorizzazioni necessarie per visualizzare i grafici di visualizzazione della struttura, chiedi all'amministratore di concederti i seguenti ruoli IAM:

• Visualizzatore Data Catalog (roles/datacatalog.viewer) in un progetto di risorsa Data Catalog.
• Visualizzatore della struttura dei dati (roles/datalineage.viewer) nel progetto in cui utilizzi i sistemi supportati dalla struttura dei dati.
• Metadati BigQuery (roles/bigquery.metadataViewer)

Per saperne di più sulla concessione dei ruoli, consulta Gestire l'accesso a progetti, cartelle e organizzazioni.

Potresti anche riuscire a ottenere le autorizzazioni richieste tramite i ruoli personalizzati o altri ruoli predefiniti.

Per ulteriori informazioni, consulta Ruoli della cronologia dei dati.

Visualizza i grafici della derivazione in BigQuery

Per visualizzare il grafico di visualizzazione della struttura dei dati da BigQuery:

1. Nella console Google Cloud, vai alla pagina BigQuery.

   Vai a BigQuery

2. Nel riquadro Explorer, espandi il progetto e il set di dati, quindi seleziona una tabella.

3. Fai clic sulla scheda Derivazione.

   

   Viene visualizzato il grafico di visualizzazione della struttura dei dati.

   

4. (Facoltativo) Seleziona un nodo per visualizzare ulteriori dettagli sulle entità o sui processi coinvolti nella creazione delle informazioni di derivazione.

Per saperne di più sulla derivazione dei dati, vedi Informazioni sulla derivazione dei dati.

Tag e modelli di tag

I tag consentono alle organizzazioni di creare, cercare e gestire i metadati per tutte le voci di dati in un servizio unificato.

Questa sezione illustra due concetti chiave di Data Catalog:

• I tag ti consentono di fornire il contesto per una voce di dati collegando campi di metadati personalizzati.

• I modelli di tag sono strutture riutilizzabili per creare rapidamente nuovi tag.

Tag

Data Catalog offre due tipi di tag: tag privati e tag pubblici.

Tag privati

I tag privati forniscono controlli di accesso rigorosi. Puoi cercare oppure visualizzare i tag e le voci di dati associate ai tag solo se Hanno concesso le autorizzazioni di visualizzazione richieste sia sul modello di tag privato sia sui dati le voci corrispondenti.

La ricerca di tag privati nella pagina Data Catalog richiede utilizzi la sintassi di ricerca tag: o i filtri di ricerca.

I tag privati sono adatti a scenari in cui devi memorizzare alcune informazioni sensibili nel tag e vuoi applicare ulteriori limitazioni di accesso oltre a verificare se l'utente dispone delle autorizzazioni per visualizzare la voce taggata.

Tag pubblici

I tag pubblici forniscono un controllo dell'accesso meno rigoroso per la ricerca e la visualizzazione del tag rispetto ai tag privati. Qualsiasi utente che dispone delle autorizzazioni di visualizzazione necessarie per Una voce di dati può visualizzare tutti i tag pubblici associati. Le autorizzazioni di visualizzazione per i tag pubblici sono necessarie solo quando esegui una ricerca in Data Catalog utilizzando la sintassi tag: o quando visualizzi un modello di tag non collegato.

I tag pubblici supportano sia la ricerca semplice sia la ricerca con predicati nella pagina di ricerca di Data Catalog. Quando crei un modello di tag, l'opzione per creare un il modello di tag pubblico è l'opzione predefinita e consigliata nella console Google Cloud.

Ad esempio, supponiamo che tu abbia un modello di tag pubblico denominato employee data che hai utilizzato per creare tag per tre voci di dati denominate Name, Location e Salary. Tra le tre voci di dati, solo i membri di un gruppo specifico chiamato HR possono visualizzare la voce di dati Salary. Le altre due voci di dati hanno autorizzazioni di visualizzazione per tutti i dipendenti dell'azienda.

Se un dipendente che non è membro del gruppo HR utilizza la pagina di ricerca di Data Catalog e cerca la parola employee, il risultato di ricerca mostra solo le voci di dati Name e Location con i tag pubblici associati.

I tag pubblici sono utili per una vasta gamma di scenari. I tag pubblici supportano la ricerca semplice e la ricerca con i predicati, mentre i tag privati supportano solo la ricerca con i predicati.

Modelli di tag

Per iniziare a taggare i metadati, devi prima creare uno o più modelli di tag. Un tag può essere un modello di tag pubblico o privato. Quando crei un modello di tag, l'opzione per creare un modello di tag pubblico è l'opzione predefinita e consigliata nella console Google Cloud. Un modello di tag è un gruppo di coppie chiave-valore di metadati chiamate campi. Avere un insieme di modelli è simile a avere uno schema di database per i metadati.

Puoi strutturare i tag per argomento. Ad esempio:

• Un tag data governance con campi per il governatore dei dati, la data di conservazione data di eliminazione, PII (sì o no), classificazione dei dati (pubblici, riservati, sensibile e normativo)
• Un tag data quality con campi per problemi di qualità, frequenza di aggiornamento e SLO informazioni
• Un tag data usage con campi per gli utenti principali, le query principali e la media degli utenti giornalieri

Puoi quindi combinare e abbinare i tag, utilizzando solo quelli pertinenti per ciascun dato asset e alle esigenze della tua attività.

Visualizzare la galleria dei modelli di tag

Per aiutarti a iniziare, Data Catalog include una galleria di modelli di tag di esempio per illustrare casi d'uso comuni di tagging. Utilizza questi esempi per scoprire l'efficacia del tagging, per trarre ispirazione o come punto di partenza per creando la tua infrastruttura di tagging.

Per utilizzare una galleria di modelli di tag, segui questi passaggi:

1. Nella console Google Cloud, vai alla pagina Modelli di tag di Dataplex.

   Vai a Modelli di tag

2. Fai clic su Crea modello di tag.

   La galleria dei modelli viene visualizzata nella pagina Crea modello.

Dopo aver selezionato un modello dalla galleria, puoi utilizzarlo come qualsiasi altro modello di tag. Puoi aggiungere o eliminare attributi e modificare qualsiasi aspetto del modello in base alle esigenze della tua attività. Puoi quindi cercare i campi e i valori del modello utilizzando Data Catalog.

Per ulteriori informazioni su tag e modelli di tag, consulta Tag e modelli di tag.

Risorse regionali

Ogni modello di tag e tag viene archiviato in un account Google Cloud regione. Puoi utilizzare un modello di tag per creare un tag in qualsiasi regione, quindi non devi creare copie del modello se hai voci di metadati distribuite su più regioni.