Tag e modelli di tag

Documentare le voci di dati su larga scala è difficile, soprattutto quando vengono utilizzate da gruppi diversi di un'organizzazione con esigenze diverse. Spesso ogni gruppo crea il proprio set di documentazione e metadati per descrivere gli stessi dati, il che genera uno sforzo duplicato e informazioni incomplete. Data Catalog risolve questo problema con i tag, che consentono alle organizzazioni di creare, cercare e gestire i metadati per tutte le voci di dati in un servizio unificato.

Questo documento illustra due concetti chiave di Data Catalog:

  • Tag. Campi di metadati personalizzati che puoi collegare a una voce di dati per fornire contesto.

  • Modelli di tag. Strutture riutilizzabili che puoi usare per creare rapidamente nuovi tag.

Tag

I tag sono un tipo di metadati aziendali. L'aggiunta di tag a una voce di dati consente di fornire un contesto significativo a chiunque abbia bisogno di utilizzare l'asset. Ad esempio, un tag può indicare informazioni quali chi è responsabile di una determinata voce di dati, se contiene informazioni che consentono l'identificazione personale (PII), le norme sulla conservazione dei dati per la risorsa e un punteggio di qualità dei dati.

I tag possono essere tag pubblici o privati. Ogni tipo di tag presenta vantaggi esclusivi a seconda delle tue esigenze aziendali.

Tag privati

I tag privati offrono controlli di accesso rigorosi. Puoi cercare o visualizzare i tag e le voci di dati associate ai tag solo se ti sono state concesse le autorizzazioni di visualizzazione necessarie sia per il modello di tag privato sia per le voci dei dati.

Per cercare i tag privati nella pagina Data Catalog, è necessario utilizzare la sintassi di ricerca tag: o i filtri di ricerca.

I tag privati sono adatti agli scenari in cui devi archiviare alcune informazioni sensibili nel tag e vuoi applicare ulteriori limitazioni di accesso oltre a verificare se l'utente dispone delle autorizzazioni per visualizzare la voce con tag.

Tag pubblici

I tag pubblici offrono un controllo dell'accesso meno rigoroso per la ricerca e la visualizzazione del tag rispetto ai tag privati. Qualsiasi utente che disponga delle autorizzazioni di visualizzazione necessarie per una voce di dati può visualizzare tutti i tag pubblici associati. Le autorizzazioni di visualizzazione per i tag pubblici sono necessarie solo quando esegui una ricerca in Data Catalog utilizzando la sintassi tag: o quando visualizzi un modello di tag non collegato.

I tag pubblici supportano sia la ricerca semplice che la ricerca con predicati nella pagina di ricerca di Data Catalog. Quando crei un modello di tag, l'opzione per creare un modello di tag pubblico è l'opzione predefinita e consigliata nella console Google Cloud.

Ad esempio, supponiamo di avere un modello di tag pubblico denominato employee data, utilizzato per creare tag per tre voci di dati denominate Name, Location e Salary. Tra le tre voci di dati, solo i membri di un gruppo specifico denominato HR possono visualizzare la voce di dati Salary. Le altre due voci di dati hanno autorizzazioni di visualizzazione per tutti i dipendenti dell'azienda.

Se un dipendente che non è membro del gruppo HR utilizza la pagina di ricerca di Data Catalog e cerca la parola employee, il risultato della ricerca mostra solo le voci di dati Name e Location con i tag pubblici associati.

I tag pubblici sono utili per scenari diversi e sono intuitivi. I tag pubblici supportano ricerche semplici e con predicati, mentre i tag privati supportano solo la ricerca con predicati.

Tag di esempio associati a una voce di dati

Il seguente diagramma mostra una tabella clienti di esempio cust_tbl, con diversi tag di metadati aziendali associati alla tabella e alle relative colonne.

L'esempio utilizza i tag tabella per descrivere la governance, la qualità e l'utilizzo dei dati, nonché i tag colonna per segnalare PII come SSN e dati di contatto.
Figura 1. Data Catalog supporta il tagging a livello di tabella e colonna.

Modelli di tag

Per iniziare a taggare i dati, devi prima creare uno o più modelli di tag. Un modello di tag può essere pubblico o privato. Quando crei un modello di tag, l'opzione per creare un modello di tag pubblico è l'opzione predefinita e consigliata nella console Google Cloud. Un modello di tag è un gruppo di coppie chiave-valore dei metadati chiamate campi. Avere un set di modelli è come avere uno schema di database per i metadati.

Puoi strutturare i tag per argomento. Ad esempio:

  • Un tag di governance dei dati con campi per: governatore dei dati, data di conservazione, data di eliminazione, PII (sì o no), classificazione dei dati (pubblico, riservato, sensibile, normativo)
  • Un tag della qualità dei dati con campi per: problemi di qualità, frequenza di aggiornamento, informazioni sullo SLO
  • Un tag sull'utilizzo dei dati con campi per utenti principali, query principali, media utenti giornalieri.

Puoi combinare e abbinare i tag utilizzando solo quelli pertinenti per ciascun asset di dati e le esigenze della tua attività.

Campi in un tag

I tag contengono uno o più campi in cui è possibile memorizzare le informazioni. I campi di un tag sono definiti da un modello di tag e ogni campo può essere utilizzato per archiviare uno o più valori. Ogni tag è un'istanza di un modello di tag, che può essere applicato a un'intera voce di dati o a tabelle o colonne specifiche. Un tag su una colonna potrebbe indicare, ad esempio, se la colonna contiene PII, se è stata ritirata o quale formula è stata utilizzata per calcolare un determinato valore.

Ogni campo contiene un ID, un nome visualizzato e un tipo. Il tipo può essere string, double, boolean, enum (enumerazione) o datetime. Quando il tipo è enum, il modello archivia anche i valori consentiti per il campo.

I campi sono archiviati nel modello come un insieme ordinato, in cui l'ordine rappresenta l'importanza relativa di un campo rispetto agli altri campi.

I campi sono facoltativi, a meno che non siano indicati come obbligatori. È necessario assegnare un valore a un campo obbligatorio quando viene utilizzato il modello, mentre un campo facoltativo può essere lasciato vuoto.

Non puoi modificare un campo facoltativo in obbligatorio dopo aver creato il modello.

Campi di esempio in un tag

Ecco un modello di tag di esempio tratto dalla quickstart, contenente diversi tipi di campo:

Il modello di tag di esempio definisce i campi per l'origine dati, il numero di righe, la presenza di PII e il tipo di PII.
Figura 2. Un modello di tag Data Catalog.

Di seguito è riportato un tag creato a partire dal modello, con valori forniti per ogni campo:

Il tag di esempio indica che i suoi dati provengono da una tabella denominata, ha centinaia di milioni di righe e non contengono PII.
Figura 3. Un tag creato da un modello di tag.

Per aiutarti a iniziare, Data Catalog include una galleria di modelli di tag di esempio per illustrare casi d'uso di tagging comuni. Utilizza questi esempi per scoprire l'efficacia del tagging, per trovare ispirazione o come punto di partenza per creare la tua infrastruttura di tagging.

Per utilizzare una galleria di modelli di tag, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Modelli di tag Dataplex.

    Vai ai modelli di tag

  2. Fai clic su Crea modello di tag.

    La galleria di modelli viene visualizzata all'interno della pagina Crea modello.

Dopo aver selezionato un modello dalla galleria, puoi utilizzarlo come qualsiasi altro modello di tag. Puoi aggiungere ed eliminare attributi, nonché modificare qualsiasi elemento nel modello per soddisfare le tue esigenze aziendali. Puoi quindi cercare i campi e i valori del modello utilizzando Data Catalog.

Controllo dell'accesso per i tag

I tag e i relativi metadati possono contenere informazioni sensibili e i team di governance dei dati potrebbero volere che determinati tag siano visibili solo a determinati gruppi di utenti. Data Catalog fornisce controllo dell'accesso ai modelli di tag e queste impostazioni si estendono a tutti i tag creati utilizzando il modello.

Puoi impostare modelli di tag con molte configurazioni di controllo dell'accesso#39;accesso, ad esempio:

  • Un modello di tag che solo l'autore del modello può utilizzare per creare tag
  • Un modello di tag che crea tag visibili solo a un insieme selezionato di utenti
  • Un modello di tag che un insieme selezionato di utenti può utilizzare per creare tag visibili solo a un altro insieme di utenti (probabilmente identico)
  • Un modello di tag visibile a tutti gli utenti di un'organizzazione o di un progetto (tag pubblico)

L'accesso a un modello di tag viene concesso o negato con i ruoli IAM. che forniscono le autorizzazioni per creare, modificare e utilizzare il modello di tag. Di seguito sono riportati alcuni ruoli disponibili di Data Catalog:

  • Per consentire a un utente di creare o aggiornare un modello di tag, devi concedergli il ruolo Creatore modelli di tag.

  • Per consentire a un utente di applicare tag a una voce di dati, devi concedergli il ruolo utente Modello di tag.

Per ulteriori informazioni, consulta Data Catalog Identity and Access Management.

Risorse a livello di regione

Ogni modello di tag e tag sono archiviati in una determinata regione di Google Cloud. Puoi utilizzare un modello di tag per creare un tag in qualsiasi regione, così non devi creare copie del modello se le voci di dati sono distribuite in più regioni.

Passaggi successivi