Tag e modelli di tag

Documentare le voci di dati su larga scala è difficile, soprattutto se vengono utilizzate da gruppi diversi di un'organizzazione con esigenze diverse. Spesso ogni gruppo crea il proprio insieme di documentazione e metadati per descrivere gli stessi dati, con un conseguente aumento del lavoro e informazioni incomplete. Data Catalog risolve questo problema con i tag, che consentono alle organizzazioni di creare, cercare e gestire i metadati per tutte le voci di dati in un servizio unificato.

Questo documento illustra due concetti chiave di Data Catalog:

  • Tag: campi di metadati personalizzati che puoi associare a una voce di dati per fornire il contesto

  • Modelli di tag: strutture riutilizzabili per creare rapidamente nuovi tag

Tag

I tag sono un tipo di metadati dell'attività. L'aggiunta di tag a una voce di dati consente di fornire un contesto significativo a chiunque debba utilizzare l'asset. Ad esempio, un tag può fornirti informazioni quali chi è responsabile di una determinata operazione di inserimento dei dati, se contiene informazioni che consentono l'identificazione personale (PII), le norme di conservazione dei dati per la risorsa e un punteggio della qualità dei dati.

I tag possono essere pubblici o privati. Ogni tipo di tag presenta alcuni vantaggi unici per soddisfare le esigenze della tua attività.

Tag privati

I tag privati forniscono controlli di accesso rigorosi. Puoi cercare o visualizzare i tag e le voci di dati associati ai tag solo se ti vengono concesse le autorizzazioni di visualizzazione richieste sia per il modello di tag privato sia per le voci di dati.

Per cercare i tag privati nella pagina di Data Catalog, devi utilizzare la sintassi di ricerca tag: o i filtri di ricerca.

I tag privati sono adatti a scenari in cui devi memorizzare alcune informazioni sensibili nel tag e vuoi applicare ulteriori limitazioni di accesso oltre a verificare se l'utente dispone delle autorizzazioni per visualizzare la voce taggata.

Tag pubblici

I tag pubblici forniscono controllo dell'accesso meno rigoroso per la ricerca e la visualizzazione del tag rispetto ai tag privati. Qualsiasi utente che disponga delle autorizzazioni di visualizzazione necessarie per una voce di dati può visualizzare tutti i tag pubblici associati. Le autorizzazioni di visualizzazione per i tag pubblici sono necessarie solo quando esegui una ricerca in Data Catalog utilizzando la sintassi tag: o quando visualizzi un modello di tag non collegato.

I tag pubblici supportano sia la ricerca semplice sia la ricerca con predicati nella pagina di ricerca di Data Catalog. Quando crei un modello di tag, l'opzione per creare un modello di tag pubblico è l'opzione predefinita e consigliata nella console Google Cloud.

Ad esempio, considera un modello di tag pubblico denominato employee data, che hai utilizzato per creare tag per tre voci di dati denominate Name, Location e Salary. Tra le tre voci di dati, solo i membri di un gruppo specifico chiamato HR possono visualizzare la voce di dati Salary. Le altre due voci di dati hanno autorizzazioni di visualizzazione per tutti i dipendenti dell'azienda.

Se un dipendente che non è membro del gruppo HR utilizza la pagina di ricerca di Data Catalog e cerca la parola employee, il risultato di ricerca mostra solo le voci di dati Name e Location con i tag pubblici associati.

I tag pubblici sono utili per una vasta gamma di scenari e sono intuitivi da utilizzare. I tag pubblici supportano la ricerca semplice e la ricerca con i predicati, mentre i tag privati supportano solo la ricerca con i predicati.

Tag di esempio associati a una voce di dati

Il seguente diagramma mostra una tabella dei clienti di esempio cust_tbl, con diversi tag dei metadati dell'attività associati alla tabella e alle relative colonne.

Il campione utilizza i tag di tabella per descrivere la governance, la qualità e l'utilizzo dei dati, nonché i tag di colonna per segnalare le PII come i numeri di previdenza sociale e i dati di contatto.
Figura 1. Data Catalog supporta il tagging a livello di tabella e colonna.

Modelli di tag

Per iniziare a utilizzare il tagging dei dati, devi prima creare uno o più modelli di tag. Un modello di tag può essere un modello di tag pubblico o privato. Quando crei un modello di tag, l'opzione per creare un modello di tag pubblico è l'opzione predefinita e consigliata nella console Google Cloud. Un modello di tag è un gruppo di coppie chiave-valore dei metadati chiamate campi. Avere un insieme di modelli è simile ad avere uno schema di database per i metadati.

Puoi strutturare i tag per argomento. Ad esempio:

  • Un tag di governance dei dati con campi per il gestore dei dati, la data di conservazione, la data di eliminazione, PII (sì o no) e la classificazione dei dati (pubblico, riservato, sensibile, normativo)
  • Un tag di qualità dei dati con campi per problemi di qualità, frequenza di aggiornamento e informazioni sugli SLO
  • Un tag di utilizzo dei dati con campi per gli utenti principali, le query principali e gli utenti giornalieri medi

Puoi quindi combinare i tag, utilizzando solo quelli pertinenti per ogni asset di dati e per le esigenze della tua attività.

Campi in un tag

I tag contengono uno o più campi in cui è possibile memorizzare le informazioni. I campi in un tag sono definiti da un modello di tag e ogni campo può essere utilizzato per memorizzare uno o più valori. Ogni tag è un'istanza di un modello di tag, che può essere applicato a un'intera riga di dati o a tabelle o colonne specifiche. Un tag su una colonna può indicare, ad esempio, se la colonna contiene PII, se è stata ritirata o quale formula è stata utilizzata per calcolare un determinato valore.

Ogni campo contiene un ID, un nome visualizzato e un tipo. Il tipo può essere string, double, boolean, enum (enumerazione) o datetime. Quando il tipo è enum, il modello memorizza anche i valori consentiti per il campo.

I campi vengono memorizzati nel modello come insieme ordinato, dove l'ordine rappresenta l'importanza relativa di un campo rispetto agli altri campi.

I campi sono facoltativi, a meno che non siano contrassegnati come obbligatori. A un campo obbligatorio deve essere assegnato un valore quando viene utilizzato il modello, mentre un campo facoltativo può essere lasciato vuoto.

Non puoi modificare un campo facoltativo in uno obbligatorio dopo aver creato il modello.

Campi di esempio in un tag

Ecco un esempio di modello di tag della guida introduttiva, contenente più tipi di campi:

Il modello di tag di esempio definisce i campi per l'origine dati, il numero di righe, la presenza di PII e il tipo di PII.
Figura 2. Un modello di tag Data Catalog.

Ecco un tag creato dal modello, con i valori forniti per ogni campo:

Il tag di esempio indica che i dati provengono da una tabella denominata, contengono centinaia di milioni di righe e non contengono PII.
Figura 3. Un tag creato da un modello di tag.

Per aiutarti a iniziare, Data Catalog include una galleria di modelli di tag di esempio per illustrare i casi d'uso comuni del tagging. Utilizza questi esempi per scoprire la potenza del tagging, come fonte di ispirazione o come punto di partenza per creare la tua infrastruttura di tagging.

Per utilizzare una galleria di modelli di tag:

  1. Nella console Google Cloud, vai alla pagina Modelli di tag di Dataplex.

    Vai a Modelli di tag

  2. Fai clic su Crea modello di tag.

    La galleria di modelli viene visualizzata nella pagina Crea modello.

Dopo aver selezionato un modello dalla galleria, puoi utilizzarlo come qualsiasi altro modello di tag. Puoi aggiungere ed eliminare attributi e modificare qualsiasi aspetto del modello in base alle esigenze della tua attività. Puoi quindi cercare i campi e i valori del modello utilizzando Data Catalog.

Controllo dell'accesso per i tag

I tag e i relativi metadati possono contenere informazioni sensibili e i team di governance dei dati potrebbero volere che determinati tag siano visibili solo a gruppi selezionati di utenti. Data Catalog fornisce controllo dell'accesso ai modelli di tag e queste impostazioni si applicano a tutti i tag creati utilizzando il modello.

Puoi configurare i modelli di tag con molte configurazioni di controllo dell'accesso, ad esempio:

  • Un modello di tag che solo il creator del modello può utilizzare per creare tag
  • Un modello di tag che crea tag visibili solo a un gruppo selezionato di utenti
  • Un modello di tag che un gruppo selezionato di utenti può utilizzare per creare tag visibili solo a un altro gruppo di utenti (eventualmente identico).
  • Un modello di tag visibile a tutti gli utenti di un'organizzazione o di un progetto (tag pubblico)

L'accesso a un modello di tag viene concesso o negato con i ruoli IAM. Forniscono le autorizzazioni per creare, modificare e utilizzare il modello di tag. Di seguito sono riportati alcuni ruoli di Data Catalog disponibili:

  • Per consentire a un utente di creare o aggiornare un modello di tag, devi concedergli il ruolo di creatore di modelli di tag.

  • Per consentire a un utente di applicare i tag a una voce di dati, devi concedergli il ruolo di utente del modello di tag.

Per ulteriori informazioni, consulta Gestione dell'identità e dell'accesso in Data Catalog.

Risorse regionali

Ogni modello di tag e ogni tag è archiviato in una determinata Google Cloud regione. Puoi utilizzare un modello di tag per creare un tag in qualsiasi regione, quindi non devi creare copie del modello se hai voci di dati distribuite su più regioni.

Passaggi successivi