Tag e modelli di tag

Documentare le voci di dati su larga scala è difficile, soprattutto quando vengono utilizzate diversi gruppi all'interno di un'organizzazione con esigenze diverse. Spesso ogni gruppo crea la propria documentazione e i propri metadati per descrivere gli stessi dati, con il risultato di un lavoro duplicato e di informazioni incomplete. Data Catalog risolve questo problema con i tag, che consentono alle organizzazioni di creare, cercare gestire i metadati per tutte le voci di dati in un servizio unificato.

Questo documento spiega due concetti chiave di Data Catalog:

  • Tag. Campi dei metadati personalizzati che puoi collegare a una voce di dati contestualizzate.

  • Modelli di tag. Strutture riutilizzabili per creare rapidamente nuovi tag.

Tag

I tag sono un tipo di metadati dell'attività. L'aggiunta di tag a una voce di dati aiuta a fornire un contesto significativo a chiunque abbia bisogno per utilizzare l'asset. Ad esempio, un tag può indicare informazioni quali chi è responsabile di particolare inserimento di dati, sia che contengano informazioni che consentono l'identificazione personale (PII), le norme sulla conservazione dei dati per l'asset e un punteggio di qualità dei dati.

I tag possono essere tag pubblici o privati. Ogni tipo di tag ha alcuni per soddisfare le esigenze aziendali.

Tag privati

I tag privati offrono controlli di accesso rigorosi. Puoi cercare oppure visualizzare i tag e le voci di dati associate ai tag solo se ha concesso le autorizzazioni di visualizzazione richieste sia sul modello di tag privato sia sui dati le voci corrispondenti.

La ricerca di tag privati nella pagina Data Catalog richiede utilizzi la sintassi di ricerca tag: o i filtri di ricerca.

I tag privati sono adatti a scenari in cui devi archiviare alcuni dati sensibili informazioni nel tag e vuoi applicare ulteriori limitazioni di accesso. oltre a verificare se l'utente dispone delle autorizzazioni per visualizzare la voce codificata.

Tag pubblici

I tag pubblici forniscono un controllo dell'accesso meno rigoroso per la ricerca e la visualizzazione del tag. rispetto ai tag privati. Qualsiasi utente che dispone delle autorizzazioni di visualizzazione necessarie per Una voce di dati può visualizzare tutti i tag pubblici associati. Visualizza autorizzazioni dei tag pubblici è obbligatorio solo quando esegui una ricerca in Data Catalog utilizzando la sintassi tag: o quando visualizzi un modello di tag non collegato.

I tag pubblici supportano sia la ricerca semplice sia la ricerca con predicati nella pagina di ricerca di Data Catalog. Quando crei un modello di tag, l'opzione per creare un il modello di tag pubblico è l'opzione predefinita e consigliata nella console Google Cloud.

Ad esempio, supponiamo di avere un modello di tag pubblico chiamato employee data utilizzato per creare tag per tre voci di dati denominate Name, Location, e Salary. Tra le tre voci di dati, solo i membri di un gruppo specifico denominato HR può visualizzare la voce di dati Salary. Le altre due voci di dati dispongono delle autorizzazioni di visualizzazione per tutti i dipendenti dell'azienda.

Se un dipendente che non è membro del gruppo HR utilizza Data Catalog pagina di ricerca e ricerche con la parola employee, il risultato di ricerca solo le voci di dati Name e Location con i tag pubblici associati.

I tag pubblici sono utili per una vasta gamma di scenari e sono intuitivi per l'utilizzo. I tag pubblici supportano la semplice ricerca con predicati, I tag privati supportano solo la ricerca con predicati.

Tag di esempio collegati a una voce di dati

Il seguente diagramma mostra una tabella di clienti di esempio cust_tbl, con diverse tag di metadati aziendali collegati alla tabella e alle relative colonne.

L'esempio utilizza i tag delle tabelle per descrivere la governance, la qualità e e tag di colonna per contrassegnare PII come SSN e dati di contatto.
. Figura 1. Data Catalog supporta il tagging a livello di tabella e colonna.

Modelli di tag

Per iniziare a utilizzare il tagging dei dati, devi prima creare uno o più modelli di tag. Un tag può essere un modello di tag pubblico o privato. Quando crei un tag modello, l'opzione per creare un modello di tag pubblico è l'impostazione predefinita consigliata nella console Google Cloud. Un modello di tag è un gruppo di metadati coppie chiave-valore chiamate campi. La disponibilità di un insieme di modelli è simile con uno schema di database per i metadati.

Puoi strutturare i tag per argomento. Ad esempio:

  • Un tag di governance dei dati con campi per: governatore dei dati, data di conservazione, data di eliminazione, PII (sì o no), classificazione dei dati (pubblici, riservati, sensibile e normativo)
  • Un tag della qualità dei dati con campi per: problemi di qualità, frequenza di aggiornamento, SLO informazioni
  • Un tag di utilizzo dei dati con i campi per: utenti principali, query principali, utenti giornalieri medi

Puoi quindi combinare e abbinare i tag, utilizzando solo quelli pertinenti per ciascun dato asset e alle esigenze della tua attività.

Campi in un tag

I tag contengono uno o più campi in cui è possibile archiviare le informazioni. I campi di un tag sono definiti da un modello di tag e ogni campo può essere usato per archiviare Uno o più valori. Ogni tag è un'istanza di un modello di tag, che può essere applicate a un'intera voce di dati o a tabelle o colonne particolari. Un tag su un colonna potrebbe indicare, ad esempio, se la colonna contiene PII, se si tratta di o la formula utilizzata per calcolare un determinato valore.

Ogni campo contiene un ID, un nome visualizzato e un tipo. Il tipo può essere string, double, boolean, enum (enumerazione) o datetime. Quando il tipo è enum, il modello archivia anche i valori consentiti per il campo.

I campi vengono archiviati nel modello come un insieme ordinato, dove l'ordine rappresenta l'importanza relativa di un campo rispetto agli altri campi.

I campi sono facoltativi a meno che non siano indicati come obbligatori. Un campo obbligatorio deve includere un quando si utilizza il modello, mentre un campo facoltativo può essere lasciato vuoto.

Non puoi modificare un campo facoltativo in obbligatorio dopo aver creato il modello.

Campi di esempio in un tag

Ecco un esempio di modello di tag tratto dalla guida rapida. contenenti più tipi di campi:

Il modello di tag di esempio definisce i campi per l'origine dati, il numero le righe, la presenza di PII e il tipo di PII.
. Figura 2. Un modello di tag Data Catalog.

Ecco un tag creato dal modello, con valori forniti per ogni campo:

Il tag di esempio indica che i dati provengono da una tabella denominata, ha centinaia milioni di righe e non contiene PII.
. Figura 3. Un tag creato da un modello di tag.

Per aiutarti a iniziare, Data Catalog include una galleria di modelli di tag di esempio per illustrare casi d'uso comuni di tagging. Utilizza questi esempi per scoprire l'efficacia del tagging, per trarre ispirazione o come punto di partenza per creando la tua infrastruttura di tagging.

Per utilizzare una galleria di modelli di tag, segui questi passaggi:

  1. Nella console Google Cloud, vai alla pagina Modelli di tag di Dataplex.

    Vai a Modelli di tag

  2. Fai clic su Crea modello di tag.

    La galleria dei modelli viene visualizzata nella pagina Crea modello.

Dopo aver selezionato un modello dalla galleria, puoi utilizzarlo come qualsiasi in un altro modello di tag. Puoi aggiungere ed eliminare attributi e modificare qualsiasi cosa in il modello più adatto alle tue esigenze aziendali. Puoi quindi cercare il modello e valori usando Data Catalog.

Controllo dell'accesso per i tag

I tag e i relativi metadati possono contenere informazioni sensibili e governance dei dati team potrebbero volere che determinati tag siano visibili solo a gruppi selezionati di utenti. Data Catalog offre il controllo dell'accesso ai modelli di tag. si estendono a tutti i tag creati con quel modello.

Puoi impostare i modelli di tag con molte configurazioni di controllo dell'accesso, ad esempio:

  • Un modello di tag che solo l'autore del modello può utilizzare per creare tag
  • Un modello di tag che crea tag visibili solo a un determinato insieme di utenti
  • Un modello di tag che un insieme selezionato di utenti può utilizzare per creare tag che visibile solo a un altro insieme di utenti (possibilmente identico)
  • Un modello di tag visibile a tutti gli utenti di un'organizzazione o di un progetto (tag pubblico)

L'accesso a un modello di tag viene concesso o negato con i ruoli IAM. Questi forniscono autorizzazioni per creare, modificare e utilizzare il modello di tag. Di seguito sono riportati alcuni ruoli di Data Catalog disponibili:

  • Per consentire a un utente di creare o aggiornare un modello di tag, devi concedergli il ruolo Creatore modello di tag.

  • Per consentire a un utente di applicare tag a una voce di dati, devi concedergli il ruolo utente del modello di tag.

Consulta Gestione di identità e accessi di Data Catalog per ulteriori informazioni.

Risorse di regione

Ogni modello di tag e tag viene archiviato in un account Google Cloud regione. Puoi utilizzare un modello di tag per creare un tag in qualsiasi regione, quindi non è necessario consente di creare copie del modello se le voci di dati sono distribuite su più regioni.

Passaggi successivi