Taggare le tabelle in Dataplex in base agli approfondimenti dei profili di dati

Questa pagina descrive come applicare automaticamente i tag Dataplex alle tabelle BigQuery dopo che Sensitive Data Protection ha creato i profili di queste tabelle. Questa pagina fornisce anche query di esempio che puoi utilizzare per trovare i dati taggati nella tua organizzazione e nei tuoi progetti.

Questa funzionalità è utile se vuoi arricchire i metadati selezionati manualmente in Dataplex con gli approfondimenti raccolti dai profili dei dati di Sensitive Data Protection. I tag generati includono le seguenti informazioni:

  • Tipi di informazioni (infoTypes) rilevati nelle colonne della tabella
  • Livello di sensibilità calcolato della tabella
  • Livello di rischio dei dati calcolato della tabella

Le informazioni ricavate dai profili di dati di Sensitive Data Protection possono aiutarti a utilizzare Dataplex per rilevare i dati sensibili e ad alto rischio nella tua organizzazione. Utilizza queste informazioni per prendere decisioni consapevoli su come gestire e governare i tuoi dati.

Se vuoi inviare i risultati dei job di ispezione, non le operazioni di profilazione dei dati, a Dataplex, consulta l'articolo Inviare i risultati dell'ispezione per la protezione dei dati sensibili al Catalogo dati.

Informazioni sui profili di dati

Puoi configurare Sensitive Data Protection in modo che generi automaticamente profili dei dati in un'organizzazione, una cartella o un progetto. I profili di dati contengono metriche e metadati sui tuoi dati e ti aiutano a determinare dove si trovano i dati sensibili e ad alto rischio. Sensitive Data Protection genera report su queste metriche a vari livelli di dettaglio. Per informazioni sui tipi di dati che puoi profilare, consulta Risorse supportate.

Informazioni su Dataplex e Data Catalog

Dataplex è un servizio Google Cloud che unifica i dati distribuiti e automatizza la gestione e la governance dei dati. Data Catalog è un servizio di gestione dei metadati completamente gestito e scalabile all'interno di Dataplex.

Data Catalog ti consente di utilizzare tag e modelli di tag per associare i metadati aziendali ai tuoi dati. Puoi quindi cercare e gestire tutti i metadati della tua organizzazione o del tuo progetto in un servizio unificato. Per saperne di più, consulta Tag e modelli di tag.

Come funziona

Se nella configurazione della scansione del rilevamento è attivata l'azione Invia a Dataplex come tag, ogni volta che Sensitive Data Protection esegue il profilo dei tuoi dati: Questa azione viene applicata solo ai profili nuovi e aggiornati. I profili esistenti che non vengono aggiornati non vengono inviati a Dataplex.

  1. Crea un modello di tag privato contenente lo schema dei tag che verranno collegati alle tabelle BigQuery. Per informazioni sul nome, sull'ID e sulla posizione del modello di tag, consulta Dettagli del modello di tag.

    Solo le entità con i ruoli e le autorizzazioni appropriati possono visualizzare il modello di tag.

  2. Crea un tag per ogni tabella BigQuery di cui viene creato il profilo. Il tag si basa sul modello di tag appena creato.

    Ad esempio, un tag risultante allegato a una tabella può avere i seguenti metadati:

    Nome visualizzato Valore
    Column Insights ccn: CREDIT_CARD_NUMBER
    first_name: PERSON_NAME
    last_name: PERSON_NAME
    ssn: US_SOCIAL_SECURITY_NUMBER
    email: EMAIL_ADDRESS
    Column Sensitivity ccn: HIGH
    first_name: MODERATE
    last_name: MODERATE
    favorite_animal: LOW
    ssn: HIGH
    email: MODERATE
    id: LOW
    Data Risk Level HIGH
    Other InfoTypes PHONE_NUMBER
    Predicted InfoTypes CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
    Profile Last Generated DATE at TIME
    Sensitive Data Profile organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
    Sensitivity Score HIGH

Una tabella ha due tag se è stata profilata tramite entrambi i seguenti elementi:

  • Una configurazione di scansione a livello di organizzazione o cartella
  • Una configurazione di scansione a livello di progetto

Dopo aver taggato le tabelle, puoi cercare in Dataplex tutti i dati della tua organizzazione o del tuo progetto con valori di tag specifici.

Dettagli del modello di tag

Il nome del modello, l'ID modello e il progetto in cui è memorizzato il nuovo modello di tag dipendono dalla risorsa a cui si riferisce la configurazione della scansione.

  • Se la configurazione di scansione è a livello di organizzazione o di cartella, il modello di tag viene archiviato nel contenitore dell'agente di servizio. Il nome del modello di tag è Sensitive Data Profile. Il relativo ID modello è sensitive_data_profile.
  • Se la configurazione di scansione è a livello di progetto, il modello di tag viene archiviato nel progetto da profilare. Il nome del modello di tag è Sensitive Data Profile (Project). Il relativo ID modello è sensitive_data_profile_project.

Prezzi

Per informazioni su come altri servizi Google Cloud potrebbero addebitarti l'esportazione dei profili di dati, consulta Prezzi per l'esportazione dei profili di dati.

Applicare automaticamente i tag alle tabelle BigQuery in base ai profili di dati

  1. Crea una configurazione di scansione. In alternativa, modifica una configurazione di scansione esistente.

  2. Nel passaggio Aggiungi azioni, assicurati che l'opzione Invia a Dataplex come tag sia attivata.

    • Se stai creando una configurazione di scansione, questa azione è attiva per impostazione predefinita.
    • Se stai modificando una configurazione di analisi, devi attivare questa azione.

Dopo aver creato il profilo dei dati e averli taggati, puoi iniziare a cercare i dati taggati in Dataplex.

Ruoli e autorizzazioni per la visualizzazione dei tag

I risultati di ricerca di Dataplex mostrano solo i dati a cui hai accesso. Per cercare i tag associati alle tabelle BigQuery, devi disporre dei seguenti ruoli o autorizzazioni di Identity and Access Management (IAM).

Finalità Ruolo predefinito Autorizzazioni pertinenti
Visualizza il modello di tag privato Visualizzatore TagTemplate Data Catalog (roles/datacatalog.tagTemplateViewer) datacatalog.tagTemplates.getTag
Visualizzare i tag applicati alle tabelle BigQuery Visualizzatore metadati BigQuery (roles/bigquery.metadataViewer) bigquery.datasets.get
bigquery.tables.get

Per saperne di più sui ruoli di Dataplex, vedi Ruoli per visualizzare i tag pubblici e privati.

Per informazioni sulla concessione di un ruolo predefinito, consulta Concedere un singolo ruolo. Se vuoi utilizzare un ruolo personalizzato anziché uno predefinito, assicurati che il ruolo personalizzato disponga delle autorizzazioni pertinenti. Per ulteriori informazioni, consulta Creare un ruolo personalizzato.

Trovare il modello di tag generato

  1. Nella console Google Cloud, vai alla pagina Modelli di tag di Dataplex.

    Vai a Modelli di tag

  2. Nell'elenco, trova il modello di tag. Per informazioni sul nome, sull'ID e sulla posizione del modello di tag, consulta Dettagli del modello di tag.

  3. (Facoltativo) Per trovare il modello di tag generato da una determinata configurazione della ricerca di annunci, inserisci quanto segue nel campo Filtro:

    name:PROJECT_ID.TAG_TEMPLATE_ID
    

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del progetto associato alla configurazione della scansione. Se hai creato il profilo dei dati a livello di organizzazione o di cartella, inserisci l'ID progetto del contenitore dell'agente di servizio.
    • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.

Trovare il tag generato per un determinato profilo di dati della tabella

  1. Nella console Google Cloud, vai alla pagina Ricerca di Dataplex.

    Vai a Ricerca

  2. Nel campo Cerca, inserisci quanto segue:

    name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID
    

    Sostituisci quanto segue:

    • TABLE_ID: l'ID della tabella di cui è stato creato il profilo.
    • PROJECT_ID: l'ID del progetto che contiene il modello di tag. Se hai creato il profilo dei dati a livello di organizzazione o di cartella, inserisci l'ID progetto del contenitore dell'agente di servizio.
    • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  3. Nell'elenco visualizzato, fai clic sull'ID tabella. Vengono visualizzati i dettagli della tabella BigQuery, insieme a eventuali tag Sensitive Data Profile o Sensitive Data Profile (Project) associati.

    Una tabella ha due tag se è stata sottoposta a profilazione tramite entrambi i seguenti elementi:

    • Una configurazione di scansione a livello di organizzazione o cartella
    • Una configurazione di scansione a livello di progetto

Per informazioni su come eseguire una ricerca tramite l'API Data Catalog, consulta Come cercare asset di dati.

Esempi di query di ricerca

Questa sezione fornisce esempi di query di ricerca che puoi utilizzare in Dataplex per trovare dati nella tua organizzazione o nel tuo progetto con valori di tag specifici.

Puoi trovare solo i dati a cui hai accesso. L'accesso ai dati è controllato tramite le autorizzazioni IAM. Per ulteriori informazioni, consulta la sezione Ruoli e autorizzazioni per la visualizzazione dei tag in questa pagina.

Puoi inserire queste query nella pagina Ricerca di Dataplex nella console Google Cloud.

Vai a Ricerca

Per informazioni su come formare le query, consulta la sintassi di ricerca di Data Catalog. Per informazioni su come eseguire una ricerca tramite l'API Data Catalog, consulta Come cercare asset di dati.

Trovare tutte le tabelle taggate utilizzando il nuovo modello di tag

tag:PROJECT_ID.TAG_TEMPLATE_ID

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto che contiene il modello di tag. Se hai creato il profilo dei dati a livello di organizzazione o di cartella, inserisci l'ID progetto del contenitore dell'agente di servizio.
  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.

Gli esempi successivi in questa pagina non includono l'ID progetto, pertanto potresti ottenere risultati associati a varie configurazioni di scansione di scoperta. Per limitare i risultati a una determinata configurazione di scansione, aggiungi l'ID progetto alla query come mostrato in questo esempio.

Trovare tutte le tabelle di cui è stata eseguita l'ultima profilazione prima di una determinata data

tag:TAG_TEMPLATE_ID.profile_last_generated<DATE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • DATE: una data nel formato YYYY-MM-DD, ad esempio 2023-01-15.

Trovare tutte le tabelle con un determinato punteggio di sensibilità a livello di tabella

tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • SENSITIVITY_SCORE: uno di HIGH, MODERATE o LOW.

Per ulteriori informazioni, consulta la sezione Livelli di rischio e sensibilità dei dati.

Trovare tutte le tabelle con un determinato livello di rischio dei dati

tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • DATA_RISK_LEVEL: uno di HIGH, MODERATE o LOW.

Per ulteriori informazioni, consulta la sezione Livelli di rischio e sensibilità dei dati.

Trovare tutte le tabelle che contengono un determinato infoType previsto

tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • INFOTYPE: l'elemento infoType, ad esempio PERSON_NAME.

Per un elenco di tutti gli infoType integrati, consulta la Guida di riferimento per i rilevatori di infoType.

Per ulteriori informazioni, consulta infoType previsto nella documentazione di riferimento relativa alle metriche.

Trovare tutte le tabelle che contengono parzialmente un determinato infoType

tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • INFOTYPE: l'elemento infoType, ad esempio PERSON_NAME.

Per un elenco di tutti gli infoType integrati, consulta la Guida di riferimento per i rilevatori di infoType.

Per ulteriori informazioni, consulta Altri infoType nella documentazione di riferimento relativa alle metriche.

Trovare tutte le tabelle che contengono una determinata colonna con un determinato infoType previsto

tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • COLUMN_NAME: il nome della colonna nella tabella BigQuery.
  • INFOTYPE: l'elemento infoType, ad esempio PERSON_NAME.

Per un elenco di tutti gli infoType integrati, consulta la Guida di riferimento per i rilevatori di infoType.

Per ulteriori informazioni, consulta infoType previsto nella documentazione di riferimento relativa alle metriche.

Trova tutte le tabelle che contengono una determinata colonna con un determinato punteggio di sensibilità a livello di colonna

tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • COLUMN_NAME: il nome della colonna nella tabella BigQuery.
  • SENSITIVITY_SCORE: uno di HIGH, MODERATE o LOW.

Per ulteriori informazioni, consulta la sezione Livelli di rischio e sensibilità dei dati.

Valori tag troncati

Se i dati delle intestazioni di colonna di una tabella BigQuery superano i 10 MB, il tag risultante potrebbe mostrare [TRUNCATED] nel campo Column Insights o Column Sensitivity. In questo caso, ti consigliamo di andare a Sensitive Data Protection per esaminare il profilo dei dati della tabella e i profili dei dati delle colonne associati.