Tagga le tabelle in Dataplex in base agli insight dei profili di dati

Questa pagina descrive come applicare automaticamente i tag Dataplex alle tabelle BigQuery dopo che Sensitive Data Protection profila queste tabelle. Questa pagina fornisce anche query di esempio che puoi utilizzare per trovare dati taggati nella tua organizzazione e nei tuoi progetti.

Questa funzionalità è utile se vuoi arricchire i metadati curati manualmente in Dataplex con insight raccolti dai profili dei dati di Sensitive Data Protection. I tag generati includono i seguenti insight:

  • Tipi di informazioni (infoTypes) rilevati nelle colonne della tabella
  • Livello di sensibilità calcolato della tabella
  • Livello di rischio dei dati calcolato della tabella

Gli insight dei profili di dati di Sensitive Data Protection possono aiutarti a utilizzare Dataplex per rilevare dati sensibili e ad alto rischio nella tua organizzazione. Utilizza questi approfondimenti per prendere decisioni consapevoli su come gestire e governare i tuoi dati.

Se vuoi inviare a Dataplex i risultati dei job di ispezione, non le operazioni di profilazione dei dati, consulta Inviare i risultati dell'ispezione di Sensitive Data Protection a Data Catalog.

Informazioni sui profili di dati

Puoi configurare Sensitive Data Protection in modo da generare automaticamente profili per i dati in un'organizzazione, una cartella o un progetto. I profili dati contengono metriche e metadati sui tuoi dati e ti aiutano a determinare dove si trovano i dati sensibili e ad alto rischio. Sensitive Data Protection segnala queste metriche a vari livelli di dettaglio. Per informazioni sui tipi di dati che puoi profilare, consulta Risorse supportate.

Informazioni su Dataplex e Data Catalog

Dataplex è un servizio Google Cloud che unifica i dati distribuiti e automatizza la gestione e la governance dei dati. Data Catalog è un servizio di gestione dei metadati scalabile e completamente gestito all'interno di Dataplex.

Data Catalog consente di utilizzare tag e modelli di tag per collegare i metadati aziendali ai dati. Puoi quindi cercare e gestire tutti i metadati per la tua organizzazione o il tuo progetto in un servizio unificato. Per ulteriori informazioni, consulta la sezione Tag e modelli di tag.

Come funziona

Se nella configurazione dell'analisi del rilevamento è abilitata l'azione Invia a Dataplex come tag, Sensitive Data Protection esegue le seguenti operazioni ogni volta che profila i tuoi dati. Questa azione viene applicata solo ai profili nuovi e aggiornati. I profili esistenti che non sono aggiornati non vengono inviati a Dataplex.

  1. Crea un modello di tag privato contenente lo schema dei tag che verranno associati alle tue tabelle BigQuery. Per informazioni su nome, ID e posizione del modello di tag, consulta Dettagli modello di tag.

    Solo le entità con i ruoli e le autorizzazioni appropriati possono visualizzare il modello di tag.

  2. Crea un tag per ogni tabella BigQuery che profila. Il tag si basa sul modello di tag appena creato.

    Ad esempio, un tag risultante associato a una tabella può avere i seguenti metadati:

    Nome visualizzato Valore
    Column Insights ccn: CREDIT_CARD_NUMBER
    first_name: PERSON_NAME
    last_name: PERSON_NAME
    ssn: US_SOCIAL_SECURITY_NUMBER
    email: EMAIL_ADDRESS
    Column Sensitivity ccn: HIGH
    first_name: MODERATE
    last_name: MODERATE
    favorite_animal: LOW
    ssn: HIGH
    email: MODERATE
    id: LOW
    Data Risk Level HIGH
    Other InfoTypes PHONE_NUMBER
    Predicted InfoTypes CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
    Profile Last Generated DATE at TIME
    Sensitive Data Profile organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
    Sensitivity Score HIGH

Una tabella ha due tag se è stata definita in entrambi i seguenti elementi:

  • Una configurazione dell'analisi a livello di organizzazione o cartella
  • Una configurazione della scansione a livello di progetto

Dopo aver assegnato tag alle tabelle, puoi cercare in Dataplex tutti i dati dell'organizzazione o del progetto con valori di tag specifici.

Dettagli modello di tag

Il nome del modello, l'ID modello e il progetto in cui è archiviato il nuovo modello di tag dipendono dalla risorsa a cui appartiene la configurazione della scansione.

  • Se la configurazione dell'analisi è a livello di organizzazione o cartella, il modello di tag viene archiviato nel contenitore dell'agente di servizio. Il nome del modello di tag è Sensitive Data Profile. L'ID modello è sensitive_data_profile.
  • Se la configurazione dell'analisi è a livello di progetto, il modello di tag viene archiviato nel progetto da profilare. Il nome del modello di tag è Sensitive Data Profile (Project). L'ID modello è sensitive_data_profile_project.

Prezzi

Per informazioni su come altri servizi Google Cloud potrebbero addebitarti i costi per l'esportazione dei profili di dati, consulta la sezione Prezzi per l'esportazione dei profili di dati.

Tagging automatico delle tabelle BigQuery in base ai profili dei dati

  1. Crea una configurazione di scansione. In alternativa, modifica una configurazione di scansione esistente.

  2. Nel passaggio Aggiungi azioni, assicurati che l'opzione Invia a Dataplex come tag sia attivata.

    • Se stai creando una configurazione di scansione, questa azione è abilitata per impostazione predefinita.
    • Se stai modificando la configurazione di una scansione, devi abilitare questa azione.

Dopo aver profilato e taggato i dati, puoi iniziare a cercare dati con tag in Dataplex.

Ruoli e autorizzazioni per la visualizzazione dei tag

I risultati di ricerca di Dataplex mostrano solo i dati a cui hai accesso. Per cercare i tag collegati alle tabelle BigQuery, devi disporre dei seguenti ruoli o autorizzazioni IAM (Identity and Access Management).

Finalità Ruolo predefinito Autorizzazioni pertinenti
Visualizza il modello di tag privato Visualizzatore TagTemplate Data Catalog (roles/datacatalog.tagTemplateViewer) datacatalog.tagTemplates.getTag
Visualizzare i tag applicati alle tabelle BigQuery Visualizzatore metadati BigQuery (roles/bigquery.metadataViewer) bigquery.datasets.get
bigquery.tables.get

Per saperne di più sui ruoli Dataplex, consulta Ruoli per visualizzare i tag pubblici e privati.

Per informazioni sulla concessione di un ruolo predefinito, consulta Concedere un singolo ruolo. Se vuoi utilizzare un ruolo personalizzato anziché uno predefinito, assicurati che il ruolo personalizzato disponga delle autorizzazioni pertinenti. Per ulteriori informazioni, consulta Creare un ruolo personalizzato.

Trovare il modello di tag generato

  1. Nella console Google Cloud, vai alla pagina Modelli di tag di Dataplex.

    Vai ai modelli di tag

  2. Individua il modello di tag nell'elenco. Per informazioni su nome, ID e posizione del modello di tag, consulta Dettagli del modello di tag.

  3. (Facoltativo) Per trovare il modello di tag generato da una determinata configurazione di scansione del rilevamento, inserisci quanto segue nel campo Filtro:

    name:PROJECT_ID.TAG_TEMPLATE_ID
    

    Sostituisci quanto segue:

    • PROJECT_ID: l'ID del progetto associato alla configurazione della scansione. Se hai profilato i dati a livello di organizzazione o cartella, inserisci l'ID progetto del container dell'agente di servizio.
    • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.

Trovare il tag generato per un determinato profilo dati tabella

  1. Nella console Google Cloud, vai alla pagina Ricerca di Dataplex.

    Vai alla Ricerca

  2. Nel campo Cerca, inserisci quanto segue:

    name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID
    

    Sostituisci quanto segue:

    • TABLE_ID: l'ID della tabella profilata.
    • PROJECT_ID: l'ID del progetto che contiene il modello di tag. Se hai profilato i dati a livello di organizzazione o cartella, inserisci l'ID progetto del container dell'agente di servizio.
    • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  3. Nell'elenco visualizzato, fai clic sull'ID tabella. I dettagli della tabella BigQuery vengono visualizzati insieme a eventuali tag Sensitive Data Profile o Sensitive Data Profile (Project) associati.

    Una tabella ha due tag se è stata definita in entrambi i seguenti elementi:

    • Una configurazione dell'analisi a livello di organizzazione o cartella
    • Una configurazione della scansione a livello di progetto

Per informazioni su come eseguire una ricerca tramite l'API Data Catalog, vedi Come cercare asset di dati.

Esempi di query di ricerca

Questa sezione fornisce query di ricerca di esempio che puoi utilizzare in Dataplex per trovare dati nella tua organizzazione o nel tuo progetto con valori di tag specifici.

Puoi trovare solo i dati a cui hai accesso. L'accesso ai dati è controllato tramite autorizzazioni IAM. Per ulteriori informazioni, consulta Ruoli e autorizzazioni per la visualizzazione dei tag in questa pagina.

Puoi inserire queste query nella pagina Ricerca di Dataplex nella console Google Cloud.

Vai alla Ricerca

Per informazioni su come creare le query, consulta Sintassi di ricerca di Data Catalog. Per informazioni su come eseguire una ricerca tramite l'API Data Catalog, consulta Come cercare asset di dati.

Trovare tutte le tabelle codificate utilizzando il nuovo modello di tag

tag:PROJECT_ID.TAG_TEMPLATE_ID

Sostituisci quanto segue:

  • PROJECT_ID: l'ID del progetto che contiene il modello di tag. Se hai profilato i dati a livello di organizzazione o cartella, inserisci l'ID progetto del container dell'agente di servizio.
  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.

Gli esempi successivi in questa pagina non includono l'ID progetto, quindi potresti ottenere risultati associati a varie configurazioni di scansione di rilevamento. Per limitare i risultati a una determinata configurazione di scansione, aggiungi l'ID progetto alla query come mostrato in questo esempio.

Trovare tutte le tabelle profilate l'ultima volta prima di una determinata data

tag:TAG_TEMPLATE_ID.profile_last_generated<DATE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • DATE: una data nel formato YYYY-MM-DD, ad esempio 2023-01-15.

Trovare tutte le tabelle con un determinato punteggio di sensibilità a livello di tabella

tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • SENSITIVITY_SCORE: uno tra HIGH, MODERATE o LOW.

Per ulteriori informazioni, consulta Livelli di rischio e sensibilità per i dati.

Trovare tutte le tabelle con un determinato livello di rischio dei dati

tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • DATA_RISK_LEVEL: uno tra HIGH, MODERATE o LOW.

Per ulteriori informazioni, consulta Livelli di rischio e sensibilità per i dati.

Trovare tutte le tabelle che contengono un determinato infoType previsto

tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • INFOTYPE: l'infoType, ad esempio PERSON_NAME.

Per un elenco di tutti gli infoType integrati, consulta il riferimento per il rilevatore di InfoType.

Per ulteriori informazioni, consulta InfoType previsto nel riferimento sulle metriche.

Trovare tutte le tabelle che contengono parzialmente un determinato infoType

tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • INFOTYPE: l'infoType, ad esempio PERSON_NAME.

Per un elenco di tutti gli infoType integrati, consulta il riferimento per il rilevatore di InfoType.

Per ulteriori informazioni, consulta Altri infoType nel riferimento sulle metriche.

Trovare tutte le tabelle che contengono una determinata colonna con un determinato infoType previsto

tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • COLUMN_NAME: nome della colonna nella tabella BigQuery.
  • INFOTYPE: l'infoType, ad esempio PERSON_NAME.

Per un elenco di tutti gli infoType integrati, consulta il riferimento per il rilevatore di InfoType.

Per ulteriori informazioni, consulta InfoType previsto nel riferimento sulle metriche.

Trovare tutte le tabelle che contengono una determinata colonna con un determinato punteggio di sensibilità a livello di colonna

tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE

Sostituisci quanto segue:

  • TAG_TEMPLATE_ID: sensitive_data_profile se la configurazione della scansione è per un'organizzazione o una cartella; sensitive_data_profile_project se la configurazione della scansione è per un progetto.
  • COLUMN_NAME: nome della colonna nella tabella BigQuery.
  • SENSITIVITY_SCORE: uno tra HIGH, MODERATE o LOW.

Per ulteriori informazioni, consulta Livelli di rischio e sensibilità per i dati.