Questa pagina descrive come applicare automaticamente i tag Dataplex alle tabelle BigQuery dopo che Sensitive Data Protection profila queste tabelle. Questa pagina fornisce anche query di esempio che puoi utilizzare per trovare dati taggati nella tua organizzazione e nei tuoi progetti.
Questa funzionalità è utile se vuoi arricchire i metadati curati manualmente in Dataplex con insight raccolti dai profili dei dati di Sensitive Data Protection. I tag generati includono i seguenti insight:
- Tipi di informazioni (infoTypes) rilevati nelle colonne della tabella
- Livello di sensibilità calcolato della tabella
- Livello di rischio dei dati calcolato della tabella
Gli insight dei profili di dati di Sensitive Data Protection possono aiutarti a utilizzare Dataplex per rilevare dati sensibili e ad alto rischio nella tua organizzazione. Utilizza questi approfondimenti per prendere decisioni consapevoli su come gestire e governare i tuoi dati.
Se vuoi inviare a Dataplex i risultati dei job di ispezione, non le operazioni di profilazione dei dati, consulta Inviare i risultati dell'ispezione di Sensitive Data Protection a Data Catalog.
Informazioni sui profili di dati
Puoi configurare Sensitive Data Protection in modo da generare automaticamente profili per i dati in un'organizzazione, una cartella o un progetto. I profili dati contengono metriche e metadati sui tuoi dati e ti aiutano a determinare dove si trovano i dati sensibili e ad alto rischio. Sensitive Data Protection segnala queste metriche a vari livelli di dettaglio. Per informazioni sui tipi di dati che puoi profilare, consulta Risorse supportate.
Informazioni su Dataplex e Data Catalog
Dataplex è un servizio Google Cloud che unifica i dati distribuiti e automatizza la gestione e la governance dei dati. Data Catalog è un servizio di gestione dei metadati scalabile e completamente gestito all'interno di Dataplex.
Data Catalog consente di utilizzare tag e modelli di tag per collegare i metadati aziendali ai dati. Puoi quindi cercare e gestire tutti i metadati per la tua organizzazione o il tuo progetto in un servizio unificato. Per ulteriori informazioni, consulta la sezione Tag e modelli di tag.
Come funziona
Se nella configurazione dell'analisi del rilevamento è abilitata l'azione Invia a Dataplex come tag, Sensitive Data Protection esegue le seguenti operazioni ogni volta che profila i tuoi dati. Questa azione viene applicata solo ai profili nuovi e aggiornati. I profili esistenti che non sono aggiornati non vengono inviati a Dataplex.
Crea un modello di tag privato contenente lo schema dei tag che verranno associati alle tue tabelle BigQuery. Per informazioni su nome, ID e posizione del modello di tag, consulta Dettagli modello di tag.
Solo le entità con i ruoli e le autorizzazioni appropriati possono visualizzare il modello di tag.
Crea un tag per ogni tabella BigQuery che profila. Il tag si basa sul modello di tag appena creato.
Ad esempio, un tag risultante associato a una tabella può avere i seguenti metadati:
Nome visualizzato Valore Column Insights
ccn: CREDIT_CARD_NUMBER
first_name: PERSON_NAME
last_name: PERSON_NAME
ssn: US_SOCIAL_SECURITY_NUMBER
email: EMAIL_ADDRESS
Column Sensitivity
ccn: HIGH
first_name: MODERATE
last_name: MODERATE
favorite_animal: LOW
ssn: HIGH
email: MODERATE
id: LOW
Data Risk Level
HIGH
Other InfoTypes
PHONE_NUMBER
Predicted InfoTypes
CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
Profile Last Generated
DATE at TIME
Sensitive Data Profile
organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
Sensitivity Score
HIGH
Una tabella ha due tag se è stata definita in entrambi i seguenti elementi:
- Una configurazione dell'analisi a livello di organizzazione o cartella
- Una configurazione della scansione a livello di progetto
Dopo aver assegnato tag alle tabelle, puoi cercare in Dataplex tutti i dati dell'organizzazione o del progetto con valori di tag specifici.
Dettagli modello di tag
Il nome del modello, l'ID modello e il progetto in cui è archiviato il nuovo modello di tag dipendono dalla risorsa a cui appartiene la configurazione della scansione.
- Se la configurazione dell'analisi è a livello di organizzazione o cartella, il modello di tag viene archiviato nel contenitore dell'agente di servizio. Il nome del modello di tag è
Sensitive Data Profile
. L'ID modello èsensitive_data_profile
. - Se la configurazione dell'analisi è a livello di progetto, il modello di tag viene archiviato nel progetto da profilare. Il nome del modello di tag è
Sensitive Data Profile (Project)
. L'ID modello èsensitive_data_profile_project
.
Prezzi
Per informazioni su come altri servizi Google Cloud potrebbero addebitarti i costi per l'esportazione dei profili di dati, consulta la sezione Prezzi per l'esportazione dei profili di dati.
Tagging automatico delle tabelle BigQuery in base ai profili dei dati
Crea una configurazione di scansione. In alternativa, modifica una configurazione di scansione esistente.
- Per creare una configurazione di scansione a livello di organizzazione o cartella, vedi Dati del profilo in un'organizzazione o una cartella.
- Per creare una configurazione di scansione a livello di progetto, consulta Dati del profilo in un singolo progetto.
Nel passaggio Aggiungi azioni, assicurati che l'opzione Invia a Dataplex come tag sia attivata.
- Se stai creando una configurazione di scansione, questa azione è abilitata per impostazione predefinita.
- Se stai modificando la configurazione di una scansione, devi abilitare questa azione.
Dopo aver profilato e taggato i dati, puoi iniziare a cercare dati con tag in Dataplex.
Ruoli e autorizzazioni per la visualizzazione dei tag
I risultati di ricerca di Dataplex mostrano solo i dati a cui hai accesso. Per cercare i tag collegati alle tabelle BigQuery, devi disporre dei seguenti ruoli o autorizzazioni IAM (Identity and Access Management).
Finalità | Ruolo predefinito | Autorizzazioni pertinenti |
---|---|---|
Visualizza il modello di tag privato | Visualizzatore TagTemplate Data Catalog (roles/datacatalog.tagTemplateViewer ) |
datacatalog.tagTemplates.getTag |
Visualizzare i tag applicati alle tabelle BigQuery | Visualizzatore metadati BigQuery (roles/bigquery.metadataViewer ) |
bigquery.datasets.get bigquery.tables.get |
Per saperne di più sui ruoli Dataplex, consulta Ruoli per visualizzare i tag pubblici e privati.
Per informazioni sulla concessione di un ruolo predefinito, consulta Concedere un singolo ruolo. Se vuoi utilizzare un ruolo personalizzato anziché uno predefinito, assicurati che il ruolo personalizzato disponga delle autorizzazioni pertinenti. Per ulteriori informazioni, consulta Creare un ruolo personalizzato.
Trovare il modello di tag generato
Nella console Google Cloud, vai alla pagina Modelli di tag di Dataplex.
Individua il modello di tag nell'elenco. Per informazioni su nome, ID e posizione del modello di tag, consulta Dettagli del modello di tag.
(Facoltativo) Per trovare il modello di tag generato da una determinata configurazione di scansione del rilevamento, inserisci quanto segue nel campo Filtro:
name:PROJECT_ID.TAG_TEMPLATE_ID
Sostituisci quanto segue:
- PROJECT_ID: l'ID del progetto associato alla configurazione della scansione. Se hai profilato i dati a livello di organizzazione o cartella, inserisci l'ID progetto del container dell'agente di servizio.
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto.
Trovare il tag generato per un determinato profilo dati tabella
Nella console Google Cloud, vai alla pagina Ricerca di Dataplex.
Nel campo Cerca, inserisci quanto segue:
name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID
Sostituisci quanto segue:
- TABLE_ID: l'ID della tabella profilata.
- PROJECT_ID: l'ID del progetto che contiene il modello di tag. Se hai profilato i dati a livello di organizzazione o cartella, inserisci l'ID progetto del container dell'agente di servizio.
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto.
Nell'elenco visualizzato, fai clic sull'ID tabella. I dettagli della tabella BigQuery vengono visualizzati insieme a eventuali tag
Sensitive Data Profile
oSensitive Data Profile (Project)
associati.Una tabella ha due tag se è stata definita in entrambi i seguenti elementi:
- Una configurazione dell'analisi a livello di organizzazione o cartella
- Una configurazione della scansione a livello di progetto
Per informazioni su come eseguire una ricerca tramite l'API Data Catalog, vedi Come cercare asset di dati.
Esempi di query di ricerca
Questa sezione fornisce query di ricerca di esempio che puoi utilizzare in Dataplex per trovare dati nella tua organizzazione o nel tuo progetto con valori di tag specifici.
Puoi trovare solo i dati a cui hai accesso. L'accesso ai dati è controllato tramite autorizzazioni IAM. Per ulteriori informazioni, consulta Ruoli e autorizzazioni per la visualizzazione dei tag in questa pagina.
Puoi inserire queste query nella pagina Ricerca di Dataplex nella console Google Cloud.
Per informazioni su come creare le query, consulta Sintassi di ricerca di Data Catalog. Per informazioni su come eseguire una ricerca tramite l'API Data Catalog, consulta Come cercare asset di dati.
Trovare tutte le tabelle codificate utilizzando il nuovo modello di tag
tag:PROJECT_ID.TAG_TEMPLATE_ID
Sostituisci quanto segue:
- PROJECT_ID: l'ID del progetto che contiene il modello di tag. Se hai profilato i dati a livello di organizzazione o cartella, inserisci l'ID progetto del container dell'agente di servizio.
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto.
Gli esempi successivi in questa pagina non includono l'ID progetto, quindi potresti ottenere risultati associati a varie configurazioni di scansione di rilevamento. Per limitare i risultati a una determinata configurazione di scansione, aggiungi l'ID progetto alla query come mostrato in questo esempio.
Trovare tutte le tabelle profilate l'ultima volta prima di una determinata data
tag:TAG_TEMPLATE_ID.profile_last_generated<DATE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - DATE: una data nel formato
YYYY-MM-DD
, ad esempio2023-01-15
.
Trovare tutte le tabelle con un determinato punteggio di sensibilità a livello di tabella
tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - SENSITIVITY_SCORE: uno tra
HIGH
,MODERATE
oLOW
.
Per ulteriori informazioni, consulta Livelli di rischio e sensibilità per i dati.
Trovare tutte le tabelle con un determinato livello di rischio dei dati
tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - DATA_RISK_LEVEL: uno tra
HIGH
,MODERATE
oLOW
.
Per ulteriori informazioni, consulta Livelli di rischio e sensibilità per i dati.
Trovare tutte le tabelle che contengono un determinato infoType previsto
tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - INFOTYPE: l'infoType, ad esempio
PERSON_NAME
.
Per un elenco di tutti gli infoType integrati, consulta il riferimento per il rilevatore di InfoType.
Per ulteriori informazioni, consulta InfoType previsto nel riferimento sulle metriche.
Trovare tutte le tabelle che contengono parzialmente un determinato infoType
tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - INFOTYPE: l'infoType, ad esempio
PERSON_NAME
.
Per un elenco di tutti gli infoType integrati, consulta il riferimento per il rilevatore di InfoType.
Per ulteriori informazioni, consulta Altri infoType nel riferimento sulle metriche.
Trovare tutte le tabelle che contengono una determinata colonna con un determinato infoType previsto
tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - COLUMN_NAME: nome della colonna nella tabella BigQuery.
- INFOTYPE: l'infoType, ad esempio
PERSON_NAME
.
Per un elenco di tutti gli infoType integrati, consulta il riferimento per il rilevatore di InfoType.
Per ulteriori informazioni, consulta InfoType previsto nel riferimento sulle metriche.
Trovare tutte le tabelle che contengono una determinata colonna con un determinato punteggio di sensibilità a livello di colonna
tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - COLUMN_NAME: nome della colonna nella tabella BigQuery.
- SENSITIVITY_SCORE: uno tra
HIGH
,MODERATE
oLOW
.
Per ulteriori informazioni, consulta Livelli di rischio e sensibilità per i dati.