Questa pagina descrive come applicare automaticamente i tag Dataplex alle tabelle BigQuery dopo che Sensitive Data Protection ha creato i profili di queste tabelle. Questa pagina fornisce anche query di esempio che puoi utilizzare per trovare i dati taggati nella tua organizzazione e nei tuoi progetti.
Questa funzionalità è utile se vuoi arricchire i metadati selezionati manualmente in Dataplex con gli approfondimenti raccolti dai profili dei dati di Sensitive Data Protection. I tag generati includono le seguenti informazioni:
- Tipi di informazioni (infoTypes) rilevati nelle colonne della tabella
- Livello di sensibilità calcolato della tabella
- Livello di rischio dei dati calcolato della tabella
Le informazioni ricavate dai profili di dati di Sensitive Data Protection possono aiutarti a utilizzare Dataplex per rilevare i dati sensibili e ad alto rischio nella tua organizzazione. Utilizza queste informazioni per prendere decisioni consapevoli su come gestire e governare i tuoi dati.
Se vuoi inviare i risultati dei job di ispezione, non le operazioni di profilazione dei dati, a Dataplex, consulta l'articolo Inviare i risultati dell'ispezione per la protezione dei dati sensibili al Catalogo dati.
Informazioni sui profili di dati
Puoi configurare Sensitive Data Protection in modo che generi automaticamente profili dei dati in un'organizzazione, una cartella o un progetto. I profili di dati contengono metriche e metadati sui tuoi dati e ti aiutano a determinare dove si trovano i dati sensibili e ad alto rischio. Sensitive Data Protection genera report su queste metriche a vari livelli di dettaglio. Per informazioni sui tipi di dati che puoi profilare, consulta Risorse supportate.
Informazioni su Dataplex e Data Catalog
Dataplex è un servizio Google Cloud che unifica i dati distribuiti e automatizza la gestione e la governance dei dati. Data Catalog è un servizio di gestione dei metadati completamente gestito e scalabile all'interno di Dataplex.
Data Catalog ti consente di utilizzare tag e modelli di tag per associare i metadati aziendali ai tuoi dati. Puoi quindi cercare e gestire tutti i metadati della tua organizzazione o del tuo progetto in un servizio unificato. Per saperne di più, consulta Tag e modelli di tag.
Come funziona
Se nella configurazione della scansione del rilevamento è attivata l'azione Invia a Dataplex come tag, ogni volta che Sensitive Data Protection esegue il profilo dei tuoi dati: Questa azione viene applicata solo ai profili nuovi e aggiornati. I profili esistenti che non vengono aggiornati non vengono inviati a Dataplex.
Crea un modello di tag privato contenente lo schema dei tag che verranno collegati alle tabelle BigQuery. Per informazioni sul nome, sull'ID e sulla posizione del modello di tag, consulta Dettagli del modello di tag.
Solo le entità con i ruoli e le autorizzazioni appropriati possono visualizzare il modello di tag.
Crea un tag per ogni tabella BigQuery di cui viene creato il profilo. Il tag si basa sul modello di tag appena creato.
Ad esempio, un tag risultante allegato a una tabella può avere i seguenti metadati:
Nome visualizzato Valore Column Insights
ccn: CREDIT_CARD_NUMBER
first_name: PERSON_NAME
last_name: PERSON_NAME
ssn: US_SOCIAL_SECURITY_NUMBER
email: EMAIL_ADDRESS
Column Sensitivity
ccn: HIGH
first_name: MODERATE
last_name: MODERATE
favorite_animal: LOW
ssn: HIGH
email: MODERATE
id: LOW
Data Risk Level
HIGH
Other InfoTypes
PHONE_NUMBER
Predicted InfoTypes
CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
Profile Last Generated
DATE at TIME
Sensitive Data Profile
organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
Sensitivity Score
HIGH
Una tabella ha due tag se è stata profilata tramite entrambi i seguenti elementi:
- Una configurazione di scansione a livello di organizzazione o cartella
- Una configurazione di scansione a livello di progetto
Dopo aver taggato le tabelle, puoi cercare in Dataplex tutti i dati della tua organizzazione o del tuo progetto con valori di tag specifici.
Dettagli del modello di tag
Il nome del modello, l'ID modello e il progetto in cui è memorizzato il nuovo modello di tag dipendono dalla risorsa a cui si riferisce la configurazione della scansione.
- Se la configurazione di scansione è a livello di organizzazione o di cartella, il modello di tag viene archiviato nel contenitore dell'agente di servizio. Il nome del
modello di tag è
Sensitive Data Profile
. Il relativo ID modello èsensitive_data_profile
. - Se la configurazione di scansione è a livello di progetto, il
modello di tag viene archiviato nel progetto da profilare. Il nome del
modello di tag è
Sensitive Data Profile (Project)
. Il relativo ID modello èsensitive_data_profile_project
.
Prezzi
Per informazioni su come altri servizi Google Cloud potrebbero addebitarti l'esportazione dei profili di dati, consulta Prezzi per l'esportazione dei profili di dati.
Applicare automaticamente i tag alle tabelle BigQuery in base ai profili di dati
Crea una configurazione di scansione. In alternativa, modifica una configurazione di scansione esistente.
- Per creare una configurazione di scansione a livello di organizzazione o cartella, consulta Creare un profilo dei dati in un'organizzazione o una cartella.
- Per creare una configurazione di analisi a livello di progetto, consulta Creare un profilo dei dati in un singolo progetto.
Nel passaggio Aggiungi azioni, assicurati che l'opzione Invia a Dataplex come tag sia attivata.
- Se stai creando una configurazione di scansione, questa azione è attiva per impostazione predefinita.
- Se stai modificando una configurazione di analisi, devi attivare questa azione.
Dopo aver creato il profilo dei dati e averli taggati, puoi iniziare a cercare i dati taggati in Dataplex.
Ruoli e autorizzazioni per la visualizzazione dei tag
I risultati di ricerca di Dataplex mostrano solo i dati a cui hai accesso. Per cercare i tag associati alle tabelle BigQuery, devi disporre dei seguenti ruoli o autorizzazioni di Identity and Access Management (IAM).
Finalità | Ruolo predefinito | Autorizzazioni pertinenti |
---|---|---|
Visualizza il modello di tag privato | Visualizzatore TagTemplate Data Catalog (roles/datacatalog.tagTemplateViewer ) |
datacatalog.tagTemplates.getTag |
Visualizzare i tag applicati alle tabelle BigQuery | Visualizzatore metadati BigQuery (roles/bigquery.metadataViewer ) |
bigquery.datasets.get bigquery.tables.get |
Per saperne di più sui ruoli di Dataplex, vedi Ruoli per visualizzare i tag pubblici e privati.
Per informazioni sulla concessione di un ruolo predefinito, consulta Concedere un singolo ruolo. Se vuoi utilizzare un ruolo personalizzato anziché uno predefinito, assicurati che il ruolo personalizzato disponga delle autorizzazioni pertinenti. Per ulteriori informazioni, consulta Creare un ruolo personalizzato.
Trovare il modello di tag generato
Nella console Google Cloud, vai alla pagina Modelli di tag di Dataplex.
Nell'elenco, trova il modello di tag. Per informazioni sul nome, sull'ID e sulla posizione del modello di tag, consulta Dettagli del modello di tag.
(Facoltativo) Per trovare il modello di tag generato da una determinata configurazione della ricerca di annunci, inserisci quanto segue nel campo Filtro:
name:PROJECT_ID.TAG_TEMPLATE_ID
Sostituisci quanto segue:
- PROJECT_ID: l'ID del progetto associato alla configurazione della scansione. Se hai creato il profilo dei dati a livello di organizzazione o di cartella, inserisci l'ID progetto del contenitore dell'agente di servizio.
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto.
Trovare il tag generato per un determinato profilo di dati della tabella
Nella console Google Cloud, vai alla pagina Ricerca di Dataplex.
Nel campo Cerca, inserisci quanto segue:
name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID
Sostituisci quanto segue:
- TABLE_ID: l'ID della tabella di cui è stato creato il profilo.
- PROJECT_ID: l'ID del progetto che contiene il modello di tag. Se hai creato il profilo dei dati a livello di organizzazione o di cartella, inserisci l'ID progetto del contenitore dell'agente di servizio.
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto.
Nell'elenco visualizzato, fai clic sull'ID tabella. Vengono visualizzati i dettagli della tabella BigQuery, insieme a eventuali tag
Sensitive Data Profile
oSensitive Data Profile (Project)
associati.Una tabella ha due tag se è stata sottoposta a profilazione tramite entrambi i seguenti elementi:
- Una configurazione di scansione a livello di organizzazione o cartella
- Una configurazione di scansione a livello di progetto
Per informazioni su come eseguire una ricerca tramite l'API Data Catalog, consulta Come cercare asset di dati.
Esempi di query di ricerca
Questa sezione fornisce esempi di query di ricerca che puoi utilizzare in Dataplex per trovare dati nella tua organizzazione o nel tuo progetto con valori di tag specifici.
Puoi trovare solo i dati a cui hai accesso. L'accesso ai dati è controllato tramite le autorizzazioni IAM. Per ulteriori informazioni, consulta la sezione Ruoli e autorizzazioni per la visualizzazione dei tag in questa pagina.
Puoi inserire queste query nella pagina Ricerca di Dataplex nella console Google Cloud.
Per informazioni su come formare le query, consulta la sintassi di ricerca di Data Catalog. Per informazioni su come eseguire una ricerca tramite l'API Data Catalog, consulta Come cercare asset di dati.
Trovare tutte le tabelle taggate utilizzando il nuovo modello di tag
tag:PROJECT_ID.TAG_TEMPLATE_ID
Sostituisci quanto segue:
- PROJECT_ID: l'ID del progetto che contiene il modello di tag. Se hai creato il profilo dei dati a livello di organizzazione o di cartella, inserisci l'ID progetto del contenitore dell'agente di servizio.
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto.
Gli esempi successivi in questa pagina non includono l'ID progetto, pertanto potresti ottenere risultati associati a varie configurazioni di scansione di scoperta. Per limitare i risultati a una determinata configurazione di scansione, aggiungi l'ID progetto alla query come mostrato in questo esempio.
Trovare tutte le tabelle di cui è stata eseguita l'ultima profilazione prima di una determinata data
tag:TAG_TEMPLATE_ID.profile_last_generated<DATE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - DATE: una data nel formato
YYYY-MM-DD
, ad esempio2023-01-15
.
Trovare tutte le tabelle con un determinato punteggio di sensibilità a livello di tabella
tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - SENSITIVITY_SCORE: uno di
HIGH
,MODERATE
oLOW
.
Per ulteriori informazioni, consulta la sezione Livelli di rischio e sensibilità dei dati.
Trovare tutte le tabelle con un determinato livello di rischio dei dati
tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - DATA_RISK_LEVEL: uno di
HIGH
,MODERATE
oLOW
.
Per ulteriori informazioni, consulta la sezione Livelli di rischio e sensibilità dei dati.
Trovare tutte le tabelle che contengono un determinato infoType previsto
tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - INFOTYPE: l'elemento infoType, ad esempio
PERSON_NAME
.
Per un elenco di tutti gli infoType integrati, consulta la Guida di riferimento per i rilevatori di infoType.
Per ulteriori informazioni, consulta infoType previsto nella documentazione di riferimento relativa alle metriche.
Trovare tutte le tabelle che contengono parzialmente un determinato infoType
tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - INFOTYPE: l'elemento infoType, ad esempio
PERSON_NAME
.
Per un elenco di tutti gli infoType integrati, consulta la Guida di riferimento per i rilevatori di infoType.
Per ulteriori informazioni, consulta Altri infoType nella documentazione di riferimento relativa alle metriche.
Trovare tutte le tabelle che contengono una determinata colonna con un determinato infoType previsto
tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - COLUMN_NAME: il nome della colonna nella tabella BigQuery.
- INFOTYPE: l'elemento infoType, ad esempio
PERSON_NAME
.
Per un elenco di tutti gli infoType integrati, consulta la Guida di riferimento per i rilevatori di infoType.
Per ulteriori informazioni, consulta infoType previsto nella documentazione di riferimento relativa alle metriche.
Trova tutte le tabelle che contengono una determinata colonna con un determinato punteggio di sensibilità a livello di colonna
tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE
Sostituisci quanto segue:
- TAG_TEMPLATE_ID:
sensitive_data_profile
se la configurazione della scansione è per un'organizzazione o una cartella;sensitive_data_profile_project
se la configurazione della scansione è per un progetto. - COLUMN_NAME: il nome della colonna nella tabella BigQuery.
- SENSITIVITY_SCORE: uno di
HIGH
,MODERATE
oLOW
.
Per ulteriori informazioni, consulta la sezione Livelli di rischio e sensibilità dei dati.
Valori tag troncati
Se i dati delle intestazioni di colonna di una tabella BigQuery superano i 10 MB, il
tag risultante potrebbe mostrare [TRUNCATED]
nel campo Column Insights
o Column
Sensitivity
. In questo caso, ti consigliamo di andare a Sensitive Data Protection per esaminare il profilo dei dati della tabella e i profili dei dati delle colonne associati.