Inviare i risultati dell'ispezione della protezione dei dati sensibili a Data Catalog

Questa guida mostra come utilizzare Sensitive Data Protection per ispezionare una tabella BigQuery e inviare i risultati dell'ispezione a Data Catalog.

Inoltre, puoi eseguire la profilazione dei dati, che è diversa da un'operazione di ispezione. Puoi anche inviare profili di dati a Dataplex. Per saperne di più, consulta Etichettare le tabelle in Dataplex in base alle informazioni dei profili dei dati.

Data Catalog è un servizio di gestione dei metadati scalabile che ti consente di scoprire, gestire e comprendere rapidamente tutti i tuoi dati in Google Cloud.

Sensitive Data Protection ha un'integrazione integrata con Data Catalog. Quando utilizzi un'azione di protezione dei dati sensibili per esaminare le tabelle BigQuery alla ricerca di dati sensibili, puoi inviare i risultati direttamente a Data Catalog sotto forma di modello di tag.

Se completi i passaggi descritti in questa guida, potrai:

• Attiva Data Catalog e Sensitive Data Protection.
• Configurare Sensitive Data Protection per ispezionare una tabella BigQuery.
• Configura un'ispezione di Sensitive Data Protection per inviare i risultati dell'ispezione a Data Catalog.

Per ulteriori informazioni su Data Catalog, consulta la documentazione di Data Catalog.

Se vuoi inviare a Dataplex i risultati delle operazioni di profilazione dei dati, non dei job di ispezione, consulta la documentazione relativa alla profilazione di un'organizzazione, di una cartella o di un progetto.

Costi

In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:

• Sensitive Data Protection
• BigQuery

Per generare una stima dei costi basata sull'utilizzo previsto, utilizza il Calcolatore prezzi. I nuovi utenti di Google Cloud potrebbero essere idonei per una prova gratuita.

Prima di iniziare

Prima di poter inviare i risultati dell'ispezione di Sensitive Data Protection a Data Catalog, segui questa procedura:

• Passaggio 1: configura la fatturazione.
• Passaggio 2: crea un nuovo progetto e compila una nuova tabella BigQuery. (Facoltativo).
• Passaggio 3: attiva il Catalogo di dati.
• Passaggio 4: abilita Sensitive Data Protection.

Le sottosezioni seguenti illustrano in dettaglio ogni passaggio.

Passaggio 1: configura la fatturazione

Se non ne hai già uno, devi prima configurare un account di fatturazione.

Scopri come attivare la fatturazione

(Facoltativo) Passaggio 2: crea un nuovo progetto e compila una nuova tabella BigQuery

Se stai configurando questa funzionalità per il lavoro di produzione o hai già una tabella BigQuery che vuoi ispezionare, apri il progetto Google Cloud che contiene la tabella e vai al passaggio 3.

Se stai provando questa funzionalità e vuoi esaminare i dati di test, crea un nuovo progetto. Per completare questo passaggio, devi disporre del ruolo IAM Creator di progetti. Scopri di più sui ruoli IAM.

1. Vai alla pagina Nuovo progetto nella console Google Cloud.

   Nuovo progetto

2. Nell'elenco a discesa Account di fatturazione, seleziona l'account di fatturazione su cui deve essere fatturata la spesa del progetto.
3. Nell'elenco a discesa Organizzazione, seleziona l'organizzazione in cui creare il progetto.
4. Nell'elenco a discesa Posizione, seleziona l'organizzazione o la cartella in cui vuoi creare il progetto.
5. Fai clic su Crea per creare il progetto.

Poi scarica e memorizza i dati di esempio:

1. Vai al repository dei tutorial sulle funzioni Cloud Run su GitHub.
2. Seleziona uno dei file CSV contenenti dati di esempio e scaricalo.
3. Poi, vai a BigQuery nella console Google Cloud.
4. Seleziona il progetto.
5. Fai clic su Crea set di dati.
6. Fai clic su Crea tabella.
7. Fai clic su Carica e seleziona il file da caricare.
8. Assegna un nome alla tabella e fai clic su Crea tabella.

Passaggio 3: attiva il Catalogo di dati

Successivamente, abilita Data Catalog per il progetto che contiene la tabella BigQuery che vuoi ispezionare utilizzando la funzionalità Sensitive Data Protection.

Per attivare Data Catalog utilizzando la console Google Cloud:

1. Registra la tua applicazione per Data Catalog.

   Registra la tua applicazione per Data Catalog

2. Nella pagina di registrazione, nell'elenco a discesa Crea un progetto, seleziona il progetto da utilizzare con Data Catalog.
3. Dopo aver selezionato il progetto, fai clic su Continua.

Data Catalog è ora abilitato per il tuo progetto.

Passaggio 4: attiva Sensitive Data Protection

Abilita Sensitive Data Protection per lo stesso progetto per cui hai attivato Data Catalog.

Per attivare Sensitive Data Protection utilizzando la console Google Cloud:

1. Registra la tua applicazione per Sensitive Data Protection.

   Registra la tua applicazione per Sensitive Data Protection

2. Nella pagina di registrazione, dall'elenco a discesa Crea un progetto, seleziona lo stesso progetto scelto nel passaggio precedente.
3. Dopo aver selezionato il progetto, fai clic su Continua.

Sensitive Data Protection è ora attivato per il tuo progetto.

Configura ed esegui un job di ispezione di Sensitive Data Protection

Puoi configurare ed eseguire un job di ispezione di Sensitive Data Protection utilizzando la console Google Cloud o l'API DLP.

I modelli di tag di Data Catalog vengono archiviati nella stessa regione e nello stesso progetto della tabella BigQuery. Se stai ispezionando una tabella di un altro progetto, devi concedere il ruolo Proprietario modello di tag del catalogo dati (roles/datacatalog.tagTemplateOwner) all'agente di servizio Sensitive Data Protection nel progetto in cui esiste la tabella BigQuery.

Console Google Cloud

Per configurare un job di ispezione di una tabella BigQuery utilizzando Sensitive Data Protection:

1. Nella sezione Protezione dei dati sensibili della console Google Cloud, vai alla pagina Crea job o trigger.

   Vai a Crea job o trigger di job

2. Inserisci le informazioni sul job Sensitive Data Protection e fai clic su Continua per completare ogni passaggio:

   • Per il passaggio 1: scegli i dati di input, assegna un nome al job inserendo un valore nel campo Nome. In Posizione, scegli BigQuery dal menu Tipo di archiviazione, quindi inserisci le informazioni relative alla tabella da ispezionare. La sezione Campionamento è preconfigurata per eseguire un'ispezione di esempio sui tuoi dati. Puoi aggiustare i campi Limita righe per e Numero massimo di righe per risparmiare risorse se hai una grande quantità di dati. Per maggiori dettagli, consulta Scegliere i dati di input.

   • (Facoltativo) Nel passaggio 2: configura il rilevamento, configura i tipi di dati da cercare, chiamati "infoTypes". Ai fini di questa procedura dettagliata, mantieni selezionati gli infoTypes predefiniti. Per maggiori dettagli, vedi Configurare il rilevamento.

   • Per il passaggio 3: aggiungi azioni, attiva Salva in Data Catalog.

   • (Facoltativo) Per il passaggio 4: Pianifica, ai fini di questa procedura guidata, lascia il menu impostato su Nessuna in modo che l'ispezione venga eseguita solo una volta. Per scoprire di più sulla pianificazione dei job di ispezione ripetuti, consulta Pianifica.

3. Fai clic su Crea. Il job viene eseguito immediatamente.

DLP API

In questa sezione, configuri ed esegui un job di ispezione di Sensitive Data Protection.

Nota: queste istruzioni utilizzano APIs Explorer per inviare richieste che contengono JSON a Sensitive Data Protection. Questo strumento è destinato esclusivamente a scopi didattici, dimostrativi e sperimentali e non devi mai utilizzare Explorer API per lavori di produzione. In alternativa, puoi utilizzare gcloud, curl o httplib2 per inviare queste richieste. Puoi anche utilizzare una delle librerie client di Sensitive Data Protection disponibili per accedere all'API utilizzando Java, Python, Go e altri linguaggi.

Il job di ispezione che configuri qui indica a Sensitive Data Protection di ispezionare i dati BigQuery di esempio descritti nel passaggio 2 qui sopra o i tuoi dati BigQuery. La configurazione del job che specifichi è anche dove indichi a Sensitive Data Protection di salvare i risultati dell'ispezione nel Data Catalog.

Passaggio 1: prendi nota dell'identificatore del progetto

1. Vai alla console Google Cloud.

   Vai alla console Google Cloud

2. Fai clic su Seleziona.

3. Nell'elenco a discesa Seleziona da, seleziona l'organizzazione per cui hai attivato Data Catalog.

4. In ID, copia l'ID del progetto che contiene i dati che vuoi esaminare. Si tratta del progetto descritto nel passaggio Imposta i repository di archiviazione precedente in questa pagina.

5. Nella sezione Nome, fai clic sul progetto per selezionarlo.

Passaggio 2: apri Explorer API e configura il job

1. Vai ad API Explorer nella pagina di riferimento del metodo dlpJobs.create. Per mantenere disponibili queste istruzioni, fai clic con il tasto destro del mouse sul seguente link e aprilo in una nuova scheda o finestra:

   Open APIs Explorer

2. Nella casella principale, inserisci quanto segue, dove project-id è l'ID progetto che hai annotato in precedenza nel passaggio precedente:

   projects/project-id

   Poi, copia il seguente JSON. Seleziona i contenuti del campo Request body in Esplora API, quindi incolla il JSON per sostituire i contenuti. Assicurati di sostituire i segnaposto project-id, bigquery-dataset-name e bigquery-table-name con l'ID progetto e i nomi del set di dati e della tabella BigQuery effettivi, rispettivamente.

   {
     "inspectJob":
     {
       "storageConfig":
       {
         "bigQueryOptions":
         {
           "tableReference":
           {
             "projectId": "project-id",
             "datasetId": "bigquery-dataset-name",
             "tableId": "bigquery-table-name"
           }
         }
       },
       "inspectConfig":
       {
         "infoTypes":
         [
           {
             "name": "EMAIL_ADDRESS"
           },
           {
             "name": "PERSON_NAME"
           },
           {
             "name": "US_SOCIAL_SECURITY_NUMBER"
           },
           {
             "name": "PHONE_NUMBER"
           }
         ],
         "includeQuote": true,
         "minLikelihood": "UNLIKELY",
         "limits":
         {
           "maxFindingsPerRequest": 100
         }
       },
       "actions":
       [
         {
           "publishFindingsToCloudDataCatalog": {}
         }
       ]
     }
   }
   

Per scoprire di più sulle opzioni di ispezione disponibili, consulta Ispezione dello spazio di archiviazione e dei database per l'individuazione di dati sensibili. Per un elenco completo delle tipologie di informazioni che Sensitive Data Protection può ispezionare, consulta Riferimento InfoType.

Passaggio 3: esegui la richiesta per avviare il job di ispezione

Dopo aver configurato il job seguendo i passaggi precedenti, fai clic su Esegui per inviare la richiesta. Se la richiesta riesce, viene visualizzata una risposta con un codice di successo e un oggetto JSON che indica lo stato del job Sensitive Data Protection che hai appena creato.

Importante: tieni aperta la pagina o copia la risposta JSON in modo da averla a disposizione per il resto delle attività in questo argomento.

La risposta alla richiesta di ispezione include l'ID del job di ispezione come chiave "name" e lo stato corrente del job di ispezione come chiave "state". Dato che hai appena inviato la richiesta, lo stato del job in quel momento è "PENDING".

Controllare lo stato del job di ispezione di Sensitive Data Protection

Dopo aver inviato la richiesta di ispezione, il job di ispezione inizia immediatamente.

Console Google Cloud

Per controllare lo stato del job di ispezione:

1. Nella console Google Cloud, apri Sensitive Data Protection.

   Vai a Sensitive Data Protection

2. Fai clic sulla scheda Job e trigger di job e poi su Tutti i job.

Il job che hai appena eseguito sarà probabilmente in cima all'elenco. Controlla la colonna Stato per assicurarti che lo stato sia Fine.

Puoi fare clic sull'ID job del job per visualizzarne i risultati. Ogni rilevatore infoType elencato nella pagina Dettagli job è seguito dal numero di corrispondenze trovate nei contenuti.

DLP API

Per controllare lo stato del job di ispezione:

1. Vai a Explorer API nella pagina di riferimento del metodo dlpJobs.get facendo clic sul seguente pulsante:

   Open APIs Explorer

2. Nella casella name, digita il nome del job dalla risposta JSON alla richiesta di ispezione nel seguente formato:

   projects/project-id/dlpJobs/job-id

   L'ID job è nel formato i-1234567890123456789.

3. Per inviare la richiesta, fai clic su Esegui.

Se la chiave "state" dell'oggetto JSON della risposta indica che il job è "DONE", il job di ispezione è terminato.

Nota: puoi chiedere a Sensitive Data Protection di inviarti una notifica al termine di un job, ma questo argomento non rientra nell'ambito di questo articolo. Per saperne di più, consulta la pagina concettuale Azioni.

Per visualizzare il resto della risposta JSON, scorri verso il basso nella pagina. In "result" > "infoTypeStats", ogni tipo di informazione elencato deve avere un corrispondente "count". In caso contrario, assicurati di aver inserito il JSON in modo accurato e che il percorso o la posizione dei dati sia corretto.

Al termine del job di ispezione, puoi passare alla sezione successiva di questa guida per visualizzare i risultati dell'ispezione in Security Command Center.

Visualizzare i risultati dell'ispezione di Sensitive Data Protection in Data Catalog

Poiché hai chiesto a Sensitive Data Protection di inviare i risultati del job di ispezione a Data Catalog, ora puoi visualizzare i tag e il modello di tag creati automaticamente nell'interfaccia utente di Data Catalog:

1. Vai alla pagina Data Catalog nella console Google Cloud.

   Vai a Data Catalog

2. Cerca la tabella che hai esaminato.
3. Fai clic sui risultati corrispondenti alla tua tabella per visualizzarne i metadati.

Lo screenshot seguente mostra la visualizzazione dei metadati di Data Catalog di una tabella di esempio:

.

Riepilogo dell'ispezione

I risultati di Sensitive Data Protection sono inclusi in un riepilogo per la tabella ispezionata. Questo riepilogo include i conteggi totali di infoType, nonché i dati di riepilogo del job di ispezione che includono date e ID risorsa del job.

Sono elencati tutti i infoTypes per i quali è stata eseguita l'ispezione. Quelli con risultati mostrano un conto maggiore di zero.

Pulizia

Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo argomento, esegui una delle seguenti operazioni, a seconda che tu abbia utilizzato dati di esempio o i tuoi dati:

• Dati di esempio: Elimina il progetto che hai creato.
• I tuoi dati: elimina il job Sensitive Data Protection che hai creato.

Elimina il progetto

Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato seguendo le istruzioni riportate in questo argomento.

Per eliminare il progetto:

Avviso: l'eliminazione di un progetto ha le seguenti conseguenze:

• Se hai utilizzato un progetto esistente, eliminerai anche tutto il lavoro effettuato nel progetto.
• Non puoi riutilizzare l'ID di un progetto eliminato. Se hai creato un ID progetto personalizzato che hai intenzione di utilizzare in futuro, elimina le risorse all'interno del progetto. Questo passaggio garantisce che gli URL che utilizzano l'ID progetto, ad esempio project-id.region-id.r.appspot.com, rimangano disponibili.

Se stai esplorando più argomenti di istruzioni, tutorial e guide rapide, il riutilizzo dei progetti anziché l'eliminazione potrebbe impedirti di superare i valori di quota del progetto.

1. Nella console Google Cloud, vai alla pagina Progetti.

   Vai alla pagina Progetti

2. Nell'elenco dei progetti, selezionare quello da eliminare e fai clic su Elimina progetto.
3. Nella finestra di dialogo, digita l'ID progetto e fai clic su Chiudi per eliminare il progetto.

Quando elimini il progetto utilizzando questo metodo, vengono eliminati anche il job Sensitive Data Protection e il bucket Cloud Storage che hai creato. Non è necessario seguire le istruzioni riportate nelle sezioni seguenti.

Eliminazione del job o dell'attivatore del job di Sensitive Data Protection

Se hai ispezionato i tuoi dati, elimina il job di ispezione o l'attivatore di job appena creato.

Console Google Cloud

1. Nella console Google Cloud, apri Sensitive Data Protection.

   Vai a Sensitive Data Protection

2. Fai clic sulla scheda Job e trigger di job e poi sulla scheda Trigger di job.

3. Nella colonna Azioni relativa all'attivatore di job da eliminare, fai clic sul menu Altre azioni (visualizzato come tre puntini disposti in verticale) e poi su Elimina.

Se vuoi, puoi anche eliminare i dettagli del job che hai eseguito. Fai clic sulla scheda Tutti i job e poi, nella colonna Azioni relativa al job da eliminare, fai clic sul menu Altre azioni (visualizzato come tre puntini disposti in verticale) e poi su Elimina.

DLP API

1. Vai a Explorer API nella pagina di riferimento del metodo dlpJobs.delete facendo clic sul seguente pulsante:

   Open APIs Explorer

2. Nella casella name, digita il nome del job dalla risposta JSON alla richiesta di ispezione, che ha il seguente formato:

   projects/project-id/dlpJobs/job-id

   L'ID job è nel formato i-1234567890123456789.

Se hai creato job di ispezione aggiuntivi o se vuoi assicurarti di averli eliminati correttamente, puoi elencare tutti i job esistenti:

1. Vai a Explorer API nella pagina di riferimento del metodo dlpJobs.list facendo clic sul seguente pulsante:

   Open APIs Explorer

2. Nella casella principale, digita l'identificatore del progetto nel seguente formato, dove project-id è l'identificatore del progetto:

   projects/project-id

3. Fai clic su Execute (Esegui).

Se nella risposta non sono elencati job, significa che li hai eliminati tutti. Se nella risposta sono elencati job, ripeti la procedura di eliminazione descritta sopra per questi job.

Passaggi successivi

• Scopri di più sull'publishFindingsToCloudDataCatalog azione in Sensitive Data Protection.
• Scopri di più sulla creazione di tag personalizzati o a livello di colonna in Data Catalog in base ai risultati di Sensitive Data Protection.
• Scopri di più sull'ispezione dei repository di archiviazione per l'individuazione di dati sensibili utilizzando Sensitive Data Protection.
• Scopri come utilizzare Data Catalog.