Questo tutorial mostra come utilizzare il plug-in di Cloud Data Fusion per Cloud DLP. per oscurare i dati sensibili.
Scenario
Prendi in considerazione il seguente scenario, in cui alcune informazioni sensibili dei clienti devono essere oscurate:
Il team di assistenza documenta i dettagli di ogni richiesta di assistenza che gestisce ticket di assistenza. Tutte le informazioni contenute nel ticket di assistenza vengono inserite in un CSV. I tecnici dell'assistenza non devono documentare alcun cliente informazioni considerate sensibili, ma a volte lo fanno per errore. Noti che nel file CSV alcuni clienti vengono visualizzati i numeri di telefono.
Vuoi esaminare il file CSV e nascondere tutti i numeri di telefono. Crea una pipeline Cloud Data Fusion che oscura i dati sensibili dei clienti utilizzando il plug-in Cloud DLP.
In questo tutorial crei una pipeline che:
- Oscura i numeri di telefono dei clienti mascherandoli con il carattere
#
. - Archivia i dati sensibili mascherati e non sensibili in un nel bucket Cloud Storage.
Obiettivi
- Collega Cloud Data Fusion a un'origine Cloud Storage.
- Eseguire il deployment del plug-in Cloud DLP.
- Creare un modello Cloud DLP personalizzato.
- Utilizza il plug-in di trasformazione Oscura per mascherare i dati dei clienti sensibili.
- Scrivi i dati di output in Cloud Storage.
Costi
In questo documento utilizzi i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il Calcolatore prezzi.
Prima di iniziare
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Make sure that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.
- Crea un'istanza Cloud Data Fusion.
Ottenere le autorizzazioni Cloud DLP
Nella console Google Cloud, vai alla pagina IAM.
Nella tabella delle autorizzazioni, nella colonna Entità, trova l'account di servizio corrispondente al formato
service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com
.Fai clic su edit Modifica.
Fai clic su Aggiungi un altro ruolo.
Utilizza la barra di ricerca per eseguire una ricerca, quindi seleziona Amministratore DLP.
Fai clic su Salva.
Verifica che Amministratore DLP sia visualizzato nella colonna Ruolo.
Vai all'interfaccia utente di Cloud Data Fusion
Quando utilizzi Cloud Data Fusion, utilizzi sia la console Google Cloud e la UI separata di Cloud Data Fusion. Nella console Google Cloud, possono creare un progetto nella console Google Cloud, di Cloud Data Fusion. Nella UI di Cloud Data Fusion, puoi utilizzare le varie pagine, come Studio o Wrangler, per utilizzare Funzionalità di Cloud Data Fusion.
Nella console Google Cloud, apri la pagina Istanze.
Nella colonna Azioni per l'istanza, fai clic sul link Visualizza istanza. L'interfaccia utente di Cloud Data Fusion si apre in una nuova scheda del browser.
Crea la pipeline
Crea una pipeline che oscura i dati sensibili dei clienti. La pipeline che crei svolge le seguenti operazioni:
- Legge i dati di input utilizzando il plug-in dell'origine Cloud Storage.
- Esegue il deployment del plug-in Cloud DLP dall'hub.
- Scrive i dati di output utilizzando un plug-in sink di Cloud Storage.
Caricare i dati dei clienti
Questo tutorial utilizza il set di dati di input, CallCenterRecords.csv
, fornito in un
un bucket Cloud Storage disponibile al pubblico.
Apri l'istanza Cloud Data Fusion e fai clic su menu Menu > Studio.
Nel menu Origine, fai clic sul plug-in Cloud Storage.
Nel nodo Cloud Storage, fai clic su Proprietà.
Nel campo Nome di riferimento, inserisci un nome.
Nel campo Percorso, inserisci
gs://datafusion-sample-datasets/CallCenterRecords.csv
.Nel campo Formato, seleziona
CSV
.Per lo Schema di output, elimina i campi offset e body. Fai clic su
Aggiungi e inserisci i seguenti campi:- Data
- Banca
- Stato
- CAP
- Note
Fai clic su Convalida per verificare la presenza di errori.
Fai clic su
Close (Chiudi).
Oscura i dati sensibili
Il plug-in Oscuramento di Cloud DLP identifica i record sensibili nel flusso di input e applica le trasformazioni che definisci a questi record. Un record di dati è considerato sensibile se corrisponde ai filtri Cloud DLP predefiniti che scegli o a un modello personalizzato che definisci.
In questo tutorial vuoi oscurare i numeri di telefono dei clienti che alcuni tecnici dell'assistenza del tuo team hanno annotato per errore. Ha inserito le informazioni sensibili nella sezione Note dei ticket di assistenza, che viene visualizzata come colonna Note nel file CSV. Crei un ambiente Cloud DLP personalizzato modello e quindi fornire l'ID modello nel menu delle proprietà del plug-in.
Esegui il deployment del plug-in Cloud DLP
Nell'istanza Cloud Data Fusion, fai clic su Hub.
Fai clic sul plug-in Cloud DLP.
Fai clic su Esegui il deployment.
Fai clic su Fine.
Fai clic su
Chiudi per uscire dalla finestra di dialogo Cloud DLP.Fai clic su
Chiudi per uscire dall'hub.
Crea un modello personalizzato
Nella console Google Cloud, vai alla pagina Cloud DLP.
Dal menu Crea, scegli Modello.
Nel campo ID modello, inserisci un ID per il modello.
Fai clic su Continua.
Nel campo Configura rilevamento, fai clic su Gestisci infoType.
Nella scheda Integrato, utilizza il filtro per cercare "numero di telefono".
Seleziona PHONE_NUMBER.
Fai clic su Fine > Crea.
Scopri di più su creando modelli Cloud DLP.
Applica la trasformazione di oscuramento di Cloud DLP
Vai alla pagina Studio di Cloud Data Fusion e fai clic per espandi il menu Trasforma.
Fai clic sul plug-in Oscuramento di Cloud DLP.
Trascina una freccia di connessione dal nodo Cloud Storage al nodo Oscura.
Tieni il puntatore sul nodo Oscuramento e fai clic su Proprietà.
Imposta Modello personalizzato su
Yes
.Nel campo ID modello, inserisci l'ID del modello personalizzato che hai creato.
Nel campo Corrispondenza , applica Mascheramento su Modello personalizzato in Note.
Nel campo Carattere di mascheramento, inserisci
#
.Fai clic su Convalida per verificare la presenza di errori.
Fai clic su
Close (Chiudi).
Archivia i dati di output
Archivia i risultati della pipeline in un file Cloud Storage.
Nella pagina Studio, fai clic per espandere il menu Sink.
Fai clic su Cloud Storage.
Trascina una freccia di connessione dal nodo Oscura al nodo Cloud Storage2.
Tieni il puntatore sul nodo Cloud Storage2 e fai clic su Proprietà.
Nel campo Nome di riferimento, inserisci un nome.
Nel campo Percorso, inserisci il percorso di un bucket Cloud Storage in cui vuoi archiviare i risultati della pipeline. Cloud Data Fusion crea il bucket per te. Assicurati di seguire le linee guida per la denominazione dei bucket.
Nel campo Formato, seleziona CSV.
Fai clic su Convalida per assicurarti che non siano presenti errori.
Fai clic su
Close (Chiudi).
Esegui la pipeline in modalità di anteprima
Esegui la pipeline in modalità di anteprima prima del deployment.
Fai clic su Anteprima e poi su Esegui.
Se fai clic su Esegui, viene visualizzato lo stato della pipeline, che inizia con Avvio, poi diventa Interrompi e infine Esegui.
Al termine dell'esecuzione dell'anteprima, fai clic su Anteprima Dati nel nodo Oscuramento per visualizzare un confronto affiancato dei dati di input e di output. Verifica che i numeri di telefono siano stati mascherati con il carattere
#
.
Oscura un altro tipo di dati
Mentre esamini i risultati dell'esecuzione dell'anteprima, noti che nella colonna Note sono ancora presenti informazioni sensibili: indirizzi email. Tu torna indietro e modifica il modello Cloud DLP per oscurare gli indirizzi email beh.
Nella console Google Cloud, vai alla pagina Cloud DLP.
Nella scheda Configurazione, seleziona il modello.
Fai clic su Modifica.
Fai clic su Gestisci infoType.
Nella scheda Integrati, utilizza il filtro per cercare "OR" "indirizzo email".
Seleziona tutto e fai clic su Fine.
Fai clic su Salva.
Ancora una volta, esegui la pipeline in modalità di anteprima. Cloud Data Fusion utilizzerà automaticamente il modello Cloud DLP aggiornato.
Controlla che i numeri di telefono e gli indirizzi email siano stati mascherati con il carattere
#
.
Esegui il deployment della pipeline ed eseguila
Assicurati che la modalità Anteprima non sia selezionata.
Fai clic su Salva. Se fai clic su Salva, ti viene richiesto di assegnare un nome alla pipeline. Poi, fai clic su OK.
Fai clic su Esegui il deployment.
Al termine del deployment, fai clic su Esegui. L'esecuzione della pipeline può richiedere alcuni minuti. Mentre attendi, puoi osservare lo stato della transizione della pipeline da Provisioning a Avvio a In esecuzione a Deprovisioning a Operazione riuscita.
Visualizza i risultati
Nella console Google Cloud, vai alla pagina Cloud Storage.
Nel Browser di archiviazione, vai al bucket Cloud Storage di destinazione specificato nelle proprietà del plug-in Cloud Storage di destinazione.
In URL link, fai clic sul link per scaricare il file CSV con i risultati. Verifica che i numeri di telefono e gli indirizzi email siano stati oscurati con il carattere
#
.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Elimina l'istanza Cloud Data Fusion
Segui queste istruzioni per eliminare l'istanza Cloud Data Fusion.
Elimina il progetto
Il modo più semplice per eliminare la fatturazione è eliminare il progetto che hai creato per il tutorial.
Per eliminare il progetto:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Passaggi successivi
- Scopri di più su Cloud Data Fusion.
- Scopri come utilizzare il plug-in Cloud Data Fusion, che fornisce i plug-in di trasformazione per l'oscuramento e il filtro delle PII.