Questo tutorial mostra come utilizzare il plug-in Cloud Data Fusion per Cloud DLP per oscurare i dati sensibili.
Scenario
Considera il seguente scenario, in cui alcune informazioni sensibili dei clienti devono essere oscurate:
Il team di assistenza documenta i dettagli di ogni richiesta di assistenza gestita in un ticket di assistenza. Tutte le informazioni contenute nella ticket di assistenza vengono inserite in un file CSV. I tecnici dell'assistenza non devono documentare informazioni dei clienti considerate sensibili, ma a volte lo fanno per errore. Noti che nel file CSV vengono visualizzati i numeri di telefono di alcuni clienti.
Vuoi esaminare il file CSV e nascondere tutti i numeri di telefono. Crea una pipeline Cloud Data Fusion che oscuri i dati sensibili dei clienti utilizzando il plug-in Cloud DLP.
In questo tutorial, creerai una pipeline che:
- oscura i numeri di telefono dei clienti mascherandoli con il carattere
#
. - Archivia i dati sensibili mascherati e i dati non sensibili in un bucket Cloud Storage.
Obiettivi
- Collega Cloud Data Fusion a un'origine Cloud Storage.
- Esegui il deployment del plug-in Cloud DLP.
- Crea un modello Cloud DLP personalizzato.
- Utilizza il plug-in di trasformazione Oscura per mascherare i dati sensibili dei clienti.
- Scrivi i dati di output in Cloud Storage.
Costi
In questo documento vengono utilizzati i seguenti componenti fatturabili di Google Cloud:
Per generare una stima dei costi in base all'utilizzo previsto,
utilizza il calcolatore prezzi.
Prima di iniziare
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.
- Crea un'istanza Cloud Data Fusion.
Nella console Google Cloud , vai alla pagina IAM.
Nella tabella delle autorizzazioni, nella colonna Entità, trova il service account che corrisponde al formato
service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com
.Fai clic su edit Modifica.
Fai clic su Aggiungi un altro ruolo.
Utilizza la barra di ricerca per cercare e selezionare Amministratore DLP.
Fai clic su Salva.
Verifica che Amministratore DLP venga visualizzato nella colonna Ruolo.
Nella console Google Cloud , apri la pagina Istanze.
Nella colonna Azioni per l'istanza, fai clic sul link Visualizza istanza. L'interfaccia utente di Cloud Data Fusion si apre in una nuova scheda del browser.
Ottenere le autorizzazioni Cloud DLP
Vai alla UI di Cloud Data Fusion
Quando utilizzi Cloud Data Fusion, usi sia la console Google Cloud che la UI separata di Cloud Data Fusion. Nella console Google Cloud , puoi creare un progetto Google Cloud e creare ed eliminare istanze di Cloud Data Fusion. Nella UI di Cloud Data Fusion, puoi utilizzare le varie pagine, come Studio o Wrangler, per utilizzare le funzionalità di Cloud Data Fusion.
Crea la pipeline
Crea una pipeline che oscuri i dati sensibili dei clienti. La pipeline che crei fa quanto segue:
- Legge i dati di input utilizzando il plug-in di origine Cloud Storage.
- Esegue il deployment del plug-in Cloud DLP dall'hub.
- Scrive i dati di output utilizzando un plug-in sink Cloud Storage.
Caricare i dati dei clienti
Questo tutorial utilizza il set di dati di input CallCenterRecords.csv
fornito in un bucket Cloud Storage disponibile pubblicamente.
Apri l'istanza Cloud Data Fusion e fai clic su menu Menu > Studio.
Nel menu Origine, fai clic sul plug-in Cloud Storage.
Nel nodo Cloud Storage, fai clic su Proprietà.
Nel campo Nome di riferimento, inserisci un nome.
Nel campo Percorso, inserisci
gs://datafusion-sample-datasets/CallCenterRecords.csv
.Nel campo Formato, seleziona
CSV
.Per lo schema di output, elimina i campi offset e body. Fai clic su
Aggiungi e inserisci i seguenti campi:- Data
- Banca
- Stato
- CAP
- Note
Fai clic su Convalida per verificare la presenza di errori.
Fai clic su
Close (Chiudi).
Oscurare i dati sensibili
Il plug-in Cloud DLP Redact identifica i record sensibili nel flusso di input di dati e applica le trasformazioni che definisci a questi record. Un record di dati è considerato sensibile se corrisponde ai filtri Cloud DLP predefiniti che scegli o a un modello personalizzato che definisci.
In questo tutorial, vuoi oscurare i numeri di telefono dei clienti di cui alcuni tecnici dell'assistenza del tuo team hanno preso nota per errore. Hanno inserito le informazioni sensibili nella sezione Note dei ticket di assistenza, che viene visualizzata come colonna Note nel file CSV. Crea un modello Cloud DLP personalizzato e poi fornisci l'ID modello nel menu delle proprietà del plug-in.
Esegui il deployment del plug-in Cloud DLP
Nell'istanza Cloud Data Fusion, fai clic su Hub.
Fai clic sul plug-in Cloud DLP.
Fai clic su Esegui il deployment.
Fai clic su Fine.
Fai clic su
Chiudi per uscire dalla finestra di dialogo di Cloud DLP.Fai clic su
Chiudi per uscire dall'hub.
Crea un modello personalizzato
Nella console Google Cloud , vai alla pagina Cloud DLP.
Nel menu Crea, scegli Modello.
Nel campo ID modello, inserisci un ID per il modello.
Fai clic su Continua.
Nel campo Configura rilevamento, fai clic su Gestisci infoType.
Nella scheda Integrati, utilizza il filtro per cercare "numero di telefono".
Seleziona PHONE_NUMBER.
Fai clic su Fine > Crea.
Scopri di più sulla creazione di modelli Cloud DLP.
Applica la trasformazione Cloud DLP Redact
Vai alla pagina Studio di Cloud Data Fusion e fai clic per espandere il menu Trasforma.
Fai clic sul plug-in Redact di Cloud DLP.
Trascina una freccia di connessione dal nodo Cloud Storage al nodo Redact.
Tieni il puntatore sul nodo Redact (Oscura) e fai clic su Properties (Proprietà).
Imposta Modello personalizzato su
Yes
.Nel campo ID modello, inserisci l'ID modello del modello personalizzato che hai creato.
Nel campo Corrispondenza , applica la Mascheratura al Modello personalizzato all'interno di Note.
Nel campo Carattere di mascheramento, inserisci
#
.Fai clic su Convalida per verificare la presenza di errori.
Fai clic su
Close (Chiudi).
Archivia i dati di output
Archivia i risultati della pipeline in un file Cloud Storage.
Nella pagina Studio, fai clic per espandere il menu Sink.
Fai clic su Cloud Storage.
Trascina una freccia di connessione dal nodo Redact al nodo Cloud Storage2.
Tieni il puntatore sul nodo Cloud Storage2 e fai clic su Properties (Proprietà).
Nel campo Nome di riferimento, inserisci un nome.
Nel campo Percorso, inserisci il percorso di un bucket Cloud Storage in cui vuoi archiviare i risultati della pipeline. Cloud Data Fusion crea il bucket per te. Assicurati di seguire le linee guida per la denominazione dei bucket.
Nel campo Formato, seleziona CSV.
Fai clic su Convalida per assicurarti che non ci siano errori.
Fai clic su
Close (Chiudi).
Esegui la pipeline in modalità di anteprima
Esegui la pipeline in modalità di anteprima prima di eseguirne il deployment.
Fai clic su Anteprima, quindi su Esegui.
Se fai clic su Esegui, viene visualizzato lo stato della pipeline, che inizia con In fase di avvio, poi passa a Interrompi e infine a Esegui.
Al termine dell'esecuzione dell'anteprima, nel nodo Redact, fai clic su Anteprima dati per visualizzare un confronto affiancato dei dati di input e output. Verifica che i numeri di telefono siano stati mascherati con il carattere
#
.
Oscurare un altro tipo di dati
Durante l'esame dei risultati dell'esecuzione dell'anteprima, noti che nella colonna Note sono ancora presenti informazioni sensibili: indirizzi email. Torni indietro e modifichi il modello Cloud DLP per oscurare anche gli indirizzi email.
Nella console Google Cloud , vai alla pagina Cloud DLP.
Nella scheda Configurazione, seleziona il modello.
Fai clic su Modifica.
Fai clic su Gestisci infotipi.
Nella scheda Integrato, utilizza il filtro per cercare "OR" "indirizzo email".
Seleziona tutto e fai clic su Fine.
Fai clic su Salva.
Ancora una volta, esegui la pipeline in modalità di anteprima. Cloud Data Fusion utilizzerà automaticamente il modello Cloud DLP aggiornato.
Verifica che entrambi i numeri di telefono e gli indirizzi email siano stati mascherati con il carattere
#
.
Esegui il deployment della pipeline ed eseguila
Assicurati che la modalità Anteprima non sia selezionata.
Fai clic su Salva. Se fai clic su Salva, ti viene chiesto di assegnare un nome alla pipeline. Quindi, fai clic su Ok.
Fai clic su Esegui il deployment.
Al termine del deployment, fai clic su Esegui. L'esecuzione della pipeline può richiedere alcuni minuti. Mentre attendi, puoi osservare lo Stato della transizione della pipeline da In fase di provisioning a In fase di avvio a In esecuzione a In fase di deprovisioning a Operazione riuscita.
Visualizza i risultati
Nella console Google Cloud , vai alla pagina Cloud Storage.
Nel browser di archiviazione, vai al bucket Cloud Storage sink che hai specificato nelle proprietà del plug-in Cloud Storage sink.
In URL link, fai clic sul link per scaricare il file CSV con i risultati. Controlla che i numeri di telefono e gli indirizzi email siano stati mascherati con il carattere
#
.
Esegui la pulizia
Per evitare che al tuo account Google Cloud vengano addebitati costi relativi alle risorse utilizzate in questo tutorial, elimina il progetto che contiene le risorse oppure mantieni il progetto ed elimina le singole risorse.
Elimina l'istanza Cloud Data Fusion
Segui queste istruzioni per eliminare l'istanza Cloud Data Fusion.
Elimina il progetto
Il modo più semplice per eliminare la fatturazione è eliminare il progetto creato per il tutorial.
Per eliminare il progetto:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Passaggi successivi
- Scopri di più su Cloud Data Fusion.
- Scopri come utilizzare il plug-in Cloud Data Fusion, che fornisce i plug-in di trasformazione Redact e Filter PII.