Tutorial ini menunjukkan cara menggunakan plugin Cloud Data Fusion untuk Cloud DLP guna menyamarkan data sensitif.
Skenario
Pertimbangkan skenario berikut, saat beberapa informasi pelanggan yang sensitif harus disamarkan:
Tim dukungan Anda mendokumentasikan detail setiap kasus dukungan yang mereka tangani di tiket dukungan. Semua informasi di tiket dukungan ditarik ke dalam file CSV. Teknisi dukungan tidak seharusnya mendokumentasikan informasi pelanggan apa pun yang dianggap sensitif, tetapi terkadang mereka keliru melakukannya. Anda melihat bahwa dalam file CSV, beberapa nomor telepon pelanggan muncul.
Anda ingin menggunakan file CSV dan menyembunyikan semua nomor telepon. Anda membuat pipeline Cloud Data Fusion yang menyamarkan data sensitif pelanggan menggunakan plugin Cloud DLP.
Dalam tutorial ini, Anda akan membuat pipeline yang melakukan hal berikut:
- Menyamarkan nomor telepon pelanggan dengan menyamarkannya dengan karakter
#
. - Menyimpan data sensitif yang disamarkan dan data tidak sensitif di bucket Cloud Storage.
Tujuan
- Hubungkan Cloud Data Fusion ke sumber Cloud Storage.
- Men-deploy plugin Cloud DLP.
- Membuat template Cloud DLP kustom.
- Gunakan plugin transformasi Redact untuk menyamarkan data pelanggan yang sensitif.
- Menulis data output ke Cloud Storage.
Biaya
Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Sebelum memulai
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Make sure that billing is enabled for your Google Cloud project.
-
Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.
-
Make sure that billing is enabled for your Google Cloud project.
-
Aktifkan API Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc.
- Membuat instance Cloud Data Fusion.
Mendapatkan izin Cloud DLP
Di Konsol Google Cloud, buka halaman IAM.
Di tabel izin, di kolom Principal, cari akun layanan yang cocok dengan format
service-project-number@gcp-sa-datafusion.iam.gserviceaccount.com
.Klik edit Edit.
Klik Add Another Role.
Gunakan kotak penelusuran untuk melakukan penelusuran, lalu pilih Administrator DLP.
Klik Save.
Pastikan Administrator DLP muncul di kolom Peran.
Membuka UI Cloud Data Fusion
Saat menggunakan Cloud Data Fusion, Anda menggunakan Konsol Google Cloud dan UI Cloud Data Fusion yang terpisah. Di konsol Google Cloud, Anda dapat membuat project konsol Google Cloud serta membuat dan menghapus instance Cloud Data Fusion. Di UI Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Studio atau Wrangler, untuk menggunakan fitur Cloud Data Fusion.
Di konsol Google Cloud, buka halaman Instances.
Di kolom Tindakan untuk instance, klik link Lihat Instance. UI Cloud Data Fusion akan terbuka di tab browser baru.
Membuat pipeline
Buat pipeline yang menyamarkan data pelanggan yang sensitif. Pipeline yang Anda buat akan melakukan hal berikut:
- Membaca data input menggunakan plugin sumber Cloud Storage.
- Men-deploy plugin Cloud DLP dari Hub.
- Menulis data output menggunakan plugin sink Cloud Storage.
Memuat data pelanggan
Tutorial ini menggunakan set data input, CallCenterRecords.csv
, yang disediakan di bucket Cloud Storage yang tersedia secara publik.
Buka instance Cloud Data Fusion, lalu klik menu Menu > Studio.
Di menu Source, klik plugin Cloud Storage.
Di node Cloud Storage, klik Properties.
Di kolom Nama referensi, masukkan nama.
Di kolom Path, masukkan
gs://datafusion-sample-datasets/CallCenterRecords.csv
.Di kolom Format, pilih
CSV
.Untuk Skema Output, hapus kolom offset dan body. Klik
Tambahkan dan masukkan kolom berikut:- Tanggal
- Bank
- Negara bagian/Provinsi
- Kode Pos
- Notes
Klik Validasi untuk memeriksa error.
Klik
Tutup.
Menyamarkan data sensitif
Plugin Cloud DLP Redact mengidentifikasi data sensitif dalam aliran input data dan menerapkan transformasi yang Anda tentukan ke data tersebut. Kumpulan data dianggap sensitif jika cocok dengan filter Cloud DLP standar yang Anda pilih atau template kustom yang Anda tentukan.
Dalam tutorial ini, Anda ingin menyamarkan nomor telepon pelanggan yang tidak sengaja dicatat oleh beberapa teknisi dukungan di tim Anda. Mereka memasukkan informasi sensitif di bagian Catatan pada tiket dukungan, yang muncul sebagai kolom Catatan di file CSV. Anda membuat template Cloud DLP kustom, lalu memberikan ID template di menu properti plugin.
Men-deploy plugin Cloud DLP
Di instance Cloud Data Fusion, klik Hub.
Klik plugin Cloud DLP.
Klik Deploy.
Klik Selesai.
Klik
Close untuk keluar dari dialog Cloud DLP.Klik
Close untuk keluar dari Hub.
Buat template kustom
Di konsol Google Cloud, buka halaman Cloud DLP.
Dari menu Buat, pilih Template.
Di kolom ID Template, masukkan ID untuk template Anda.
Klik Lanjutkan.
Di kolom Konfigurasi deteksi, klik Kelola infotypes.
Di tab Bawaan, gunakan filter untuk menelusuri "nomor telepon".
Filter<i}." class="l10n-absolute-url-src" l10n-attrs-original-order="src,alt,class" src="https://cloud.google.com/static/data-fusion/docs/images/tutorials/redact-pipeline/phone-number-only.png" />
Pilih PHONE_NUMBER.
Klik Selesai > Buat.
Pelajari lebih lanjut cara membuat template Cloud DLP.
Menerapkan transformasi Penyamaran Cloud DLP
Buka halaman Studio Cloud Data Fusion, lalu klik untuk memperluas menu Transform.
Klik plugin Redact Cloud DLP.
Tarik panah koneksi dari node Cloud Storage ke node Redact.
Tahan kursor ke node Redact, lalu klik Properties.
Setel Custom Template ke
Yes
.Di kolom ID Template, masukkan ID template dari template kustom yang Anda buat.
Di kolom Pencocokan , terapkan Masking pada Template kustom dalam Catatan.
Di kolom Masking Karakter, masukkan
#
.Klik Validasi untuk memeriksa error.
Klik
Tutup.
Menyimpan data output
Simpan hasil pipeline Anda dalam file Cloud Storage.
Dari halaman Studio, klik untuk meluaskan menu Sink.
Klik Cloud Storage.
Tarik panah koneksi dari node Redact ke node Cloud Storage2.
Tahan kursor ke node Cloud Storage2, lalu klik Properties.
Di kolom Nama referensi, masukkan nama.
Di kolom Path, masukkan jalur bucket Cloud Storage tempat Anda ingin menyimpan hasil pipeline. Cloud Data Fusion akan membuatkan bucket untuk Anda. Pastikan untuk mengikuti pedoman penamaan bucket.
Di kolom Format, pilih CSV.
Klik Validasi untuk memastikan tidak ada error.
Klik
Tutup.
Menjalankan pipeline dalam mode pratinjau
Jalankan pipeline dalam mode pratinjau sebelum Anda men-deploy-nya.
Klik Preview, lalu klik Run.
Mengklik Run akan menampilkan status pipeline, yang dimulai dengan Mulai, lalu berubah menjadi Stop, lalu Run.
Setelah proses pratinjau selesai, pada node Redact, klik Preview Data untuk melihat perbandingan data input dan output secara berdampingan. Pastikan nomor telepon telah disamarkan dengan karakter
#
.
Menyamarkan jenis data lain
Saat memeriksa hasil eksekusi pratinjau, Anda melihat bahwa masih ada informasi sensitif yang muncul di kolom Catatan: alamat email. Anda juga dapat kembali dan mengedit template Cloud DLP untuk menyamarkan alamat email.
Di konsol Google Cloud, buka halaman Cloud DLP.
Di tab Configuration, pilih template Anda.
Klik Edit.
Klik Kelola jenis info.
Di tab bawaan, gunakan filter untuk menelusuri "ATAU" "alamat email".
Filter<i}." class="l10n-absolute-url-src" l10n-attrs-original-order="src,alt,class" src="https://cloud.google.com/static/data-fusion/docs/images/tutorials/redact-pipeline/phone-number-or-email.png" />
Pilih semua, lalu klik Selesai.
Klik Save.
Sekali lagi, jalankan pipeline dalam mode pratinjau. Cloud Data Fusion akan otomatis menggunakan template Cloud DLP yang diperbarui.
Pastikan kedua nomor telepon dan alamat email disamarkan dengan karakter
#
.
Men-deploy dan menjalankan pipeline
Pastikan mode Pratinjau tidak dicentang.
Klik Save. Mengklik Simpan akan meminta Anda memberi nama pipeline. Lalu, klik OK.
Klik Deploy.
Setelah deployment selesai, klik Run. Menjalankan {i>pipe<i} bisa memakan waktu beberapa menit. Selagi menunggu, Anda dapat mengamati Status transisi pipeline dari Penyediaan ke Mulai ke Berjalan ke Pencabutan Akses ke Berhasil.
Melihat hasil
Di konsol Google Cloud, buka halaman Cloud Storage.
Di Storage browser, buka bucket Cloud Storage sink yang Anda tentukan di properti plugin Cloud Storage sink.
Di URL Link, klik link untuk mendownload file CSV berisi hasilnya. Pastikan nomor telepon dan alamat email telah disamarkan dengan karakter
#
.
Pembersihan
Agar tidak dikenakan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource-nya.
Menghapus instance Cloud Data Fusion
Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion.
Menghapus project
Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.
Untuk menghapus project:
- Di konsol Google Cloud, buka halaman Manage resource.
- Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.
Langkah selanjutnya
- Pelajari Cloud Data Fusion lebih lanjut.
- Lihat cara menggunakan plugin Cloud Data Fusion, yang menyediakan plugin transformasi Redact dan Filter PII.