Tutorial ini menunjukkan cara menggunakan plugin Cloud Data Fusion untuk Cloud DLP guna menyamarkan data sensitif.
Skenario
Pertimbangkan skenario berikut, di mana beberapa informasi pelanggan sensitif harus disamarkan:
Tim dukungan Anda mencatat detail setiap kasus dukungan yang mereka tangani dalam tiket dukungan. Semua informasi dalam tiket dukungan akan ditarik ke dalam file CSV. Teknisi dukungan tidak boleh mendokumentasikan informasi pelanggan apa pun yang dianggap sensitif, tetapi terkadang mereka melakukannya secara keliru. Anda melihat bahwa dalam file CSV, nomor telepon beberapa pelanggan muncul.
Anda ingin membuka file CSV dan menyembunyikan semua nomor telepon. Anda membuat pipeline Cloud Data Fusion yang menyamarkan data pelanggan sensitif dengan menggunakan plugin Cloud DLP.
Dalam tutorial ini, Anda akan membuat pipeline yang melakukan hal berikut:
- Menyensor nomor telepon pelanggan dengan menyamarkannya menggunakan karakter
#
. - Menyimpan data sensitif yang disamarkan dan data yang tidak sensitif di bucket Cloud Storage.
Tujuan
- Hubungkan Cloud Data Fusion ke sumber Cloud Storage.
- Deploy plugin Cloud DLP.
- Buat template Cloud DLP kustom.
- Gunakan plugin transformasi Redact untuk menyamarkan data pelanggan sensitif.
- Tulis data output ke Cloud Storage.
Biaya
Dalam dokumen ini, Anda akan menggunakan komponen Google Cloudyang dapat ditagih berikut:
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Sebelum memulai
- Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
In the Google Cloud console, on the project selector page, select or create a Google Cloud project.
-
Verify that billing is enabled for your Google Cloud project.
-
Enable the Cloud Data Fusion, BigQuery, Cloud Storage, and Dataproc APIs.
- Buat instance Cloud Data Fusion.
Di konsol Google Cloud , buka halaman IAM.
Di tabel izin, di kolom Akun utama, temukan akun layanan yang cocok dengan format
service-project-number@gcp-sa-datafusion.
.Klik edit Edit.
Klik Add Another Role.
Gunakan kotak penelusuran untuk menelusuri, lalu pilih Administrator DLP.
Klik Simpan.
Pastikan Administrator DLP muncul di kolom Peran.
Di konsol Google Cloud , buka halaman Instances.
Di kolom Actions untuk instance, klik link View Instance. UI Cloud Data Fusion akan terbuka di tab browser baru.
Mendapatkan izin Cloud DLP
Membuka UI Cloud Data Fusion
Saat menggunakan Cloud Data Fusion, Anda menggunakan konsol Google Cloud dan UI Cloud Data Fusion yang terpisah. Di konsol Google Cloud , Anda dapat membuat project konsol Google Cloud serta membuat dan menghapus instance Cloud Data Fusion. Di UI Cloud Data Fusion, Anda dapat menggunakan berbagai halaman, seperti Studio atau Wrangler, untuk menggunakan fitur Cloud Data Fusion.
Buat pipeline
Buat pipeline yang menyamarkan data pelanggan sensitif. Pipeline yang Anda bangun melakukan hal berikut:
- Membaca data input menggunakan plugin sumber Cloud Storage.
- Men-deploy plugin Cloud DLP dari Hub.
- Menulis data output menggunakan plugin sink Cloud Storage.
Memuat data pelanggan
Tutorial ini menggunakan set data input, CallCenterRecords.csv
, yang disediakan di bucket Cloud Storage yang tersedia secara publik.
Buka instance Cloud Data Fusion Anda, lalu klik menu Menu > Studio.
Di menu Source, klik plugin Cloud Storage.
Pada node Cloud Storage, klik Properties.
Di kolom Nama referensi, masukkan nama.
Di kolom Path, masukkan
gs://datafusion-sample-datasets/CallCenterRecords.csv
.Di kolom Format, pilih
CSV
.Untuk Output Schema, hapus kolom offset dan body. Klik
Tambahkan, lalu masukkan kolom berikut:- Tanggal
- Bank
- Negara bagian/Provinsi
- Kode Pos
- Catatan
Klik Validasi untuk memeriksa apakah ada error.
Klik
Tutup.
Menyamarkan data sensitif
Plugin Redaksi Cloud DLP mengidentifikasi catatan sensitif dalam aliran data input Anda dan menerapkan transformasi yang Anda tentukan ke catatan tersebut. Kumpulan data dianggap sensitif jika cocok dengan filter Cloud DLP yang telah ditentukan sebelumnya yang Anda pilih atau template kustom yang Anda tentukan.
Dalam tutorial ini, Anda ingin menyamarkan nomor telepon pelanggan yang secara tidak sengaja dicatat oleh beberapa teknisi dukungan di tim Anda. Mereka memasukkan informasi sensitif di bagian Catatan tiket dukungan, yang muncul sebagai kolom Catatan dalam file CSV. Anda membuat template Cloud DLP kustom, lalu memberikan ID template di menu properti plugin.
Men-deploy plugin Cloud DLP
Di instance Cloud Data Fusion Anda, klik Hub.
Klik plugin Cloud DLP.
Klik Deploy.
Klik Selesai.
Klik
Tutup untuk keluar dari dialog Cloud DLP.Klik
Tutup untuk keluar dari Hub.
Membuat template kustom
Di konsol Google Cloud , buka halaman Cloud DLP.
Dari menu Buat, pilih Template.
Di kolom Template ID, masukkan ID untuk template Anda.
Klik Lanjutkan.
Di kolom Konfigurasi deteksi, klik Kelola infotipe.
Di tab Bawaan, gunakan filter untuk menelusuri "nomor telepon".
Pilih PHONE_NUMBER.
Klik Selesai > Buat.
Pelajari lebih lanjut cara membuat template Cloud DLP.
Menerapkan transformasi Redact Cloud DLP
Buka halaman Studio Cloud Data Fusion, lalu klik untuk meluaskan menu Transformasi.
Klik plugin Redact Cloud DLP.
Tarik panah koneksi dari node Cloud Storage ke node Redact.
Arahkan kursor ke node Redact, lalu klik Properties.
Tetapkan Template Kustom ke
Yes
.Di kolom Template ID, masukkan ID template template kustom yang Anda buat.
Di kolom Pencocokan , terapkan Penyamaran pada Template kustom dalam Catatan.
Di kolom Karakter Masking, masukkan
#
.Klik Validasi untuk memeriksa apakah ada error.
Klik
Tutup.
Menyimpan data output
Simpan hasil pipeline Anda dalam file Cloud Storage.
Dari halaman Studio, klik untuk meluaskan menu Sinkronkan.
Klik Cloud Storage.
Tarik panah koneksi dari node Redact ke node Cloud Storage2.
Arahkan pointer ke node Cloud Storage2, lalu klik Properties.
Di kolom Nama referensi, masukkan nama.
Di kolom Path, masukkan jalur bucket Cloud Storage tempat Anda ingin menyimpan hasil pipeline. Cloud Data Fusion akan membuat bucket untuk Anda. Pastikan untuk mengikuti panduan penamaan bucket.
Di kolom Format, pilih CSV.
Klik Validasi untuk memastikan tidak ada error.
Klik
Tutup.
Menjalankan pipeline dalam mode pratinjau
Jalankan pipeline dalam mode pratinjau sebelum Anda men-deploy-nya.
Klik Pratinjau, lalu klik Jalankan.
Mengklik Run akan menampilkan status pipeline, yang dimulai dengan Starting, lalu berubah menjadi Stop, dan kemudian menjadi Run.
Setelah pratinjau selesai dijalankan, di node Redact, klik Preview Data untuk melihat perbandingan data input dan output secara berdampingan. Periksa apakah nomor telepon telah disamarkan dengan karakter
#
.
Menyembunyikan jenis data lain
Saat memeriksa hasil eksekusi pratinjau, Anda melihat bahwa masih ada informasi sensitif yang muncul di kolom Catatan: alamat email. Anda kembali dan mengedit template Cloud DLP untuk menyamarkan alamat email juga.
Di konsol Google Cloud , buka halaman Cloud DLP.
Di tab Configuration, pilih template Anda.
Klik Edit.
Klik Kelola infotipe.
Di tab Bawaan, gunakan filter untuk menelusuri "OR" "alamat email".
Pilih semua, lalu klik Selesai.
Klik Simpan.
Sekali lagi, jalankan pipeline dalam mode pratinjau. Cloud Data Fusion akan otomatis menggunakan template Cloud DLP yang diperbarui.
Pastikan kedua nomor telepon dan alamat email telah disamarkan dengan karakter
#
.
Men-deploy dan menjalankan pipeline
Pastikan mode Pratinjau tidak dicentang.
Klik Simpan. Mengklik Simpan akan meminta Anda memberi nama pipeline. Kemudian, klik Oke.
Klik Deploy.
Setelah deployment selesai, klik Run. Menjalankan pipeline dapat memerlukan waktu beberapa menit. Sambil menunggu, Anda dapat mengamati transisi Status pipeline dari Provisioning ke Starting ke Running ke Deprovisioning ke Succeeded.
Melihat hasil
Di Google Cloud konsol, buka halaman Cloud Storage.
Di Storage browser, buka bucket Cloud Storage sink yang Anda tentukan di properti plugin Cloud Storage sink.
Di URL Link, klik link untuk mendownload file CSV dengan hasilnya. Periksa apakah nomor telepon dan alamat email telah disamarkan dengan karakter
#
.
Pembersihan
Agar tidak perlu membayar biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus project yang berisi resource tersebut, atau simpan project dan hapus setiap resource.
Menghapus instance Cloud Data Fusion
Ikuti petunjuk ini untuk menghapus instance Cloud Data Fusion Anda.
Menghapus project
Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.
Untuk menghapus project:
- In the Google Cloud console, go to the Manage resources page.
- In the project list, select the project that you want to delete, and then click Delete.
- In the dialog, type the project ID, and then click Shut down to delete the project.
Langkah berikutnya
- Pelajari lebih lanjut Cloud Data Fusion.
- Lihat cara menggunakan plugin Cloud Data Fusion, yang menyediakan plugin transformasi Redaksi dan Filter PII.