Tugas campuran dan pemicu tugas mencakup serangkaian metode API asinkron yang memungkinkan Anda memindai payload data yang dikirim dari hampir semua sumber untuk menemukan informasi sensitif, lalu menyimpan temuan tersebut di Google Cloud. Tugas campuran memungkinkan Anda menulis crawler data Anda sendiri yang berperilaku dan menayangkan data dengan cara yang mirip dengan metode pemeriksaan penyimpanan Perlindungan Data Sensitif.
Dengan menggunakan tugas hybrid, Anda dapat melakukan streaming data dari sumber mana pun ke Perlindungan Data Sensitif. Sensitive Data Protection memeriksa data untuk menemukan informasi sensitif atau PII, lalu menyimpan hasil pemindaian pemeriksaan ke resource tugas Sensitive Data Protection. Anda dapat memeriksa hasil pemindaian di UI atau API Konsol Perlindungan Data Sensitif, atau Anda dapat menentukan tindakan pasca-pemindaian yang akan dijalankan, seperti menyimpan data hasil inspeksi ke tabel BigQuery atau memunculkan notifikasi Pub/Sub.
Alur kerja tugas campuran diringkas dalam diagram berikut:
Topik konseptual ini menjelaskan tugas campuran dan pemicu tugas serta cara kerjanya. Untuk mempelajari cara menerapkan tugas hybrid dan pemicu tugas, lihat Memeriksa data eksternal menggunakan tugas hybrid.
Tentang lingkungan hybrid
Lingkungan "Hybrid" umum terjadi di organisasi. Banyak organisasi menyimpan dan memproses data sensitif menggunakan beberapa kombinasi dari hal berikut:
- Penyedia cloud lainnya
- Server lokal atau repositori data lainnya
- Sistem penyimpanan non-native, seperti sistem yang berjalan di dalam virtual machine
- Aplikasi web dan seluler
- Solusi berbasis Google Cloud
Dengan menggunakan tugas campuran, Perlindungan Data Sensitif dapat memeriksa data yang dikirim ke tugas tersebut dari salah satu sumber ini. Berikut ini beberapa contoh skenarionya:
- Periksa data yang disimpan di Amazon Relational Database Service (RDS), MySQL yang berjalan di dalam virtual machine, atau database lokal.
- Periksa dan tokenkan data saat Anda bermigrasi dari lokal ke cloud, atau antara produksi, pengembangan, dan analisis.
- Periksa dan samarkan transaksi dari aplikasi web atau seluler sebelum menyimpan data dalam penyimpanan.
Opsi inspeksi
Seperti yang dijelaskan secara lebih mendetail di Jenis metode, saat Anda ingin memeriksa konten untuk menemukan data sensitif, Perlindungan Data Sensitif menyediakan tiga opsi default:
- Pemeriksaan metode konten: Dengan pemeriksaan konten, Anda dapat melakukan streaming payload data kecil ke Perlindungan Data Sensitif beserta petunjuk tentang hal yang akan diperiksa. Selanjutnya, Sensitive Data Protection akan memeriksa data untuk menemukan konten sensitif dan PII, lalu menampilkan hasil pemindaian kembali kepada Anda.
- Inspeksi metode penyimpanan: Dengan menggunakan inspeksi penyimpanan, Perlindungan Data Sensitif akan memeriksa repositori penyimpanan berbasis Google Cloud seperti database BigQuery, bucket Cloud Storage, atau jenis Datastore. Anda memberi tahu Perlindungan Data Sensitif apa yang akan diperiksa dan apa yang akan diperiksa, lalu Perlindungan Data Sensitif akan menjalankan tugas yang memindai repositori. Setelah pemindaian selesai, Sensitive Data Protection akan menyimpan ringkasan hasil pemindaian kembali ke tugas. Anda juga dapat menentukan bahwa hasilnya dikirim ke produk Google Cloud lain untuk analisis, seperti tabel BigQuery terpisah.
- Pemeriksaan tugas campuran: Tugas campuran memberikan manfaat dari kedua metode sebelumnya. Metode ini memungkinkan Anda melakukan streaming data seperti yang Anda lakukan dengan metode konten, sekaligus mendapatkan penyimpanan, visualisasi, dan tindakan tugas pemeriksaan penyimpanan. Semua konfigurasi inspeksi dikelola dalam Perlindungan Data Sensitif, tanpa memerlukan konfigurasi tambahan di sisi klien. Tugas hybrid dapat berguna untuk memindai sistem penyimpanan non-native seperti database yang berjalan di virtual machine (VM), di lokal, atau di cloud lain. Metode campuran juga dapat berguna untuk memeriksa sistem pemrosesan seperti beban kerja migrasi, atau bahkan untuk melakukan proxy komunikasi layanan ke layanan. Meskipun metode konten juga dapat melakukannya, metode campuran memberikan backend penyimpanan temuan yang dapat menggabungkan data Anda di beberapa panggilan API sehingga Anda tidak perlu melakukannya.
Tentang tugas hybrid dan pemicu tugas
Tugas campuran secara efektif merupakan gabungan dari metode konten dan metode penyimpanan. Alur kerja dasar untuk menggunakan tugas hibrida dan pemicu tugas adalah sebagai berikut:
- Anda menulis skrip atau membuat alur kerja yang mengirim data ke Sensitive Data Protection untuk diperiksa bersama dengan beberapa metadata.
- Anda mengonfigurasi dan membuat resource tugas atau pemicu hybrid dan mengaktifkannya agar diaktifkan saat menerima data.
- Skrip atau alur kerja Anda berjalan di sisi klien dan mengirim data ke
Perlindungan Data Sensitif dalam bentuk
permintaan
hybridInspect. Data tersebut mencakup pesan aktivasi dan ID tugas atau pemicu tugas, yang memicu inspeksi. - Perlindungan Data Sensitif memeriksa data sesuai dengan kriteria yang Anda tetapkan dalam tugas atau pemicu hybrid.
- Sensitive Data Protection menyimpan hasil pemindaian ke resource tugas hybrid, beserta metadata yang Anda berikan. Anda dapat memeriksa hasilnya menggunakan UI Perlindungan Data Sensitif di konsol Google Cloud.
- Secara opsional, Perlindungan Data Sensitif dapat menjalankan tindakan pasca-pemindaian, seperti menyimpan data hasil pemeriksaan ke tabel BigQuery atau memberi tahu Anda melalui email atau Pub/Sub.
Pemicu tugas campuran memungkinkan Anda membuat, mengaktifkan, dan menghentikan tugas sehingga Anda dapat memicu tindakan kapan saja Anda membutuhkannya. Dengan memastikan bahwa skrip atau kode Anda mengirim data yang menyertakan ID pemicu tugas campuran, Anda tidak perlu memperbarui skrip atau kode setiap kali tugas baru dimulai.
Skenario pekerjaan hybrid yang umum
Pekerjaan hybrid sangat cocok untuk tujuan seperti berikut:
- Jalankan pemindaian satu kali pada database di luar Google Cloud sebagai bagian dari pemeriksaan spot kuartalan pada database.
- Pantau semua konten baru yang ditambahkan setiap hari ke database yang tidak didukung secara native oleh Perlindungan Data Sensitif.
- Memindai data yang masuk ke database, sekaligus mengontrol cara data dipartisi.
- Pantau traffic di jaringan menggunakan Filter Perlindungan Data Sensitif untuk Envoy (filter HTTP WebAssembly untuk proxy sidecar Envoy) untuk mengidentifikasi pergerakan data sensitif yang bermasalah.
Untuk informasi tentang cara menangani skenario ini, lihat Skenario pemeriksaan campuran umum.
Jenis metadata yang dapat Anda berikan
Bagian ini menjelaskan jenis metadata yang dapat Anda lampirkan ke data eksternal yang ingin Anda periksa atau ke temuan.
Anda dapat menetapkan metadata di tingkat berikut:
Metadata dalam tugas hybrid atau pemicu tugas hybrid
Bagian ini menjelaskan jenis metadata yang dapat Anda lampirkan ke tugas hybrid atau pemicu tugas hybrid.
Label yang diperlukan
Dalam tugas hybrid atau pemicu tugas hybrid, Anda dapat menentukan daftar label wajib
yang harus disertakan dalam semua permintaan pemeriksaan hybrid yang Anda kirim.
Setiap permintaan untuk tugas campuran atau pemicu tugas campuran yang tidak menyertakan label
yang diperlukan ini akan ditolak. Untuk informasi selengkapnya, lihat Memerlukan label dari
permintaan hybridInspect.
Label opsional
Anda dapat menentukan key-value pair yang akan dilampirkan ke semua temuan
dari tugas campuran atau pemicu tugas campuran. Misalnya, jika Anda ingin semua
temuan tugas campuran memiliki label "env"="prod", Anda harus menentukan
pasangan nilai kunci ini saat membuat tugas campuran.
Opsi data berbentuk tabel
Anda dapat menentukan kolom yang merupakan ID baris (kunci utama) untuk objek tabel dalam data Anda. Jika kolom yang ditentukan ada dalam tabel, nilai
dari kolom yang diberikan akan disertakan bersama setiap temuan sehingga Anda dapat melacak
temuan ke baris asalnya. Opsi tabel ini hanya berlaku untuk permintaan
yang mengirim data tabel seperti format item.table atau
byteItem
seperti CSV.
Jika mengetahui kunci utama sebelumnya, Anda dapat menetapkannya sebagai kolom
ID saat membuat tugas campuran atau pemicu tugas campuran. Anda dapat mencantumkan maksimal
tiga nama kolom di kolom hybridOptions.tableOptions.identifyingFields.
Metadata dalam permintaan hybridInspect
Bagian ini menjelaskan jenis metadata yang dapat Anda lampirkan ke
permintaan hybridInspect. Metadata yang Anda kirim dalam permintaan hybridInspect hanya
diterapkan ke permintaan tersebut.
Detail penampung
Setiap permintaan yang Anda kirim ke tugas hybrid atau pemicu tugas hybrid
dapat menentukan detail tentang sumber data,
termasuk elemen seperti fullPath, rootPath, relativePath, type,
version, dan lainnya. Misalnya, jika memindai tabel dalam database,
Anda dapat menetapkan kolom sebagai berikut:
{
"hybridItem": {
"item": {...},
"findingDetails": {
"containerDetails": {
"fullPath": "10.0.0.20/database1/table1",
"relativePath": "table1",
"rootPath": "10.0.0.20/database1",
"type": "postgres",
"version": "9.6"
},
"labels": {...}
}
}
}
Anda tidak dapat menetapkan detail penampung di tingkat tugas hybrid atau pemicu tugas hybrid.
Label yang diperlukan
Jika Anda menetapkan label yang diperlukan saat membuat tugas hibrida atau pemicu tugas hibrida,
permintaan hybridInspect apa pun yang Anda kirim ke tugas hibrida atau pemicu
tugas hibrida tersebut harus menyertakan label yang diperlukan tersebut. Untuk mengetahui informasi selengkapnya, lihat Memerlukan label dari permintaan hybridInspect.
Label opsional
Dalam setiap permintaan hybridInspect, Anda dapat menentukan pasangan nilai kunci yang akan dilampirkan
ke temuan apa pun dalam permintaan tersebut. Metode ini memungkinkan Anda melampirkan label yang berbeda
dengan setiap permintaan hybridInspect.
Opsi data berbentuk tabel
Anda dapat menentukan kolom yang merupakan ID baris (kunci utama) untuk objek tabel dalam data Anda. Jika kolom yang ditentukan ada dalam tabel, nilai
dari kolom yang diberikan akan disertakan bersama setiap temuan sehingga Anda dapat melacak
temuan ke baris asalnya. Opsi tabel ini hanya berlaku untuk permintaan
yang mengirim data tabel seperti format item.table atau
byteItem
seperti CSV.
Jika tidak mengetahui kunci utama sebelumnya, Anda tidak perlu menetapkannya di
tingkat tugas campuran atau pemicu tugas campuran. Anda dapat menetapkannya dalam permintaan hybridInspect bersama dengan data tabel yang akan diperiksa. Setiap kolom
yang Anda cantumkan di tingkat tugas campuran atau pemicu tugas campuran digabungkan dengan kolom
yang Anda cantumkan dalam permintaan hybridInspect.
Tindakan yang didukung
Seperti tugas Sensitive Data Protection lainnya, tugas hybrid mendukung tindakan. Tidak semua tindakan berlaku untuk tugas campuran. Berikut adalah tindakan yang saat ini didukung beserta informasi tentang cara kerjanya. Perhatikan bahwa dengan tindakan Pub/Sub, email, dan Cloud Monitoring, temuan akan tersedia saat tugas berakhir.
- Simpan temuan ke Perlindungan Data Sensitif dan Simpan temuan ke BigQuery: Temuan disimpan ke resource Perlindungan Data Sensitif atau tabel BigQuery. Tindakan ini berfungsi dengan tugas campuran mirip dengan cara kerjanya dengan jenis tugas lainnya, dengan satu perbedaan penting: Dengan tugas campuran, temuan tersedia saat tugas berjalan; dengan jenis tugas lainnya, temuan tersedia saat tugas berakhir.
Kirim Pub/Sub: Saat tugas selesai, pesan Pub/Sub akan dikeluarkan.
Kirim Email: Saat tugas selesai, pesan email akan dikirim.
Publikasikan ke Cloud Monitoring: Setelah tugas selesai, temuannya akan dipublikasikan ke Monitoring.
Ringkasan
Berikut adalah beberapa fitur dan manfaat utama penggunaan tugas hibrida dan pemicu tugas:
- Tugas hybrid memungkinkan Anda melakukan streaming data ke Sensitive Data Protection dari hampir semua sumber, baik di cloud maupun di luar cloud.
- Pemicu tugas campuran diaktifkan saat Perlindungan Data Sensitif menerima streaming data yang menyertakan pesan aktivasi dan ID pemicu tugas.
- Anda dapat menunggu hingga pemindaian inspeksi selesai, atau Anda dapat menghentikan tugas secara manual. Hasil pemeriksaan disimpan ke Perlindungan Data Sensitif atau ke BigQuery, baik Anda mengizinkan tugas selesai atau menghentikan tugas lebih awal.
- Hasil pemindaian pemeriksaan Perlindungan Data Sensitif dari pemicu tugas hybrid disimpan ke resource tugas hybrid dalam Perlindungan Data Sensitif.
- Anda dapat memeriksa hasil pemindaian pemeriksaan dengan melihat resource pemicu tugas dalam Perlindungan Data Sensitif.
- Anda juga dapat menginstruksikan Perlindungan Data Sensitif untuk, menggunakan tindakan, mengirim hasil tugas campuran ke database BigQuery dan memberi tahu Anda melalui notifikasi email atau Pub/Sub.
Langkah selanjutnya
- Untuk mempelajari cara menggunakan tugas hybrid dan pemicu tugas guna menerima data untuk pemeriksaan, lihat Mengirim data eksternal ke Perlindungan Data Sensitif menggunakan tugas hybrid.