Tugas hybrid dan pemicu tugas mencakup sekumpulan metode API asinkron yang memungkinkan Anda memindai payload data yang dikirim dari hampir semua sumber untuk mendapatkan informasi sensitif, lalu menyimpan temuan tersebut di Google Cloud. Tugas hybrid memungkinkan Anda menulis crawler data Anda sendiri yang berperilaku dan menyalurkan data mirip dengan metode pemeriksaan penyimpanan Perlindungan Data Sensitif.
Dengan menggunakan tugas hybrid, Anda dapat melakukan streaming data dari sumber apa pun ke Perlindungan Data Sensitif. Perlindungan Data Sensitif memeriksa data untuk mendeteksi informasi sensitif atau PII, lalu menyimpan hasil pemindaian pemeriksaan ke resource tugas Perlindungan Data Sensitif. Anda dapat memeriksa hasil pemindaian di UI atau API Konsol Perlindungan Data Sensitif, atau menentukan tindakan pasca-pemindaian yang akan dijalankan, seperti menyimpan data hasil pemeriksaan ke tabel BigQuery atau memunculkan notifikasi Pub/Sub.
Alur kerja pekerjaan hybrid dirangkum dalam diagram berikut:
Topik konseptual ini menjelaskan pekerjaan hybrid dan pemicu pekerjaan serta cara kerjanya. Untuk mempelajari cara menerapkan tugas hybrid dan pemicu tugas, lihat Memeriksa data eksternal menggunakan tugas hybrid.
Tentang lingkungan hybrid
Lingkungan "hibrid" adalah hal umum di organisasi. Banyak organisasi menyimpan dan memproses data sensitif menggunakan beberapa kombinasi berikut:
- Penyedia Cloud lainnya
- Server lokal atau repositori data lainnya
- Sistem penyimpanan non-native, seperti sistem yang berjalan di dalam virtual machine
- Aplikasi web dan seluler
- Solusi berbasis Google Cloud
Dengan menggunakan sistem kerja hybrid, Perlindungan Data Sensitif dapat memeriksa data yang dikirim ke sana dari salah satu sumber ini. Berikut ini adalah beberapa contoh skenario:
- Memeriksa data yang tersimpan di Amazon Relational Database Service (RDS), MySQL yang berjalan di dalam virtual machine, atau database lokal.
- Periksa dan buat token data saat Anda bermigrasi dari infrastruktur lokal ke cloud, atau antara produksi, pengembangan, dan analisis.
- Periksa dan sunting transaksi dari aplikasi web atau seluler sebelum menyimpan data dalam penyimpanan.
Opsi inspeksi
Seperti yang dijelaskan secara lebih mendetail dalam Jenis metode, jika Anda ingin memeriksa konten untuk mendeteksi data sensitif, Perlindungan Data Sensitif menyediakan tiga opsi default:
- Pemeriksaan metode konten: Dengan menggunakan pemeriksaan konten, Anda melakukan streaming payload data kecil ke Perlindungan Data Sensitif beserta petunjuk tentang apa yang harus diperiksa. Perlindungan Data Sensitif kemudian memeriksa data untuk menemukan konten sensitif dan PII, lalu menampilkan hasil pemindaiannya kembali kepada Anda.
- Pemeriksaan metode penyimpanan: Dengan menggunakan inspeksi penyimpanan, Perlindungan Data Sensitif memeriksa repositori penyimpanan berbasis Google Cloud, seperti database BigQuery, bucket Cloud Storage, atau jenis Datastore. Anda memberi tahu Perlindungan Data Sensitif apa yang harus diperiksa dan apa yang harus diperiksa, lalu Perlindungan Data Sensitif menjalankan tugas yang memindai repositori. Setelah pemindaian selesai, Perlindungan Data Sensitif akan menyimpan ringkasan hasil pemindaian kembali ke tugas. Anda juga dapat menentukan bahwa hasilnya dikirim ke produk Google Cloud lain untuk dianalisis, seperti tabel BigQuery terpisah.
- Pemeriksaan tugas hybrid: Tugas hybrid memberikan manfaat dari kedua metode sebelumnya. Hal ini memungkinkan Anda melakukan streaming data seperti yang Anda lakukan dengan metode konten, sekaligus mendapatkan penyimpanan, visualisasi, dan tindakan tugas pemeriksaan penyimpanan. Semua konfigurasi pemeriksaan dikelola dalam Perlindungan Data Sensitif, tanpa memerlukan konfigurasi tambahan di sisi klien. Tugas hybrid dapat berguna untuk memindai sistem penyimpanan non-native seperti database yang berjalan di virtual machine (VM), lokal, atau di cloud lainnya. Metode hybrid juga berguna untuk memeriksa sistem pemrosesan seperti beban kerja migrasi, atau bahkan untuk komunikasi antar-layanan proxy. Meskipun metode konten juga dapat melakukannya, metode campuran menyediakan backend penyimpanan temuan yang dapat menggabungkan data Anda ke berbagai panggilan API sehingga Anda tidak perlu melakukannya.
Tentang tugas hybrid dan pemicu tugas
Tugas hybrid pada dasarnya adalah campuran dari metode konten dan metode penyimpanan. Alur kerja dasar untuk menggunakan tugas hybrid dan pemicu tugas adalah sebagai berikut:
- Anda akan menulis skrip atau membuat alur kerja yang mengirimkan data ke Perlindungan Data Sensitif untuk diperiksa beserta beberapa metadata.
- Anda mengonfigurasi dan membuat pemicu atau resource tugas hybrid dan mengaktifkannya untuk diaktifkan saat menerima data.
- Skrip atau alur kerja Anda berjalan pada sisi klien dan mengirim data ke Perlindungan Data Sensitif dalam bentuk permintaan
hybridInspect. Data tersebut mencakup pesan aktivasi dan ID pemicu tugas atau tugas, yang memicu pemeriksaan. - Perlindungan Data Sensitif memeriksa data sesuai dengan kriteria yang Anda tetapkan dalam tugas atau pemicu hybrid.
- Perlindungan Data Sensitif menyimpan hasil pemindaian ke resource pekerjaan hybrid, beserta metadata yang Anda berikan. Anda dapat memeriksa hasilnya menggunakan UI Perlindungan Data Sensitif di Konsol Google Cloud.
- Secara opsional, Perlindungan Data Sensitif dapat menjalankan tindakan pasca-pemindaian, seperti menyimpan data hasil pemeriksaan ke tabel BigQuery atau memberi tahu Anda melalui email atau Pub/Sub.
Pemicu tugas hybrid memungkinkan Anda membuat, mengaktifkan, dan menghentikan tugas sehingga Anda dapat memicu tindakan kapan pun Anda membutuhkannya. Dengan memastikan bahwa skrip atau kode Anda mengirim data yang menyertakan ID pemicu tugas hybrid, Anda tidak perlu memperbarui skrip atau kode setiap kali tugas baru dimulai.
Skenario pekerjaan hybrid umum
Pekerjaan hybrid sangat cocok untuk tujuan seperti berikut:
- Menjalankan pemindaian database satu kali di luar Google Cloud sebagai bagian dari pemeriksaan setiap tiga bulan pada database.
- Pantau semua konten baru yang ditambahkan setiap hari ke database yang tidak didukung secara default oleh Perlindungan Data Sensitif.
- Memindai data yang masuk ke database, sambil mengontrol cara data dipartisi.
- Pantau traffic dalam jaringan menggunakan Sensitive Data Protection Filter for Envoy (filter WebAssembly HTTP untuk proxy sidecar Envoy) guna mengidentifikasi perpindahan data sensitif yang bermasalah.
Untuk mengetahui informasi tentang cara menangani skenario ini, lihat Skenario inspeksi hybrid standar.
Jenis metadata yang dapat Anda berikan
Bagian ini menjelaskan jenis metadata yang dapat Anda lampirkan ke data eksternal yang ingin diperiksa atau ke temuan.
Anda dapat menetapkan metadata pada tingkat berikut:
Metadata dalam tugas hybrid atau pemicu tugas hybrid
Bagian ini menjelaskan jenis metadata yang dapat Anda lampirkan ke tugas hybrid atau pemicu tugas hybrid.
Label yang diperlukan
Dalam pemicu tugas hybrid atau tugas hybrid, Anda dapat menentukan daftar label
yang diperlukan yang harus disertakan dalam semua permintaan pemeriksaan hybrid yang Anda kirim.
Setiap permintaan untuk tugas hybrid atau pemicu tugas hybrid yang tidak menyertakan
label wajib ini akan ditolak. Untuk mengetahui informasi selengkapnya, lihat Mewajibkan label dari
permintaan hybridInspect.
Label opsional
Anda dapat menentukan pasangan nilai kunci untuk dilampirkan ke semua temuan
dari tugas hybrid atau pemicu tugas hybrid. Misalnya, jika Anda ingin semua temuan tugas hybrid memiliki label "env"="prod", Anda harus menentukan pasangan nilai kunci ini saat membuat tugas hybrid.
Opsi data berbentuk tabel
Anda dapat menentukan kolom yang merupakan ID baris (kunci utama) untuk objek tabel dalam data Anda. Jika kolom yang ditentukan ada dalam tabel, nilai dari kolom yang ditentukan akan disertakan di setiap temuan sehingga Anda dapat melacak temuan tersebut ke baris asalnya. Opsi tabel ini hanya berlaku untuk permintaan
yang mengirimkan data tabel seperti format item.table atau
byteItem
seperti CSV.
Jika sudah mengetahui kunci utama, Anda dapat menetapkannya sebagai kolom pengidentifikasi
saat membuat tugas hybrid atau pemicu tugas hybrid. Anda dapat mencantumkan hingga
tiga nama kolom di kolom hybridOptions.tableOptions.identifyingFields.
Metadata dalam permintaan hybridInspect
Bagian ini menjelaskan jenis-jenis metadata yang dapat Anda lampirkan ke
permintaan hybridInspect. Metadata yang Anda kirim dalam permintaan hybridInspect
hanya diterapkan untuk permintaan tersebut.
Detail penampung
Setiap permintaan yang Anda kirim ke tugas hybrid atau pemicu tugas hybrid
dapat menentukan detail sumber data,
termasuk elemen seperti fullPath, rootPath, relativePath, type,
version, dan lainnya. Misalnya, jika memindai tabel dalam database, Anda dapat menetapkan kolom sebagai berikut:
{
"hybridItem": {
"item": {...},
"findingDetails": {
"containerDetails": {
"fullPath": "10.0.0.20/database1/table1",
"relativePath": "table1",
"rootPath": "10.0.0.20/database1",
"type": "postgres",
"version": "9.6"
},
"labels": {...}
}
}
}
Anda tidak dapat menetapkan detail penampung di tingkat tugas hybrid atau pemicu tugas hybrid.
Label yang diperlukan
Jika Anda menetapkan label yang diperlukan saat membuat tugas hybrid atau pemicu tugas hybrid,
permintaan hybridInspect yang Anda kirim ke tugas hybrid atau pemicu tugas hybrid
tersebut harus menyertakan label yang diperlukan tersebut. Untuk mengetahui informasi selengkapnya, lihat Mewajibkan
label dari permintaan
hybridInspect.
Label opsional
Dalam setiap permintaan hybridInspect, Anda dapat menentukan key-value pair yang akan dilampirkan ke temuan apa pun dalam permintaan tersebut. Metode ini memungkinkan Anda melampirkan label yang berbeda
dengan setiap permintaan hybridInspect.
Opsi data berbentuk tabel
Anda dapat menentukan kolom yang merupakan ID baris (kunci utama) untuk objek tabel dalam data Anda. Jika kolom yang ditentukan ada dalam tabel, nilai dari kolom yang ditentukan akan disertakan di setiap temuan sehingga Anda dapat melacak temuan tersebut ke baris asalnya. Opsi tabel ini hanya berlaku untuk permintaan
yang mengirimkan data tabel seperti format item.table atau
byteItem
seperti CSV.
Jika tidak mengetahui kunci utama sebelumnya, Anda tidak perlu menetapkannya di
tingkat tugas hybrid atau pemicu tugas hybrid. Anda dapat menetapkannya dalam
permintaan hybridInspect beserta data tabel yang akan diperiksa. Setiap kolom
yang Anda cantumkan di tingkat pemicu tugas hybrid atau tugas hybrid akan digabungkan dengan kolom yang
Anda cantumkan dalam permintaan hybridInspect.
Tindakan yang didukung
Seperti tugas Perlindungan Data Sensitif lainnya, tugas hybrid mendukung tindakan. Tidak semua tindakan berlaku untuk pekerjaan hybrid. Berikut adalah tindakan yang saat ini didukung beserta informasi tentang cara kerjanya. Perhatikan bahwa dengan tindakan Pub/Sub, email, dan Cloud Monitoring, temuan tersedia saat tugas berakhir.
- Simpan temuan ke Perlindungan Data Sensitif dan Simpan temuan ke BigQuery: Temuan disimpan ke resource Perlindungan Data Sensitif atau tabel BigQuery. Tindakan ini berfungsi dengan tugas hybrid, mirip dengan cara kerjanya dengan jenis tugas lainnya, dengan satu perbedaan penting: Dengan tugas hybrid, temuan tersedia saat tugas sedang berjalan; dengan jenis tugas lainnya, temuan tersedia saat tugas berakhir.
Kirim Pub/Sub: Ketika tugas selesai, pesan Pub/Sub akan muncul.
Kirim Email: Ketika tugas selesai, pesan email akan dikirimkan.
Publikasikan ke Cloud Monitoring: Setelah tugas selesai, temuannya akan dipublikasikan ke Monitoring.
Ringkasan
Berikut adalah beberapa fitur dan manfaat utama menggunakan tugas hybrid dan pemicu pekerjaan:
- Pekerjaan hybrid memungkinkan Anda melakukan streaming data ke Perlindungan Data Sensitif dari hampir semua sumber, di dalam atau di luar cloud.
- Pemicu tugas hybrid diaktifkan saat Perlindungan Data Sensitif menerima aliran data yang menyertakan pesan aktivasi dan ID pemicu tugas.
- Anda dapat menunggu hingga pemindaian pemeriksaan selesai, atau Anda dapat menghentikan tugas secara manual. Hasil pemeriksaan disimpan ke Perlindungan Data Sensitif atau ke BigQuery apakah Anda mengizinkan tugas untuk menyelesaikan atau menghentikan tugas lebih awal.
- Hasil pemindaian Perlindungan Data Sensitif dari pemicu tugas hybrid disimpan ke resource tugas hybrid dalam Perlindungan Data Sensitif.
- Anda dapat memeriksa hasil pemindaian pemeriksaan dengan melihat resource pemicu tugas dalam Perlindungan Data Sensitif.
- Anda juga dapat menginstruksikan Perlindungan Data Sensitif untuk, menggunakan tindakan, mengirim hasil tugas hybrid ke database BigQuery dan memberi tahu Anda melalui email atau notifikasi Pub/Sub.
Langkah selanjutnya
- Untuk mempelajari cara menggunakan tugas hybrid dan pemicu tugas guna menerima data untuk pemeriksaan, lihat Mengirim data eksternal ke Perlindungan Data Sensitif menggunakan tugas hybrid.