Membuat profil data BigQuery dalam satu project

Halaman ini menjelaskan cara mengonfigurasi penemuan data BigQuery di level project. Jika Anda ingin membuat profil organisasi atau folder, lihat Membuat profil data BigQuery di organisasi atau folder.

Untuk informasi selengkapnya tentang layanan penemuan, lihat Profil data.

Untuk memulai pembuatan profil data, Anda harus membuat konfigurasi pemindaian.

Sebelum memulai

  1. Pastikan Cloud Data Loss Prevention API diaktifkan di project Anda:

    1. Login ke akun Google Cloud Anda. Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa produk kami dalam skenario dunia nyata. Pelanggan baru juga mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
    2. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

      Buka pemilih project

    3. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

    4. Enable the required API.

      Enable the API

    5. Di konsol Google Cloud, pada halaman pemilih project, pilih atau buat project Google Cloud.

      Buka pemilih project

    6. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

    7. Enable the required API.

      Enable the API

  2. Pastikan Anda memiliki izin IAM yang diperlukan untuk mengonfigurasi profil data di level project.

  3. Anda harus memiliki template inspeksi di setiap region tempat Anda memiliki data untuk dibuat profilnya. Jika ingin menggunakan satu template untuk beberapa region, Anda dapat menggunakan template yang disimpan di region global. Jika kebijakan organisasi mencegah Anda membuat template inspeksi global, Anda harus menetapkan template inspeksi khusus untuk setiap region. Untuk mengetahui informasi selengkapnya, lihat Pertimbangan residensi data.

    Tugas ini memungkinkan Anda membuat template inspeksi di region global saja. Jika memerlukan template inspeksi khusus untuk satu atau beberapa region, Anda harus membuat template tersebut sebelum melakukan tugas ini.

  4. Anda dapat mengonfigurasi Perlindungan Data Sensitif untuk mengirim notifikasi ke Pub/Sub saat peristiwa tertentu terjadi, seperti saat membuat profil Perlindungan Data Sensitif sebagai tabel baru. Jika ingin menggunakan fitur ini, Anda harus membuat topik Pub/Sub terlebih dahulu.

Membuat konfigurasi pemindaian

  1. Buka halaman Buat konfigurasi pemindaian.

    Buka Buat konfigurasi pemindaian

  2. Buka project Anda. Pada toolbar, klik pemilih project, lalu pilih project Anda.

Bagian berikut memberikan informasi selengkapnya tentang langkah-langkah di halaman Membuat konfigurasi pemindaian. Di akhir setiap bagian, klik Lanjutkan.

Pilih jenis penemuan

Pilih BigQuery.

Pilih cakupan

Lakukan salah satu hal berikut:

  • Jika Anda ingin memindai satu tabel dalam mode pengujian, pilih Scan one table (test mode).

    Jumlah pemindaian tabel gratis yang tersedia akan ditampilkan. Pemindaian tabel gratis hanya berlaku untuk tabel yang berukuran kurang dari atau sama dengan 1 TB. Untuk setiap tabel, Anda hanya dapat memiliki satu konfigurasi pemindaian tingkat tabel. Untuk mengetahui informasi selengkapnya, lihat Membuat profil tabel dalam mode pengujian.

    Isi detail tabel yang ingin Anda buat profilnya.

  • Jika Anda ingin melakukan pembuatan profil level project standar, pilih Scan entire project.

Kelola jadwal

Jika frekuensi pembuatan profil default sesuai dengan kebutuhan, Anda dapat melewati bagian ini pada halaman Buat konfigurasi pemindaian. Bagian ini berguna jika Anda ingin membuat penyesuaian terperinci pada frekuensi pembuatan profil semua data atau subset data tertentu. Cara ini juga berguna jika Anda tidak ingin tabel tertentu dibuat profilnya, atau Anda ingin membuat profil sekali dan tidak pernah lagi.

Di bagian ini, Anda akan membuat filter untuk menentukan subkumpulan data tertentu yang menarik. Untuk subkumpulan ini, Anda menentukan apakah Perlindungan Data Sensitif harus membuat profil tabel dan seberapa sering. Di sini, Anda juga menentukan jenis perubahan yang harus menyebabkan tabel dibuat ulang. Terakhir, tentukan kondisi yang harus dipenuhi setiap tabel dalam subset sebelum Perlindungan Data Sensitif memulai pembuatan profil tabel.

Untuk melakukan penyesuaian mendetail pada frekuensi pembuatan profil, ikuti langkah-langkah berikut:

  1. Klik Tambahkan jadwal.
  2. Di bagian Filter, Anda menentukan satu atau beberapa filter yang menentukan tabel mana yang berada dalam cakupan jadwal.

    Tentukan minimal salah satu hal berikut:

    • Project ID atau ekspresi reguler yang menentukan satu atau beberapa project.
    • ID set data atau ekspresi reguler yang menentukan satu atau beberapa set data.
    • ID tabel atau ekspresi reguler yang menentukan satu atau beberapa tabel.

    Ekspresi reguler harus mengikuti sintaksis RE2.

    Misalnya, jika Anda ingin semua tabel dalam set data disertakan dalam filter, tentukan ID set data tersebut dan kosongkan dua kolom lainnya.

    Jika Anda ingin menambahkan filter lainnya, klik Tambahkan filter dan ulangi langkah ini.

  3. Klik Frekuensi.

  4. Di bagian Frekuensi, tentukan apakah Perlindungan Data Sensitif harus membuat profil tabel yang Anda tentukan dalam filter, dan jika ya, seberapa sering:

    • Jika Anda tidak ingin tabel dibuat profilnya, nonaktifkan Buat profil tabel.

    • Jika Anda ingin tabel dibuat profilnya minimal satu kali, biarkan Membuat profil tabel.

      Di kolom berikutnya di bagian ini, Anda akan menentukan apakah sistem harus membuat ulang data Anda dan peristiwa apa yang harus memicu operasi pembuatan ulang profil. Untuk mengetahui informasi selengkapnya, lihat Frekuensi pembuatan profil data.

      1. Untuk bagian Saat skema berubah, tentukan seberapa sering Perlindungan Data Sensitif harus memeriksa apakah tabel yang dipilih mengalami perubahan skema setelah terakhir dibuat profilnya. Hanya tabel dengan perubahan skema yang akan dibuat ulang profil.
      2. Untuk Jenis perubahan skema, tentukan jenis perubahan skema yang akan memicu operasi pembuatan ulang profil. Pilih salah satu opsi berikut:
        • Kolom baru: Membuat profil ulang tabel yang memperoleh kolom baru.
        • Kolom yang dihapus: Buat profil ulang tabel yang kolomnya telah dihapus.

        Misalnya, Anda memiliki tabel yang mendapatkan kolom baru setiap hari, dan Anda perlu membuat profil kontennya setiap saat. Anda dapat menetapkan Kapan skema berubah ke Reprofile daily, dan menetapkan Types of schema change ke New columns.

      3. Untuk bagian Kapan tabel berubah, tentukan seberapa sering Perlindungan Data Sensitif harus memeriksa apakah tabel yang dipilih mengalami perubahan setelah terakhir dibuat profilnya. Hanya tabel dengan perubahan yang akan dibuat ulang. Contoh perubahan tabel adalah penghapusan baris dan perubahan skema.

        Anda harus memilih nilai yang sama dengan, atau lebih jarang daripada, nilai yang ditetapkan di kolom When schema changes.

      4. Untuk Ketika memeriksa perubahan template, tentukan apakah Anda ingin data Anda dibuat ulang profil saat template inspeksi terkait diperbarui, dan jika ya, seberapa sering.

        Perubahan template pemeriksaan terdeteksi saat salah satu dari hal berikut terjadi:

        • Nama template pemeriksaan berubah dalam konfigurasi pemindaian Anda.
        • updateTime template pemeriksaan berubah.

      5. Misalnya, jika Anda menetapkan template inspeksi untuk region us-west1 dan memperbarui template inspeksi tersebut, hanya data di region us-west1 yang akan dibuat ulang. Namun, jika Anda menghapus template inspeksi tersebut, data di us-west1 tidak akan dibuat ulang profil, karena tidak ada template inspeksi yang dapat digunakan untuk membuat ulang profilnya.

  5. Klik Kondisi.

  6. Di bagian Kondisi, tentukan semua kondisi yang harus dipenuhi tabel, yang ditentukan dalam filter, sebelum membuat profil Perlindungan Data Sensitif. Jika Anda menetapkan kondisi minimum dan kondisi waktu, Perlindungan Data Sensitif hanya membuat profil tabel yang memenuhi kedua jenis kondisi tersebut.

    • Kondisi minimum: Kondisi ini berguna jika Anda ingin menunda pembuatan profil tabel hingga memiliki cukup baris atau mencapai usia tertentu. Aktifkan kondisi yang ingin Anda terapkan, dan tentukan jumlah atau durasi baris minimum.
    • Kondisi waktu: Kondisi ini berguna jika Anda tidak ingin tabel lama dibuat profilnya. Aktifkan kondisi waktu, lalu pilih tanggal dan waktu. Setiap tabel yang dibuat pada atau sebelum tanggal tersebut akan dikecualikan dari pembuatan profil.

    Misalkan Anda memiliki konfigurasi berikut:

    • Kondisi minimum

      • Jumlah baris minimum: 10 baris
      • Durasi minimum: 24 jam
    • Kondisi waktu

      • Stempel waktu: 4/5/22, 23.59

    Dalam kasus ini, Perlindungan Data Sensitif akan mengecualikan tabel apa pun yang dibuat pada atau sebelum 4 Mei 2022, pukul 23.59. Di antara tabel yang dibuat setelah tanggal dan waktu ini, Profil Perlindungan Data Sensitif hanya menampilkan tabel yang memiliki 10 baris atau berusia minimal 24 jam.

  7. Di bagian Tables to profile, pilih salah satu opsi berikut, bergantung pada jenis tabel yang ingin Anda buat profil:

    • Buat profil semua tabel: Pilih opsi ini jika Anda ingin Perlindungan Data Sensitif membuat profil semua jenis tabel yang sesuai dengan filter dan kondisi Anda.

      Untuk jenis tabel yang tidak didukung, Sensitive Data Protection hanya menghasilkan profil yang terisi sebagian. Profil tersebut menampilkan error yang menunjukkan bahwa tabel yang terkait dengan tabel tersebut tidak didukung. Pilih opsi ini jika Anda ingin melihat profil sebagian meskipun ada pesan error.

      Saat menambahkan dukungan untuk jenis tabel baru, Sensitive Data Protection sepenuhnya akan memprofilkan ulang tabel jenis tersebut selama operasi terjadwal berikutnya.

    • Tabel yang didukung profil: Pilih opsi ini jika Anda ingin Perlindungan Data Sensitif hanya membuat profil tabel yang didukung yang cocok dengan filter dan kondisi Anda. Tabel yang tidak didukung tidak akan memiliki profil sebagian.

    • Jenis tabel khusus profil: Pilih opsi ini jika Anda ingin Perlindungan Data Sensitif hanya membuat profil jenis tabel yang Anda pilih. Dalam daftar yang muncul, pilih satu atau beberapa jenis.

      Saat Perlindungan Data Sensitif menambahkan dukungan untuk jenis tabel baru, fitur ini tidak otomatis membuat profil tabel dari jenis tersebut. Untuk membuat profil jenis tabel yang baru didukung, Anda harus mengedit konfigurasi pemindaian dan memilih jenis tersebut.

    Jika Anda tidak memilih opsi, profil Perlindungan Data Sensitif hanya akan menampilkan tabel BigQuery dan menampilkan error untuk tabel yang tidak didukung.

    Harga untuk pembuatan profil data bervariasi, bergantung pada jenis tabel yang dibuat profilnya. Untuk informasi selengkapnya, lihat Harga pembuatan profil data.

  8. Klik Done.

  9. Jika Anda ingin menambahkan jadwal lainnya, klik Tambahkan jadwal dan ulangi langkah-langkah sebelumnya.

  10. Untuk menyusun ulang jadwal sesuai prioritas, gunakan panah atas dan panah bawah. Misalnya, jika filter dalam dua jadwal berbeda cocok dengan Tabel A, jadwal yang lebih tinggi pada daftar prioritas akan lebih diprioritaskan.

    Jadwal terakhir dalam daftar selalu berlabel Jadwal default. Jadwal default ini mencakup tabel dalam project Anda yang tidak cocok dengan jadwal mana pun yang Anda buat. Jadwal default ini mengikuti frekuensi pembuatan profil default sistem.

  11. Jika Anda ingin menyesuaikan jadwal default, klik Edit jadwal, dan sesuaikan setelan sesuai kebutuhan.

Pilih template pemeriksaan

Bergantung pada cara Anda ingin menyediakan konfigurasi pemeriksaan, pilih salah satu opsi berikut. Terlepas dari opsi yang Anda pilih, Perlindungan Data Sensitif memindai data Anda di region tempat data tersebut disimpan. Artinya, data Anda tidak dikirim ke region asalnya.

Opsi 1: Membuat template inspeksi

Pilih opsi ini jika Anda ingin membuat template inspeksi baru di region global.

  1. Klik Create new inspection template.
  2. Opsional: Untuk mengubah pilihan infoTypes default, klik Kelola infoTypes.

    Untuk mengetahui informasi selengkapnya tentang cara mengelola infoTypes bawaan dan kustom di bagian ini, lihat Mengelola infoTypes melalui Konsol Google Cloud.

    Anda harus memilih setidaknya satu infoType untuk melanjutkan.

  3. Opsional: Konfigurasi template pemeriksaan lebih lanjut dengan menambahkan kumpulan aturan dan menetapkan nilai minimum keyakinan. Untuk mengetahui informasi lebih lanjut, lihat Mengonfigurasi deteksi.

    Saat membuat konfigurasi pemindaian, Sensitive Data Protection akan menyimpan template pemeriksaan baru ini di region global.

Opsi 2: Gunakan template pemeriksaan yang ada

Pilih opsi ini jika Anda memiliki template pemeriksaan yang ingin digunakan.

  1. Klik Select existing inspection template.

  2. Masukkan nama resource lengkap template pemeriksaan yang ingin Anda gunakan. Kolom Region diisi otomatis dengan nama wilayah tempat template inspeksi Anda disimpan.

    Template pemeriksaan yang Anda masukkan harus berada di region yang sama dengan data yang akan dibuat profilnya. Untuk mematuhi residensi data, Sensitive Data Protection tidak menggunakan template pemeriksaan di luar regionnya sendiri.

    Untuk menemukan nama resource lengkap dari template pemeriksaan, ikuti langkah-langkah berikut:

    1. Buka daftar template inspeksi. Halaman ini akan terbuka di tab terpisah.

      Buka template pemeriksaan

    2. Beralihlah ke project yang berisi template pemeriksaan yang ingin Anda gunakan.

    3. Di tab Templates, klik ID template yang ingin Anda gunakan.

    4. Pada halaman yang terbuka, salin nama resource lengkap template. Nama resource lengkap akan mengikuti format ini:

      projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID
    5. Di halaman Create Scan configuration, di kolom Template name, tempel nama lengkap resource template.

  3. Jika Anda memiliki data di wilayah lain, dan memiliki template pemeriksaan yang ingin digunakan untuk wilayah tersebut, ikuti langkah-langkah berikut:

    1. Klik Add inspection template.
    2. Masukkan nama resource lengkap template pemeriksaan.

    Ulangi langkah-langkah ini untuk setiap wilayah tempat Anda memiliki template inspeksi khusus.

  4. Opsional: Tambahkan template inspeksi yang disimpan di region global. Perlindungan Data Sensitif otomatis menggunakan template tersebut untuk data di wilayah tempat Anda tidak memiliki template pemeriksaan khusus.

Tambah tindakan

Di bagian berikut, Anda menentukan tindakan yang Anda inginkan untuk dilakukan oleh Perlindungan Data Sensitif setelah membuat profil data.

Untuk mengetahui informasi tentang kemungkinan biaya yang dikenakan oleh layanan Google Cloud lainnya atas konfigurasi tindakan, lihat Harga untuk mengekspor profil data.

Publikasikan ke Security Command Center

Tindakan ini memungkinkan Anda mengirim risiko data yang dihitung dan tingkat sensitivitas profil data tabel ke Security Command Center.

Security Command Center adalah layanan pelaporan ancaman dan kerentanan terpusat dari Google Cloud. Anda dapat menggunakan insight dari profil data saat melakukan triase dan mengembangkan rencana respons untuk temuan kerentanan dan ancaman di Security Command Center.

Sebelum Anda dapat menggunakan tindakan ini, Security Command Center harus diaktifkan di tingkat organisasi. Mengaktifkan Security Command Center di tingkat organisasi akan memungkinkan alur temuan dari layanan terintegrasi seperti Perlindungan Data Sensitif. Perlindungan Data Sensitif berfungsi dengan Security Command Center Standard dan Premium.

Jika Security Command Center tidak diaktifkan di tingkat organisasi, temuan Perlindungan Data Sensitif tidak akan muncul di Security Command Center. Untuk mengetahui informasi selengkapnya, lihat Memeriksa tingkat aktivasi Security Command Center.

Untuk mengirim hasil profil data ke Security Command Center, pastikan opsi Publish to Security Command Center diaktifkan.

Untuk informasi selengkapnya, lihat Memublikasikan profil data ke Security Command Center.

Simpan salinan profil data ke BigQuery

Dengan mengaktifkan opsi Simpan salinan profil data ke BigQuery, Anda dapat menyimpan salinan atau histori tersimpan dari semua profil yang dibuat. Cara ini dapat berguna untuk membuat laporan audit dan memvisualisasikan profil data. Anda juga dapat memuat informasi ini ke sistem lain.

Selain itu, opsi ini memungkinkan Anda melihat semua profil data dalam satu tampilan, di mana pun region data Anda berada. Jika menonaktifkan opsi ini, Anda tetap dapat melihat profil data di dasbor. Namun, di dasbor, Anda dapat memilih satu region dalam satu waktu, dan hanya melihat profil data untuk region tersebut.

Untuk mengekspor salinan profil data ke tabel BigQuery, ikuti langkah-langkah berikut:

  1. Aktifkan Simpan salinan profil data ke BigQuery.

  2. Masukkan detail tabel BigQuery tempat Anda ingin menyimpan profil data:

    • Untuk Project ID, masukkan ID project yang sudah ada tempat Anda ingin mengekspor profil data.

    • Untuk Dataset ID, masukkan nama set data yang ada dalam project tempat Anda ingin profil data diekspor.

    • Untuk ID Tabel, masukkan nama tabel BigQuery tempat profil data akan diekspor. Jika Anda belum membuat tabel ini, Perlindungan Data Sensitif akan otomatis membuatnya untuk Anda menggunakan nama yang Anda berikan.

Perlindungan Data Sensitif mulai mengekspor profil sejak Anda mengaktifkan opsi ini. Profil yang dibuat sebelum Anda mengaktifkan ekspor tidak disimpan ke BigQuery.

Publikasikan ke Pub/Sub

Dengan mengaktifkan Publikasikan ke Pub/Sub, Anda dapat mengambil tindakan terprogram berdasarkan hasil pembuatan profil. Anda dapat menggunakan notifikasi Pub/Sub guna mengembangkan alur kerja untuk menangkap dan memperbaiki temuan dengan risiko atau sensitivitas data yang signifikan.

Untuk mengirim notifikasi ke topik Pub/Sub, ikuti langkah-langkah berikut:

  1. Aktifkan Publikasikan ke Pub/Sub.

    Daftar opsi akan muncul. Setiap opsi menjelaskan peristiwa yang menyebabkan Perlindungan Data Sensitif mengirim notifikasi ke Pub/Sub.

  2. Pilih peristiwa yang akan memicu notifikasi Pub/Sub.

    Jika Anda memilih Kirim notifikasi Pub/Sub setiap kali profil diupdate, Sensitive Data Protection akan mengirim notifikasi saat ada perubahan pada metrik tingkat tabel berikut:

    • Risiko data
    • Sensitivitas
    • infoType yang diprediksi
    • infoType lainnya
    • Publik
    • Enkripsi
  3. Untuk setiap peristiwa yang Anda pilih, ikuti langkah-langkah berikut:

    1. Masukkan nama topik. Nama harus dalam format berikut:

      projects/PROJECT_ID/topics/TOPIC_ID
      

      Ganti kode berikut:

      • PROJECT_ID: ID project yang terkait dengan topik Pub/Sub.
      • TOPIC_ID: ID topik Pub/Sub.
    2. Tentukan apakah akan menyertakan profil tabel lengkap dalam notifikasi, atau hanya nama resource lengkap tabel yang dibuat profilnya.

    3. Tetapkan risiko data minimum dan tingkat sensitivitas yang harus dipenuhi agar Perlindungan Data Sensitif dapat mengirim notifikasi.

    4. Tentukan apakah hanya satu atau kedua kondisi risiko dan sensitivitas data yang harus dipenuhi. Misalnya, jika Anda memilih AND, risiko data dan kondisi sensitivitas harus terpenuhi sebelum Perlindungan Data Sensitif mengirimkan notifikasi.

Mengirim ke Dataplex sebagai tag

Tindakan ini memungkinkan Anda membuat tag di Dataplex berdasarkan insight dari profil data. Tindakan ini hanya diterapkan ke profil baru dan yang diperbarui. Profil yang ada yang tidak diperbarui tidak akan dikirim ke Dataplex.

Dataplex adalah layanan Google Cloud yang menyatukan data terdistribusi dan mengotomatiskan pengelolaan serta tata kelola data untuk data tersebut. Saat Anda mengaktifkan tindakan ini, tabel yang Anda buat profil akan otomatis diberi tag di Dataplex sesuai dengan insight yang dikumpulkan dari profil data. Selanjutnya, Anda dapat menelusuri organisasi dan project Anda untuk menemukan tabel dengan nilai tag tertentu.

Untuk mengirim profil data ke Dataplex, pastikan opsi Send to Dataplex as tags diaktifkan.

Untuk mengetahui informasi selengkapnya, lihat Memberi tag pada tabel di Dataplex berdasarkan insight dari profil data.

Setel lokasi ke konfigurasi penyimpanan

Klik daftar Resource location, lalu pilih region tempat Anda ingin menyimpan konfigurasi pemindaian ini. Semua konfigurasi pemindaian yang Anda nantikan juga akan disimpan di lokasi ini.

Tempat Anda memilih untuk menyimpan konfigurasi pemindaian tidak memengaruhi data yang akan dipindai. Juga, itu tidak mempengaruhi di mana profil data disimpan. Data Anda dipindai di region yang sama tempat data tersebut disimpan. Untuk mengetahui informasi selengkapnya, lihat Pertimbangan residensi data.

Tinjau dan buat

  1. Jika Anda ingin memastikan bahwa pembuatan profil tidak dimulai otomatis setelah membuat konfigurasi pemindaian, pilih Create Scan in paused mode.

    Opsi ini berguna dalam kasus berikut:

    • Anda memilih untuk menyimpan profil data ke BigQuery, dan ingin memastikan agen layanan memiliki akses tulis ke tabel output Anda.
    • Anda telah mengonfigurasi notifikasi Pub/Sub dan ingin memberikan akses publikasi ke agen layanan.
  2. Tinjau setelan, lalu klik Buat.

    Sensitive Data Protection membuat konfigurasi pemindaian dan menambahkannya ke daftar konfigurasi pemindaian penemuan.

Untuk melihat atau mengelola konfigurasi pemindaian Anda, lihat Mengelola konfigurasi pemindaian.

Jika agen layanan Anda memiliki peran yang diperlukan untuk mengakses dan membuat profil data Anda, Perlindungan Data Sensitif akan mulai memindai data segera setelah Anda membuat konfigurasi pemindaian atau melanjutkan konfigurasi yang dijeda. Jika tidak, Perlindungan Data Sensitif akan menampilkan error saat Anda melihat detail konfigurasi pemindaian.

Langkah selanjutnya

  • Pelajari cara memperkirakan biaya pembuatan profil data dalam satu project.
  • Pelajari cara melihat profil data.
  • Pelajari cara mengelola konfigurasi pemindaian.
  • Pelajari cara menerima dan mengurai pesan Pub/Sub yang dipublikasikan oleh data profiler.
  • Pelajari cara memecahkan masalah terkait profil data.