Memberi tag pada tabel di Dataplex berdasarkan insight dari profil data

Halaman ini menjelaskan cara menerapkan tag Dataplex secara otomatis ke tabel BigQuery setelah Perlindungan Data Sensitif membuat profil tabel tersebut. Halaman ini juga menyediakan contoh kueri yang dapat Anda gunakan untuk menemukan data yang diberi tag di seluruh organisasi dan project Anda.

Fitur ini berguna jika Anda ingin memperkaya metadata yang diseleksi secara manual di Dataplex dengan insight yang dikumpulkan dari profil data Sensitive Data Protection. Tag yang dihasilkan mencakup insight berikut:

  • Jenis informasi (infoTypes) yang terdeteksi di kolom tabel
  • Tingkat sensitivitas tabel yang dihitung
  • Tingkat risiko data yang dihitung dari tabel

Insight dari profil data Sensitive Data Protection dapat membantu Anda menggunakan Dataplex untuk menemukan data sensitif dan berisiko tinggi di organisasi Anda. Gunakan insight ini untuk membantu Anda membuat keputusan yang tepat tentang cara mengelola dan mengatur data Anda.

Jika Anda ingin mengirim hasil tugas pemeriksaan—bukan operasi pembuatan profil data—ke Dataplex, lihat Mengirim hasil pemeriksaan Perlindungan Data Sensitif ke Data Catalog.

Tentang profil data

Anda dapat mengonfigurasi Perlindungan Data Sensitif untuk otomatis membuat profil tentang data di seluruh organisasi, folder, atau project. Profil data berisi metrik dan metadata tentang data Anda serta membantu menentukan lokasi data sensitif dan berisiko tinggi. Perlindungan Data Sensitif melaporkan metrik ini di berbagai tingkat detail. Untuk mengetahui informasi tentang jenis data yang dapat Anda buat profilnya, lihat Referensi yang didukung.

Tentang Dataplex dan Data Catalog

Dataplex adalah layanan Google Cloud yang menyatukan data terdistribusi dan mengotomatiskan pengelolaan serta tata kelola data tersebut. Data Catalog adalah layanan pengelolaan metadata yang skalabel dan terkelola sepenuhnya dalam Dataplex.

Data Catalog memungkinkan Anda menggunakan tag dan template tag untuk melampirkan metadata bisnis ke data Anda. Kemudian, Anda dapat menelusuri dan mengelola semua metadata untuk organisasi atau project Anda dalam layanan terpadu. Untuk informasi selengkapnya, lihat Tag dan template tag.

Cara kerjanya

Jika konfigurasi pemindaian penemuan Anda mengaktifkan tindakan Kirim ke Dataplex sebagai tag, Perlindungan Data Sensitif akan melakukan tindakan berikut setiap kali membuat profil data Anda. Tindakan ini hanya diterapkan ke profil baru dan yang diperbarui. Profil yang ada yang tidak diperbarui tidak akan dikirim ke Dataplex.

  1. Membuat template tag pribadi yang berisi skema tag yang akan dilampirkan ke tabel BigQuery Anda. Untuk informasi tentang nama, ID, dan lokasi template tag, lihat Detail template tag.

    Hanya prinsipal dengan peran dan izin yang tepat yang dapat melihat template tag.

  2. Membuat tag untuk setiap tabel BigQuery yang Anda buat profilnya. Tag didasarkan pada template tag yang baru dibuat.

    Misalnya, tag yang dihasilkan dan dilampirkan ke tabel dapat memiliki metadata berikut:

    Nama tampilan Nilai
    Column Insights ccn: CREDIT_CARD_NUMBER
    first_name: PERSON_NAME
    last_name: PERSON_NAME
    ssn: US_SOCIAL_SECURITY_NUMBER
    email: EMAIL_ADDRESS
    Column Sensitivity ccn: HIGH
    first_name: MODERATE
    last_name: MODERATE
    favorite_animal: LOW
    ssn: HIGH
    email: MODERATE
    id: LOW
    Data Risk Level HIGH
    Other InfoTypes PHONE_NUMBER
    Predicted InfoTypes CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
    Profile Last Generated DATE at TIME
    Sensitive Data Profile organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
    Sensitivity Score HIGH

Tabel memiliki dua tag jika dibuat profilnya melalui kedua hal berikut:

  • Konfigurasi pemindaian tingkat organisasi atau tingkat folder
  • Konfigurasi pemindaian level project

Setelah tabel diberi tag, Anda dapat menelusuri Dataplex untuk semua data di organisasi atau project dengan nilai tag tertentu.

Detail template tag

Nama template, ID template, dan project tempat template tag baru disimpan bergantung pada resource yang terkait dengan konfigurasi pemindaian.

  • Jika konfigurasi pemindaian adalah konfigurasi tingkat organisasi atau tingkat folder, template tag disimpan di penampung agen layanan. Nama template tag adalah Sensitive Data Profile. ID template-nya adalah sensitive_data_profile.
  • Jika konfigurasi pemindaian adalah konfigurasi level project, template tag akan disimpan dalam project yang akan dibuat profilnya. Nama template tag adalah Sensitive Data Profile (Project). ID template-nya adalah sensitive_data_profile_project.

Harga

Untuk mengetahui informasi tentang cara layanan Google Cloud lainnya menagih Anda untuk mengekspor profil data, lihat Harga untuk mengekspor profil data.

Memberi tag pada tabel BigQuery secara otomatis berdasarkan profil data

  1. Buat konfigurasi pemindaian. Atau, edit konfigurasi pemindaian yang ada.

  2. Pada langkah Tambahkan tindakan, pastikan Kirim ke Dataplex sebagai tag diaktifkan.

    • Jika Anda membuat konfigurasi pemindaian, tindakan ini diaktifkan secara default.
    • Jika mengedit konfigurasi pemindaian, Anda harus mengaktifkan tindakan ini.

Setelah data dibuat profilnya dan diberi tag, Anda dapat mulai menelusuri data bertag di Dataplex.

Peran dan izin untuk melihat tag

Hasil penelusuran Dataplex hanya menampilkan data yang dapat Anda akses. Anda memerlukan peran atau izin Identity and Access Management (IAM) berikut untuk menelusuri tag yang dilampirkan ke tabel BigQuery.

Tujuan Peran bawaan Izin yang relevan
Melihat template tag pribadi Data Catalog TagTemplate Viewer (roles/datacatalog.tagTemplateViewer) datacatalog.tagTemplates.getTag
Melihat tag yang diterapkan ke tabel BigQuery BigQuery Metadata Viewer (roles/bigquery.metadataViewer) bigquery.datasets.get
bigquery.tables.get

Untuk mengetahui informasi selengkapnya tentang peran Dataplex, lihat Peran untuk melihat tag publik dan pribadi.

Untuk mengetahui informasi tentang cara memberikan peran bawaan, lihat Memberikan satu peran. Jika Anda ingin menggunakan peran khusus, bukan peran bawaan, pastikan bahwa peran khusus memiliki izin yang relevan. Untuk mengetahui informasi selengkapnya, lihat Membuat peran kustom.

Menemukan template tag yang dihasilkan

  1. Di konsol Google Cloud, buka halaman Template Tag Dataplex.

    Buka Template tag

  2. Dalam daftar, temukan template tag. Untuk informasi tentang nama, ID, dan lokasi template tag, lihat Detail template tag.

  3. Opsional: Untuk menemukan template tag yang dihasilkan oleh konfigurasi pemindaian penemuan tertentu, masukkan hal berikut di kolom Filter:

    name:PROJECT_ID.TAG_TEMPLATE_ID
    

    Ganti kode berikut:

    • PROJECT_ID: ID project yang dikaitkan dengan konfigurasi pemindaian. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan project ID penampung agen layanan.
    • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.

Menemukan tag yang dihasilkan untuk profil data tabel tertentu

  1. Di konsol Google Cloud, buka halaman Penelusuran Dataplex.

    Buka Penelusuran

  2. Di kolom Penelusuran, masukkan kode berikut:

    name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID
    

    Ganti kode berikut:

    • TABLE_ID: ID tabel yang dibuat profilnya.
    • PROJECT_ID: ID project yang berisi template tag. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan project ID penampung agen layanan.
    • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  3. Dalam daftar yang muncul, klik ID tabel. Detail tabel BigQuery akan muncul beserta tag Sensitive Data Profile atau Sensitive Data Profile (Project) yang terpasang.

    Tabel memiliki dua tag jika dibuat profilnya melalui kedua hal berikut:

    • Konfigurasi pemindaian tingkat organisasi atau tingkat folder
    • Konfigurasi pemindaian level project

Untuk informasi tentang cara melakukan penelusuran melalui Data Catalog API, lihat Cara menelusuri aset data.

Contoh kueri penelusuran

Bagian ini memberikan contoh kueri penelusuran yang dapat Anda gunakan di Dataplex untuk menemukan data di organisasi atau project dengan nilai tag tertentu.

Anda hanya dapat menemukan data yang dapat Anda akses. Akses data dikontrol melalui izin IAM. Untuk informasi selengkapnya, lihat Peran dan izin untuk melihat tag di halaman ini.

Anda dapat memasukkan kueri ini di halaman Penelusuran Dataplex di konsol Google Cloud.

Buka Penelusuran

Untuk informasi tentang cara membuat kueri, lihat Sintaksis penelusuran Data Catalog. Untuk mengetahui informasi tentang cara melakukan penelusuran melalui Data Catalog API, lihat Cara menelusuri aset data.

Menemukan semua tabel yang diberi tag menggunakan template tag baru

tag:PROJECT_ID.TAG_TEMPLATE_ID

Ganti kode berikut:

  • PROJECT_ID: ID project yang berisi template tag. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan project ID penampung agen layanan.
  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.

Contoh berikutnya di halaman ini tidak menyertakan project ID, sehingga Anda mungkin mendapatkan hasil yang terkait dengan berbagai konfigurasi pemindaian penemuan. Untuk membatasi hasil Anda ke konfigurasi pemindaian tertentu, tambahkan project ID ke kueri seperti yang ditunjukkan dalam contoh ini.

Menemukan semua tabel yang terakhir dibuat profilnya sebelum tanggal tertentu

tag:TAG_TEMPLATE_ID.profile_last_generated<DATE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • DATE: tanggal dalam format YYYY-MM-DD—misalnya, 2023-01-15.

Menemukan semua tabel dengan skor sensitivitas tingkat tabel tertentu

tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • SENSITIVITY_SCORE: salah satu dari HIGH, MODERATE, atau LOW.

Untuk mengetahui informasi selengkapnya, lihat Tingkat sensitivitas dan risiko data.

Menemukan semua tabel dengan tingkat risiko data tertentu

tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • DATA_RISK_LEVEL: salah satu dari HIGH, MODERATE, atau LOW.

Untuk mengetahui informasi selengkapnya, lihat Tingkat sensitivitas dan risiko data.

Menemukan semua tabel yang berisi infoType prediksi tertentu

tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • INFOTYPE: infoType—misalnya, PERSON_NAME.

Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor InfoType.

Untuk informasi selengkapnya, lihat infoType yang diprediksi di Referensi metrik.

Menemukan semua tabel yang sebagian berisi infoType tertentu

tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • INFOTYPE: infoType—misalnya, PERSON_NAME.

Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor InfoType.

Untuk mengetahui informasi selengkapnya, lihat infoTypes lainnya di Referensi metrik.

Menemukan semua tabel yang berisi kolom tertentu dengan infoType prediksi tertentu

tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • COLUMN_NAME: nama kolom di tabel BigQuery.
  • INFOTYPE: infoType—misalnya, PERSON_NAME.

Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor InfoType.

Untuk informasi selengkapnya, lihat infoType yang diprediksi di Referensi metrik.

Menemukan semua tabel yang berisi kolom tertentu dengan skor sensitivitas tingkat kolom tertentu

tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE

Ganti kode berikut:

  • TAG_TEMPLATE_ID: sensitive_data_profile jika konfigurasi pemindaian ditujukan untuk organisasi atau folder; sensitive_data_profile_project jika konfigurasi pemindaian ditujukan untuk project.
  • COLUMN_NAME: nama kolom di tabel BigQuery.
  • SENSITIVITY_SCORE: salah satu dari HIGH, MODERATE, atau LOW.

Untuk mengetahui informasi selengkapnya, lihat Tingkat sensitivitas dan risiko data.

Nilai tag yang terpotong

Jika data judul kolom tabel BigQuery melebihi 10 MB, tag yang dihasilkan mungkin menampilkan [TRUNCATED] di kolom Column Insights atau Column Sensitivity. Dalam hal ini, sebaiknya buka Perlindungan Data Sensitif untuk meninjau profil data tabel dan profil data kolom terkait.