Halaman ini menjelaskan cara menerapkan tag Dataplex secara otomatis ke tabel BigQuery setelah Perlindungan Data Sensitif membuat profil tabel tersebut. Halaman ini juga menyediakan contoh kueri yang dapat Anda gunakan untuk menemukan data yang diberi tag di seluruh organisasi dan project Anda.
Fitur ini berguna jika Anda ingin memperkaya metadata yang diseleksi secara manual di Dataplex dengan insight yang dikumpulkan dari profil data Sensitive Data Protection. Tag yang dihasilkan mencakup insight berikut:
- Jenis informasi (infoTypes) yang terdeteksi di kolom tabel
- Tingkat sensitivitas tabel yang dihitung
- Tingkat risiko data yang dihitung dari tabel
Insight dari profil data Sensitive Data Protection dapat membantu Anda menggunakan Dataplex untuk menemukan data sensitif dan berisiko tinggi di organisasi Anda. Gunakan insight ini untuk membantu Anda membuat keputusan yang tepat tentang cara mengelola dan mengatur data Anda.
Jika Anda ingin mengirim hasil tugas pemeriksaan—bukan operasi pembuatan profil data—ke Dataplex, lihat Mengirim hasil pemeriksaan Perlindungan Data Sensitif ke Data Catalog.
Tentang profil data
Anda dapat mengonfigurasi Perlindungan Data Sensitif untuk otomatis membuat profil tentang data di seluruh organisasi, folder, atau project. Profil data berisi metrik dan metadata tentang data Anda serta membantu menentukan lokasi data sensitif dan berisiko tinggi. Perlindungan Data Sensitif melaporkan metrik ini di berbagai tingkat detail. Untuk mengetahui informasi tentang jenis data yang dapat Anda buat profilnya, lihat Referensi yang didukung.
Tentang Dataplex dan Data Catalog
Dataplex adalah layanan Google Cloud yang menyatukan data terdistribusi dan mengotomatiskan pengelolaan serta tata kelola data tersebut. Data Catalog adalah layanan pengelolaan metadata yang skalabel dan terkelola sepenuhnya dalam Dataplex.
Data Catalog memungkinkan Anda menggunakan tag dan template tag untuk melampirkan metadata bisnis ke data Anda. Kemudian, Anda dapat menelusuri dan mengelola semua metadata untuk organisasi atau project Anda dalam layanan terpadu. Untuk informasi selengkapnya, lihat Tag dan template tag.
Cara kerjanya
Jika konfigurasi pemindaian penemuan Anda mengaktifkan tindakan Kirim ke Dataplex sebagai tag, Perlindungan Data Sensitif akan melakukan tindakan berikut setiap kali membuat profil data Anda. Tindakan ini hanya diterapkan ke profil baru dan yang diperbarui. Profil yang ada yang tidak diperbarui tidak akan dikirim ke Dataplex.
Membuat template tag pribadi yang berisi skema tag yang akan dilampirkan ke tabel BigQuery Anda. Untuk informasi tentang nama, ID, dan lokasi template tag, lihat Detail template tag.
Hanya prinsipal dengan peran dan izin yang tepat yang dapat melihat template tag.
Membuat tag untuk setiap tabel BigQuery yang Anda buat profilnya. Tag didasarkan pada template tag yang baru dibuat.
Misalnya, tag yang dihasilkan dan dilampirkan ke tabel dapat memiliki metadata berikut:
Nama tampilan Nilai Column Insights
ccn: CREDIT_CARD_NUMBER
first_name: PERSON_NAME
last_name: PERSON_NAME
ssn: US_SOCIAL_SECURITY_NUMBER
email: EMAIL_ADDRESS
Column Sensitivity
ccn: HIGH
first_name: MODERATE
last_name: MODERATE
favorite_animal: LOW
ssn: HIGH
email: MODERATE
id: LOW
Data Risk Level
HIGH
Other InfoTypes
PHONE_NUMBER
Predicted InfoTypes
CREDIT_CARD_NUMBER,US_SOCIAL_SECURITY_NUMBER,EMAIL_ADDRESS,PERSON_NAME
Profile Last Generated
DATE at TIME
Sensitive Data Profile
organizations/ORGANIZATION_ID/locations/REGION/tableDataProfiles/TABLE_DATA_PROFILE_ID
Sensitivity Score
HIGH
Tabel memiliki dua tag jika dibuat profilnya melalui kedua hal berikut:
- Konfigurasi pemindaian tingkat organisasi atau tingkat folder
- Konfigurasi pemindaian level project
Setelah tabel diberi tag, Anda dapat menelusuri Dataplex untuk semua data di organisasi atau project dengan nilai tag tertentu.
Detail template tag
Nama template, ID template, dan project tempat template tag baru disimpan bergantung pada resource yang terkait dengan konfigurasi pemindaian.
- Jika konfigurasi pemindaian adalah konfigurasi tingkat organisasi atau tingkat folder, template tag disimpan di penampung agen layanan. Nama
template tag adalah
Sensitive Data Profile
. ID template-nya adalahsensitive_data_profile
. - Jika konfigurasi pemindaian adalah konfigurasi level project, template tag
akan disimpan dalam project yang akan dibuat profilnya. Nama
template tag adalah
Sensitive Data Profile (Project)
. ID template-nya adalahsensitive_data_profile_project
.
Harga
Untuk mengetahui informasi tentang cara layanan Google Cloud lainnya menagih Anda untuk mengekspor profil data, lihat Harga untuk mengekspor profil data.
Memberi tag pada tabel BigQuery secara otomatis berdasarkan profil data
Buat konfigurasi pemindaian. Atau, edit konfigurasi pemindaian yang ada.
- Untuk membuat konfigurasi pemindaian di tingkat organisasi atau folder, lihat Membuat profil data di organisasi atau folder.
- Untuk membuat konfigurasi pemindaian di tingkat project, lihat Membuat profil data dalam satu project.
Pada langkah Tambahkan tindakan, pastikan Kirim ke Dataplex sebagai tag diaktifkan.
- Jika Anda membuat konfigurasi pemindaian, tindakan ini diaktifkan secara default.
- Jika mengedit konfigurasi pemindaian, Anda harus mengaktifkan tindakan ini.
Setelah data dibuat profilnya dan diberi tag, Anda dapat mulai menelusuri data bertag di Dataplex.
Peran dan izin untuk melihat tag
Hasil penelusuran Dataplex hanya menampilkan data yang dapat Anda akses. Anda memerlukan peran atau izin Identity and Access Management (IAM) berikut untuk menelusuri tag yang dilampirkan ke tabel BigQuery.
Tujuan | Peran bawaan | Izin yang relevan |
---|---|---|
Melihat template tag pribadi | Data Catalog TagTemplate Viewer (roles/datacatalog.tagTemplateViewer ) |
datacatalog.tagTemplates.getTag |
Melihat tag yang diterapkan ke tabel BigQuery | BigQuery Metadata Viewer (roles/bigquery.metadataViewer ) |
bigquery.datasets.get bigquery.tables.get |
Untuk mengetahui informasi selengkapnya tentang peran Dataplex, lihat Peran untuk melihat tag publik dan pribadi.
Untuk mengetahui informasi tentang cara memberikan peran bawaan, lihat Memberikan satu peran. Jika Anda ingin menggunakan peran khusus, bukan peran bawaan, pastikan bahwa peran khusus memiliki izin yang relevan. Untuk mengetahui informasi selengkapnya, lihat Membuat peran kustom.
Menemukan template tag yang dihasilkan
Di konsol Google Cloud, buka halaman Template Tag Dataplex.
Dalam daftar, temukan template tag. Untuk informasi tentang nama, ID, dan lokasi template tag, lihat Detail template tag.
Opsional: Untuk menemukan template tag yang dihasilkan oleh konfigurasi pemindaian penemuan tertentu, masukkan hal berikut di kolom Filter:
name:PROJECT_ID.TAG_TEMPLATE_ID
Ganti kode berikut:
- PROJECT_ID: ID project yang dikaitkan dengan konfigurasi pemindaian. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan project ID penampung agen layanan.
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project.
Menemukan tag yang dihasilkan untuk profil data tabel tertentu
Di konsol Google Cloud, buka halaman Penelusuran Dataplex.
Di kolom Penelusuran, masukkan kode berikut:
name:TABLE_ID tag:PROJECT_ID.TAG_TEMPLATE_ID
Ganti kode berikut:
- TABLE_ID: ID tabel yang dibuat profilnya.
- PROJECT_ID: ID project yang berisi template tag. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan project ID penampung agen layanan.
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project.
Dalam daftar yang muncul, klik ID tabel. Detail tabel BigQuery akan muncul beserta tag
Sensitive Data Profile
atauSensitive Data Profile (Project)
yang terpasang.Tabel memiliki dua tag jika dibuat profilnya melalui kedua hal berikut:
- Konfigurasi pemindaian tingkat organisasi atau tingkat folder
- Konfigurasi pemindaian level project
Untuk informasi tentang cara melakukan penelusuran melalui Data Catalog API, lihat Cara menelusuri aset data.
Contoh kueri penelusuran
Bagian ini memberikan contoh kueri penelusuran yang dapat Anda gunakan di Dataplex untuk menemukan data di organisasi atau project dengan nilai tag tertentu.
Anda hanya dapat menemukan data yang dapat Anda akses. Akses data dikontrol melalui izin IAM. Untuk informasi selengkapnya, lihat Peran dan izin untuk melihat tag di halaman ini.
Anda dapat memasukkan kueri ini di halaman Penelusuran Dataplex di konsol Google Cloud.
Untuk informasi tentang cara membuat kueri, lihat Sintaksis penelusuran Data Catalog. Untuk mengetahui informasi tentang cara melakukan penelusuran melalui Data Catalog API, lihat Cara menelusuri aset data.
Menemukan semua tabel yang diberi tag menggunakan template tag baru
tag:PROJECT_ID.TAG_TEMPLATE_ID
Ganti kode berikut:
- PROJECT_ID: ID project yang berisi template tag. Jika Anda membuat profil data di tingkat organisasi atau folder, masukkan project ID penampung agen layanan.
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project.
Contoh berikutnya di halaman ini tidak menyertakan project ID, sehingga Anda mungkin mendapatkan hasil yang terkait dengan berbagai konfigurasi pemindaian penemuan. Untuk membatasi hasil Anda ke konfigurasi pemindaian tertentu, tambahkan project ID ke kueri seperti yang ditunjukkan dalam contoh ini.
Menemukan semua tabel yang terakhir dibuat profilnya sebelum tanggal tertentu
tag:TAG_TEMPLATE_ID.profile_last_generated<DATE
Ganti kode berikut:
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project. - DATE: tanggal dalam format
YYYY-MM-DD
—misalnya,2023-01-15
.
Menemukan semua tabel dengan skor sensitivitas tingkat tabel tertentu
tag:TAG_TEMPLATE_ID.sensitivity_score=SENSITIVITY_SCORE
Ganti kode berikut:
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project. - SENSITIVITY_SCORE: salah satu dari
HIGH
,MODERATE
, atauLOW
.
Untuk mengetahui informasi selengkapnya, lihat Tingkat sensitivitas dan risiko data.
Menemukan semua tabel dengan tingkat risiko data tertentu
tag:TAG_TEMPLATE_ID.data_risk_level=DATA_RISK_LEVEL
Ganti kode berikut:
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project. - DATA_RISK_LEVEL: salah satu dari
HIGH
,MODERATE
, atauLOW
.
Untuk mengetahui informasi selengkapnya, lihat Tingkat sensitivitas dan risiko data.
Menemukan semua tabel yang berisi infoType prediksi tertentu
tag:TAG_TEMPLATE_ID.predicted_info_types:INFOTYPE
Ganti kode berikut:
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project. - INFOTYPE: infoType—misalnya,
PERSON_NAME
.
Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor InfoType.
Untuk informasi selengkapnya, lihat infoType yang diprediksi di Referensi metrik.
Menemukan semua tabel yang sebagian berisi infoType tertentu
tag:TAG_TEMPLATE_ID.other_info_types:INFOTYPE
Ganti kode berikut:
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project. - INFOTYPE: infoType—misalnya,
PERSON_NAME
.
Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor InfoType.
Untuk mengetahui informasi selengkapnya, lihat infoTypes lainnya di Referensi metrik.
Menemukan semua tabel yang berisi kolom tertentu dengan infoType prediksi tertentu
tag:TAG_TEMPLATE_ID.column_insights:COLUMN_NAME:INFOTYPE
Ganti kode berikut:
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project. - COLUMN_NAME: nama kolom di tabel BigQuery.
- INFOTYPE: infoType—misalnya,
PERSON_NAME
.
Untuk mengetahui daftar semua infoType bawaan, lihat Referensi detektor InfoType.
Untuk informasi selengkapnya, lihat infoType yang diprediksi di Referensi metrik.
Menemukan semua tabel yang berisi kolom tertentu dengan skor sensitivitas tingkat kolom tertentu
tag:TAG_TEMPLATE_ID.column_sensitivity:COLUMN_NAME:SENSITIVITY_SCORE
Ganti kode berikut:
- TAG_TEMPLATE_ID:
sensitive_data_profile
jika konfigurasi pemindaian ditujukan untuk organisasi atau folder;sensitive_data_profile_project
jika konfigurasi pemindaian ditujukan untuk project. - COLUMN_NAME: nama kolom di tabel BigQuery.
- SENSITIVITY_SCORE: salah satu dari
HIGH
,MODERATE
, atauLOW
.
Untuk mengetahui informasi selengkapnya, lihat Tingkat sensitivitas dan risiko data.
Nilai tag yang terpotong
Jika data judul kolom tabel BigQuery melebihi 10 MB, tag yang dihasilkan mungkin menampilkan [TRUNCATED]
di kolom Column Insights
atau Column
Sensitivity
. Dalam hal ini, sebaiknya buka
Perlindungan Data Sensitif untuk meninjau profil data
tabel dan
profil data kolom terkait.