Mengirim hasil pemeriksaan ke Dataplex Universal Catalog sebagai aspek

Dokumen ini menjelaskan cara memeriksa tabel BigQuery untuk menemukan data sensitif dan mengirimkan hasil pemeriksaan ke Dataplex Universal Catalog. Tindakan ini secara otomatis menambahkan aspek ke entri Dataplex Universal Catalog yang terkait dengan tabel BigQuery Anda.

Dokumen ini juga memberikan contoh kueri yang dapat Anda gunakan untuk menemukan data di seluruh organisasi dan project dengan nilai aspek tertentu.

Fitur ini berguna jika Anda ingin memperkaya metadata di Dataplex Universal Catalog dengan klasifikasi data sensitif dari tugas inspeksi Sensitive Data Protection.

Aspek yang dihasilkan mencakup detail berikut:

• Nama tugas pemeriksaan
• Jenis informasi (infoTypes) yang terdeteksi dalam tabel

Tentang Katalog Universal Dataplex

Dataplex Universal Catalog menyediakan inventaris terpadu untuk Google Cloud resource.

Dataplex Universal Catalog memungkinkan Anda menggunakan aspek untuk menambahkan metadata bisnis dan teknis ke data Anda guna mendapatkan konteks dan pengetahuan tentang resource Anda. Kemudian, Anda dapat menelusuri dan menemukan data di seluruh organisasi serta mengaktifkan tata kelola data atas aset data Anda. Untuk mengetahui informasi selengkapnya, lihat Aspek.

Penting: Dataplex Universal Catalog, yang menggunakan aspek, tidak sama dengan Data Catalog, yang menggunakan tag. Data Catalog tidak digunakan lagi. Fitur Sensitive Data Protection yang memungkinkan Anda mengirim hasil pemeriksaan ke Data Catalog juga tidak digunakan lagi.

Cara kerjanya

Untuk membuat aspek Dataplex Universal Catalog secara otomatis berdasarkan hasil tugas inspeksi, ikuti alur kerja tingkat tinggi berikut:

1. Buat atau edit tugas inspeksi yang memeriksa tabel BigQuery. Untuk mengetahui petunjuknya, lihat Memeriksa tabel BigQuery.

2. Pada langkah Tambahkan tindakan, aktifkan Publikasikan ke Dataplex Universal Catalog.

Perlindungan Data Sensitif menambahkan atau memperbarui aspek Sensitive Data Protection job result dari entri Dataplex Universal Catalog yang terkait dengan tabel BigQuery. Kemudian, Anda dapat menelusuri Dataplex Universal Catalog untuk menemukan semua data di organisasi atau project Anda dengan nilai aspek tertentu. Untuk contoh kueri, lihat Contoh kueri penelusuran dalam dokumen ini.

Aspek Dataplex Universal Catalog yang dihasilkan disimpan dalam project dan region yang sama dengan tabel BigQuery.

Catatan: Saat Anda mengaktifkan tindakan Publikasikan ke Dataplex Universal Catalog di pemicu tugas yang ada, Sensitive Data Protection menerapkan tindakan ini hanya ke tugas inspeksi baru pemicu tugas dan bukan ke tugas inspeksi sebelumnya.

Kolom aspek

Aspek Sensitive Data Protection job result memiliki kolom berikut:

Nama Lowongan

Nama resource lengkap tugas pemeriksaan—misalnya, projects/example-project/locations/us/dlpJobs/i-8992079400000000000.

Jumlah InfoType

Nama infoType yang dicari oleh tugas inspeksi—seperti yang ditentukan dalam konfigurasi inspeksi—dan jumlah temuan untuk setiap infoType. InfoType yang tidak memiliki temuan memiliki jumlah 0.

Waktu Berakhir

Tanggal dan waktu berakhirnya tugas pemeriksaan.

Adalah Pemindaian Penuh

Apakah tugas pemeriksaan memindai semua baris dalam tabel. Jika pengambilan sampel diaktifkan dalam tugas pemeriksaan, misalnya, nilai kolom ini adalah False.

Memiliki Temuan

Apakah tugas pemeriksaan mendeteksi infoType yang dipindai.

Mengaktifkan Dataplex API

Dataplex API harus diaktifkan di setiap project yang berisi data yang ingin Anda tambahkan aspeknya. Bagian ini menjelaskan cara mengaktifkan Dataplex API dalam satu project atau di semua project dalam organisasi atau folder.

Mengaktifkan Dataplex API dalam satu project

1. Pilih project tempat Anda ingin mengaktifkan Dataplex API.

   Buka pemilih project

2. Enable the Dataplex API.

   Roles required to enable APIs

   To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

   Enable the API

Mengaktifkan Dataplex API di semua project dalam organisasi atau folder

Bagian ini menyediakan skrip yang menelusuri semua project dalam organisasi atau folder dan mengaktifkan Dataplex API di setiap project tersebut.

Untuk mendapatkan izin yang Anda perlukan guna mengaktifkan Dataplex API di semua project dalam organisasi atau folder, minta administrator Anda untuk memberikan peran IAM berikut:

• Cloud Asset Viewer (roles/cloudasset.viewer) di organisasi atau folder
• Pengguna DLP (roles/dlp.user) di setiap project tempat Anda ingin mengaktifkan Dataplex API

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder:

• Untuk menelusuri semua project dalam organisasi atau folder: cloudasset.assets.searchAllResources di organisasi atau folder
• Untuk mengaktifkan Dataplex API: serviceusage.services.use di setiap project tempat Anda ingin mengaktifkan Dataplex API

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengaktifkan Dataplex API di semua project dalam organisasi atau folder, ikuti langkah-langkah berikut:

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

2. Jalankan skrip berikut:

   #!/bin/bash
   
   RESOURCE_ID="RESOURCE_ID"
   
   gcloud asset search-all-resources \
       --scope="RESOURCE_TYPE/$RESOURCE_ID" \
       --asset-types="cloudresourcemanager.googleapis.com/Project" \
       --format="value(name)" |
       while read project_name; do
         project_id=$(echo "$project_name" | sed 's|.*/||')
         gcloud services enable "dataplex.googleapis.com" --project="$project_id"
       done
   

   Ganti kode berikut:

   • RESOURCE_ID: nomor organisasi atau nomor folder resource yang berisi project
   • RESOURCE_TYPE: jenis resource yang berisi project—organizations atau folders

Peran dan izin untuk melihat aspek

Untuk mendapatkan izin yang diperlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda, minta administrator Anda untuk memberi Anda peran IAM berikut pada tabel:

• Dataplex Catalog Viewer (roles/dataplex.catalogViewer)
• BigQuery Data Viewer (roles/bigquery.dataViewer)

Untuk mengetahui informasi selengkapnya tentang pemberian peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin yang diperlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda. Untuk melihat izin yang benar-benar diperlukan, luaskan bagian Izin yang diperlukan:

Izin yang diperlukan

Izin berikut diperlukan untuk menelusuri aspek yang terkait dengan tabel BigQuery Anda:

• Melihat entri Dataplex Universal Catalog:
  • dataplex.entries.list
  • dataplex.entries.get
• Melihat set data dan tabel BigQuery:
  • bigquery.datasets.get
  • bigquery.tables.get

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Untuk mengetahui informasi selengkapnya tentang izin yang diperlukan untuk menggunakan Dataplex Universal Catalog, lihat Izin IAM Dataplex Universal Catalog.

Mengonfigurasi dan menjalankan tugas inspeksi Sensitive Data Protection

Anda dapat mengonfigurasi dan menjalankan tugas inspeksi Perlindungan Data Sensitif menggunakan konsol Google Cloud atau DLP API.

Konsol

1. Di konsol Google Cloud , buka halaman Create job or job trigger.

   Buka Buat tugas atau pemicu tugas

2. Pilih project Anda.
3. Masukkan detail tugas pemeriksaan yang diperlukan dan detail tabel BigQuery yang ingin Anda periksa. Untuk mengetahui petunjuknya, lihat Memeriksa tabel BigQuery. Untuk mengetahui daftar lengkap jenis informasi yang dapat diperiksa oleh Sensitive Data Protection, lihat Referensi detektor InfoType.
4. Untuk Tambahkan tindakan, aktifkan Publikasikan ke Dataplex Universal Catalog.
5. Klik Buat. Tugas akan segera dijalankan.

REST

Contoh berikut mengirimkan permintaan projects.locations.dlpJobs.create untuk memeriksa tabel BigQuery dan mengirimkan hasilnya ke Dataplex Universal Catalog.

Sebelum menggunakan salah satu data permintaan, lakukan penggantian berikut:

• PROJECT_ID: Google Cloud Project ID Anda. ID project adalah string alfanumerik
• LOCATION: region atau multi-region tempat Anda ingin memproses permintaan—misalnya, europe-west1 atau us. Untuk lokasi yang tersedia, lihat Lokasi Perlindungan Data Sensitif.
• BIGQUERY_DATASET_NAME: nama set data BigQuery yang berisi tabel yang akan diperiksa
• BIGQUERY_TABLE_NAME: nama tabel BigQuery yang akan diperiksa

Metode HTTP dan URL:

POST https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs

Meminta isi JSON:

{
              "inspectJob":
              {
                "storageConfig":
                {
                  "bigQueryOptions":
                  {
                    "tableReference":
                    {
                      "projectId": "PROJECT_ID",
                      "datasetId": "BIGQUERY_DATASET_NAME",
                      "tableId": "BIGQUERY_TABLE_NAME"
                    }
                  }
                },
                "inspectConfig":
                {
                  "infoTypes":
                  [
                    {
                      "name": "EMAIL_ADDRESS"
                    },
                    {
                      "name": "PERSON_NAME"
                    },
                    {
                      "name": "US_SOCIAL_SECURITY_NUMBER"
                    },
                    {
                      "name": "PHONE_NUMBER"
                    }
                  ],
                  "includeQuote": true,
                  "minLikelihood": "UNLIKELY",
                  "limits":
                  {
                    "maxFindingsPerRequest": 100
                  }
                },
                "actions":
                [
                  {
                    "publishFindingsToDataplexCatalog": {}
                  }
                ]
              }
            }

Untuk mengirim permintaan Anda, perluas salah satu opsi berikut:

curl (Linux, macOS, atau Cloud Shell)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login , atau dengan menggunakan Cloud Shell, yang secara otomatis membuat Anda login ke gcloud CLI . Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama inspect-request.json, dan jalankan perintah berikut:

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "x-goog-user-project: PROJECT_ID" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @inspect-request.json \
     "https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs"

PowerShell (Windows)

Catatan: Perintah berikut mengasumsikan bahwa Anda telah login ke gcloud CLI menggunakan akun pengguna Anda dengan menjalankan gcloud init atau gcloud auth login . Anda dapat memeriksa akun yang saat ini aktif dengan menjalankan gcloud auth list.

Simpan isi permintaan dalam file bernama inspect-request.json, dan jalankan perintah berikut:

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred"; "x-goog-user-project" = "PROJECT_ID" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile inspect-request.json `
    -Uri "https://dlp.googleapis.com/v2/projects/PROJECT_ID/locations/LOCATION/dlpJobs" | Select-Object -Expand Content

Anda akan melihat respons JSON seperti berikut:

{
  "name": "projects/PROJECT_ID/locations/LOCATION/dlpJobs/JOB_ID",
  "type": "INSPECT_JOB",
  "state": "PENDING",
  "inspectDetails": {
    "requestedOptions": {
      "snapshotInspectTemplate": {},
      "jobConfig": {
        "storageConfig": {
          "bigQueryOptions": {
            "tableReference": {
              "projectId": "PROJECT_ID",
              "datasetId": "BIGQUERY_DATASET_NAME",
              "tableId": "BIGQUERY_TABLE_NAME"
            }
          }
        },
        "inspectConfig": {
          "infoTypes": [
            {
              "name": "EMAIL_ADDRESS"
            },
            {
              "name": "PERSON_NAME"
            },
            {
              "name": "US_SOCIAL_SECURITY_NUMBER"
            },
            {
              "name": "PHONE_NUMBER"
            }
          ],
          "minLikelihood": "UNLIKELY",
          "limits": {
            "maxFindingsPerRequest": 100
          },
          "includeQuote": true
        },
        "actions": [
          {
            "publishFindingsToDataplexCatalog": {}
          }
        ]
      }
    },
    "result": {}
  },
  "createTime": "2025-09-09T00:29:55.951374Z",
  "lastModified": "2025-09-09T00:29:58.022967Z"
}

Untuk mengetahui informasi tentang cara mendapatkan hasil tugas inspeksi menggunakan DLP API, lihat Mendapatkan tugas.

Contoh kueri penelusuran

Bagian ini memberikan contoh kueri penelusuran yang dapat Anda gunakan di Dataplex Universal Catalog untuk menemukan data di organisasi atau project Anda dengan nilai aspek tertentu.

Anda hanya dapat menemukan data yang aksesnya Anda miliki. Akses data dikontrol melalui izin IAM. Untuk mengetahui informasi selengkapnya, lihat Peran dan izin untuk melihat aspek dalam dokumen ini.

Anda dapat memasukkan contoh kueri ini di kolom Search di halaman Search Dataplex Universal Catalog.

Buka Penelusuran

Untuk mengetahui informasi tentang cara membuat kueri, lihat Sintaksis penelusuran untuk Dataplex Universal Catalog.

Temukan entri semua tabel yang memiliki aspek hasil tugas Sensitive Data Protection

aspect:sensitive-data-protection-job-result

Menemukan entri tabel yang diperiksa yang memiliki temuan

aspect:sensitive-data-protection-job-result.hasFindings=True

Menemukan entri tabel yang diperiksa yang tidak memiliki temuan

aspect:sensitive-data-protection-job-result.hasFindings=False

Menemukan entri tabel yang diperiksa sepenuhnya

Kueri berikut menampilkan entri tabel yang diperiksa baris demi baris oleh Perlindungan Data Sensitif.

aspect:sensitive-data-protection-job-result.isFullScan=True

Menemukan entri tabel yang tidak diperiksa sepenuhnya

Kueri berikut menampilkan entri tabel yang diperiksa oleh Perlindungan Data Sensitif melalui pengambilan sampel.

aspect:sensitive-data-protection-job-result.isFullScan=False