Log tugas Dataplex dapat dilihat, ditelusuri, difilter, dan diarsipkan di Cloud Logging.
Untuk memahami biayanya, lihat Harga Google Cloud Observability.
Untuk mengetahui informasi selengkapnya tentang retensi logging, lihat Periode retensi log.
Untuk menonaktifkan semua log atau mengecualikan log dari Logging, lihat Filter pengecualian.
Untuk merutekan log dari Logging ke Cloud Storage, BigQuery, atau Pub/Sub, lihat Ringkasan pemilihan rute dan penyimpanan.
Mengakses log layanan Dataplex di Logging
Dataplex memublikasikan log layanan berikut ke Cloud Logging.
| Jenis log | Nama log | Kueri logName |
Deskripsi log |
|---|---|---|---|
| Log aktivitas pemindaian data | dataplex.googleapis.com/data_scan |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan) |
Log peristiwa untuk tugas pemindaian data yang menunjukkan status, hasil, dan statistik tugas |
| Log hasil aturan pemindaian kualitas data | dataplex.googleapis.com/data_quality_scan_rule_result |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result) |
Hasil aturan pemindaian kualitas data dalam tugas kualitas data |
| Log Discovery | dataplex.googleapis.com/discovery |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery) |
Progres dan pembaruan penemuan pada aset di zona |
| Log tugas metadata | dataplex.googleapis.com/metadata_job |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job) |
Log tentang tugas impor metadata dan item impor dalam file impor metadata |
| Memproses log | dataplex.googleapis.com/process |
logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess) |
Tugas berjalan yang dihasilkan dari tugas pemrosesan data |
Ganti kode berikut:
- PROJECT_ID: ID project Anda
Untuk mengakses Logging, Anda dapat menggunakan Logs Explorer di konsol Google Cloud, perintah gcloud logging, atau Logging API.
Membuat kueri log peristiwa pemindaian data
Saat Anda menggunakan Dataplex untuk membuat dan menjalankan pemindaian data, log peristiwa pemindaian data akan dibuat di Logging untuk tugas yang dihasilkan.
Konsol
Di Konsol Google Cloud, buka halaman Logs Explorer.
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex DataScan. Klik Terapkan.
Klik menu Log name.
Di kolom Search log names, masukkan
dataplex.googleapis.com%2Fdata_scan. Pilih data_scan, lalu klik Terapkan.Opsional: Filter log ke ID atau lokasi pemindaian data tertentu dengan menambahkan filter berikut dalam kueri log:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Klik Run query.
gcloud
Untuk membaca entri log aktivitas pemindaian data, gunakan
perintah gcloud logging read
dengan kueri berikut:
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Untuk menampilkan daftar entri log, gunakan
metode entries.list.
Mengkueri log hasil aturan pemindaian kualitas data
Saat Anda menggunakan Dataplex untuk membuat dan menjalankan pemindaian kualitas data, log hasil aturan pemindaian kualitas data akan dihasilkan di Logging untuk tugas yang dihasilkan.
Konsol
Di Konsol Google Cloud, buka halaman Logs Explorer.
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex DataScan. Klik Terapkan.
Klik menu Log name.
Di kolom Search log names, masukkan
dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Pilih data_quality_scan_rule_result, lalu klik Terapkan.Opsional: Filter log ke ID atau lokasi pemindaian data tertentu dengan menambahkan filter berikut dalam kueri log:
resource.labels.location="LOCATION" resource.labels.datascan_id="DATA_SCAN_ID"
Klik Run query.
gcloud
Untuk membaca entri log hasil aturan pemindaian kualitas data, gunakan
perintah gcloud logging read
dengan kueri berikut:
gcloud logging read \
'resource.type="dataplex.googleapis.com/DataScan" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
resource.labels.location=LOCATION AND
resource.labels.datascan_id=DATA_SCAN_ID'
--limit 10
REST
Untuk menampilkan daftar entri log, gunakan
metode entries.list.
Membuat kueri log penemuan
Saat Anda menggunakan Dataplex untuk menemukan data dalam aset, log penemuan akan dihasilkan di Logging.
Konsol
Di Konsol Google Cloud, buka halaman Logs Explorer.
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex Zone. Klik Terapkan.
Klik menu Log name.
Di kolom Search log names, masukkan
dataplex.googleapis.com%2Fdiscovery. Pilih discovery, lalu klik Apply.Opsional: Filter log ke aset tertentu dengan menambahkan filter berikut dalam kueri log:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.zone_id="ZONE_ID" jsonPayload.assetId="ASSET_ID"
Klik Run query.
gcloud
Untuk membaca entri log penemuan, gunakan perintah gcloud logging read dengan kueri berikut:
gcloud logging read \
'resource.type="dataplex.googleapis.com/Zone" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.zone_id=ZONE_ID AND
jsonPayload.assetId=ASSET_ID'
--limit 10
REST
Untuk menampilkan daftar entri log, gunakan
metode entries.list.
Mengkueri log tugas metadata
Saat Anda menjalankan tugas impor metadata, log tugas metadata akan dihasilkan di Logging.
Konsol
Di Konsol Google Cloud, buka halaman Logs Explorer.
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex Metadata Job.
Opsional: Untuk memfilter log ke lokasi atau ID tugas metadata tertentu, pilih lokasi atau ID tugas.
Klik Terapkan.
Klik menu Log name.
Ketik
dataplex.googleapis.com%2Fmetadata_job, lalu pilih metadata_job.Klik Terapkan.
gcloud
Untuk membaca entri log tugas metadata, gunakan
perintah gcloud logging read
dengan kueri berikut:
gcloud logging read \
'resource.type="dataplex.googleapis.com/MetadataJob" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fmetadata_job AND
resource.labels.location=LOCATION AND
resource.labels.metadata_job_id=METADATA_JOB_ID
--limit 10
REST
Untuk menampilkan daftar entri log, gunakan
metode entries.list.
Membuat kueri log proses
Saat Anda menggunakan Dataplex untuk menjadwalkan dan menjalankan tugas, log proses akan dibuat di Logging untuk tugas yang dihasilkan.
Konsol
Di Konsol Google Cloud, buka halaman Logs Explorer.
Di tampilan Logs Explorer, temukan tab Query.
Klik menu Resource.
Pilih Cloud Dataplex Task. Klik Terapkan.
Klik menu Log name.
Di kolom Search log names, masukkan
dataplex.googleapis.com%2Fprocess. Pilih process, lalu klik Apply.Opsional: Filter log ke tugas tertentu dengan menambahkan filter berikut dalam kueri log:
resource.labels.location="LOCATION" resource.labels.lake_id="LAKE_ID" resource.labels.task_id="TASK_ID"
Klik Run query.
gcloud
Untuk membaca entri log proses, gunakan perintah gcloud logging read dengan kueri berikut:
gcloud logging read \
'resource.type="dataplex.googleapis.com/Task" AND
logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
resource.labels.location=LOCATION AND
resource.labels.lake_id=LAKE_ID AND
resource.labels.task_id=TASK_ID'
--limit 10
REST
Untuk menampilkan daftar entri log, gunakan
metode entries.list.
Langkah selanjutnya
- Pelajari Cloud Logging lebih lanjut.
- Pelajari pemantauan Dataplex.