Memantau log Dataplex

Log tugas Dataplex dapat dilihat, ditelusuri, difilter, dan diarsipkan di Cloud Logging.

Lihat Harga Kemampuan observasi Google Cloud untuk memahami biaya Anda.
Lihat Periode retensi data log untuk mengetahui informasi tentang retensi logging.
Lihat Filter pengecualian untuk menonaktifkan semua log atau mengecualikan log dari Logging.
Lihat Ringkasan pemilihan rute dan penyimpanan untuk merutekan log dari Logging ke Cloud Storage, BigQuery, atau Pub/Sub.

Mengakses log layanan Dataplex di Logging

Dataplex memublikasikan log layanan berikut ke Cloud Logging.

Jenis Log	Nama Log	Kueri logName	Deskripsi Log
Log peristiwa pemindaian data	`dataplex.googleapis.com/data_scan`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan)`	Log peristiwa untuk tugas pemindaian data yang menunjukkan status, hasil, dan statistik tugas
Log hasil aturan pemindaian kualitas data	`dataplex.googleapis.com/data_quality_scan_rule_result`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result)`	Hasil aturan pemindaian kualitas data dalam tugas kualitas data
Log penemuan	`dataplex.googleapis.com/discovery`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery)`	Progres dan info terbaru penemuan pada Aset di Zona
Log proses	`dataplex.googleapis.com/process`	`logName=(projects/$PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess)`	Operasi yang dihasilkan dari Tugas pemrosesan data

Log peristiwa pemindaian data kueri

Saat Anda menggunakan Dataplex untuk membuat dan menjalankan pemindaian data, log peristiwa pemindaian data akan dibuat di Logging untuk tugas yang dihasilkan.

Anda dapat mengakses Logging menggunakan Konsol Logging, perintah gcloud logging, atau Logging API.

Konsol

Di konsol Google Cloud, buka Cloud Logging > Logs (Logs Explorer):

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik drop-down Resource.
Pilih Cloud Dataplex DataScan. Klik Terapkan.
Klik drop-down Nama log.
Di kolom Search log names, masukkan dataplex.googleapis.com%2Fdata_scan. Pilih data_scan, lalu klik Apply.
Opsional: Filter log ke ID atau lokasi pemindaian data tertentu dengan menambahkan filter berikut di kueri log:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Klik Jalankan kueri.

gcloud

Google Cloud SDK memiliki sekelompok perintah, gcloud logging, yang menyediakan antarmuka command line ke Cloud Logging API. Untuk membaca entri log Anda, jalankan perintah berikut.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_scan AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Ikuti petunjuk Logging API untuk mencantumkan entri log (entries.list) menggunakan APIs Explorer.

Log hasil aturan pemindaian kualitas data kueri

Saat Anda menggunakan Dataplex untuk membuat dan menjalankan pemindaian kualitas data, log hasil aturan pemindaian kualitas data akan dibuat di Logging untuk tugas yang dihasilkan.

Anda dapat mengakses Logging menggunakan Konsol Logging, perintah gcloud logging, atau Logging API.

Konsol

Di konsol Google Cloud, buka Cloud Logging > Logs (Logs Explorer):

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik drop-down Resource.
Pilih Cloud Dataplex DataScan. Klik Terapkan.
Klik drop-down Nama log.
Di kolom Search log names, masukkan dataplex.googleapis.com%2Fdata_quality_scan_rule_result. Pilih data_quality_scan_rule_result, lalu klik Apply.
Opsional: Filter log ke ID atau lokasi pemindaian data tertentu dengan menambahkan filter berikut di kueri log:
```
resource.labels.location="LOCATION"
resource.labels.datascan_id="DATA_SCAN_ID"
```
Klik Jalankan kueri.

gcloud

Google Cloud SDK memiliki sekelompok perintah, gcloud logging, yang menyediakan antarmuka command line ke Cloud Logging API. Untuk membaca entri log Anda, jalankan perintah berikut.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/DataScan" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdata_quality_scan_rule_result AND
    resource.labels.location=LOCATION AND
    resource.labels.datascan_id=DATA_SCAN_ID'
    --limit 10

REST

Ikuti petunjuk Logging API untuk mencantumkan entri log (entries.list) menggunakan APIs Explorer.

Log penemuan kueri

Saat Anda menggunakan Dataplex untuk menemukan data dalam aset, log penemuan akan dihasilkan di Logging.

Anda dapat mengakses Logging menggunakan Konsol Logging, perintah gcloud logging, atau Logging API.

Konsol

Di konsol Google Cloud, buka Cloud Logging > Logs (Logs Explorer):

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik drop-down Resource.
Pilih Cloud Dataplex Zone. Klik Tambahkan.
Klik drop-down Nama log.
Ketik dataplex.googleapis.com%2Fdiscovery. Pilih discovery, lalu klik Add.

(Opsional) Filter log ke aset tertentu dengan menambahkan filter berikut dalam kueri log:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.zone_id="ZONE_ID"
jsonPayload.assetId="ASSET_ID"

Klik Jalankan kueri.

gcloud

Google Cloud CLI memiliki sekelompok perintah, gcloud logging, yang menyediakan antarmuka command line ke Cloud Logging API. Untuk membaca entri log Anda, jalankan perintah berikut.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Zone" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fdiscovery AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.zone_id=ZONE_ID AND
    jsonPayload.assetId=ASSET_ID'
    --limit 10

REST

Ikuti petunjuk Logging API untuk mencantumkan entri log (entries.list) menggunakan APIs Explorer.

Log proses kueri

Saat Anda menggunakan Dataplex untuk menjadwalkan dan menjalankan Tasks, log proses akan dihasilkan dalam Logging untuk tugas yang dihasilkan.

Anda dapat mengakses Logging menggunakan Konsol Logging, perintah gcloud logging, atau Logging API.

Konsol

Di konsol Google Cloud, buka Cloud Logging > Logs (Logs Explorer):

Buka Logs Explorer
Di tampilan Logs Explorer, temukan tab Query.
Klik drop-down Resource.
Pilih Cloud Dataplex Task. Klik Tambahkan.
Klik drop-down Nama log.
Ketik dataplex.googleapis.com%2Fprocess. Pilih process lalu klik Add.

(Opsional) Filter log ke tugas tertentu dengan menambahkan filter berikut dalam kueri log:

resource.labels.location="LOCATION"
resource.labels.lake_id="LAKE_ID"
resource.labels.task_id="TASK_ID"

Klik Jalankan kueri.

gcloud

Google Cloud SDK memiliki sekelompok perintah, gcloud logging, yang menyediakan antarmuka command line ke Cloud Logging API. Untuk membaca entri log Anda, jalankan perintah berikut.

gcloud logging read \
    'resource.type="dataplex.googleapis.com/Task" AND
    logName=projects/PROJECT_ID/logs/dataplex.googleapis.com%2Fprocess AND
    resource.labels.location=LOCATION AND
    resource.labels.lake_id=LAKE_ID AND
    resource.labels.task_id=TASK_ID'
    --limit 10

REST

Ikuti petunjuk Logging API untuk mencantumkan entri log (entries.list) menggunakan APIs Explorer.

Langkah selanjutnya

Pelajari Cloud Logging lebih lanjut.
Pelajari pemantauan Dataplex.