Memantau dan melihat log untuk BigQuery Data Transfer Service

monitoring dan logging BigQuery Data Transfer Service memberikan informasi tentang performa dan status workload layanan. BigQuery Data Transfer Service mengekspor data pemantauan ke Cloud Monitoring.

Memantau BigQuery Data Transfer Service

Anda dapat menggunakan metrik pemantauan untuk tujuan berikut:

Mengevaluasi penggunaan dan performa konfigurasi transfer data.
Memecahkan masalah.
Memantau status operasi transfer.

Untuk membuat dasbor kustom, menyiapkan pemberitahuan, dan membuat kueri metrik dengan Monitoring, Anda dapat menggunakan konsol Google Cloud atau Monitoring API.

Melihat data transfer di Metrics Explorer

Di konsol Google Cloud, buka halaman Monitoring.

Buka Monitoring
Di panel navigasi, klik Metrics Explorer.
Pilih project Anda.
Di kotak Find resource type and metric, masukkan berikut ini:
- Untuk Resource type, masukkan BigQuery DTS Config.
- Untuk Metric, pilih salah satu metrik yang tercantum di Monitoring metrics for transfer configurations, misalnya, Completed run count.
Opsional: Pilih perata, pengurang, dan parameter lainnya.
Metrik ditampilkan di jendela Metrics explorer.

Menentukan pemberitahuan Cloud Monitoring

Anda dapat menentukan pemberitahuan Monitoring untuk metrik BigQuery Data Transfer Service:

Di konsol Google Cloud, buka halaman Monitoring.

Buka Monitoring
Di panel navigasi, pilih Alerting > Create policy.

Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan dan konsep di baliknya, lihat Jenis kebijakan pemberitahuan.
Klik Add Condition, lalu pilih jenis kondisi.
Memilih metrik dan filter. Untuk metrik, jenis resource-nya adalah BigQuery DTS Config.
Klik Save Condition.
Masukkan nama kebijakan, lalu klik Save Policy.

Untuk mengetahui informasi selengkapnya tentang kebijakan pemberitahuan dan konsep, lihat Pengantar pemberitahuan.

Menentukan dasbor kustom Cloud Monitoring

Anda dapat membuat dasbor kustom melalui metrik BigQuery Data Transfer Service:

Di konsol Google Cloud, buka halaman Monitoring.

Buka Monitoring
Di panel navigasi, pilih Dashboards > Create Dashboard.
Klik Add Chart.
Beri judul pada diagram.
Memilih metrik dan filter. Untuk metrik, jenis resource-nya adalah BigQuery DTS Config.
Klik Simpan.

Untuk informasi selengkapnya, lihat Mengelola dasbor kustom.

Frekuensi dan retensi pelaporan metrik

Metrik untuk operasi BigQuery Data Transfer Service diekspor ke Monitoring dalam batch, dengan interval 1 menit. Data Monitoring disimpan selama 6 minggu.

Dasbor ini menyediakan analisis data dalam interval default 1h (1 jam), 6H (6 jam), 1D (1 hari), 1W (1 minggu), dan 6W (6 minggu). Anda dapat meminta analisis secara manual dalam interval berapa pun antara 1M (1 menit) hingga 6W (6 minggu).

Memantau metrik untuk konfigurasi transfer

Metrik untuk konfigurasi BigQuery Data Transfer Service berikut diekspor ke Monitoring:

Metrik	Deskripsi
Menjalankan distribusi latensi	Distribusi waktu eksekusi (dalam detik) dari setiap transfer yang dijalankan, per konfigurasi transfer.
Jumlah operasi aktif	Jumlah operasi transfer yang sedang berjalan atau tertunda, per konfigurasi transfer.
Jumlah operasi yang selesai	Jumlah transfer yang telah selesai dijalankan dalam jangka waktu, per konfigurasi transfer.

Memfilter dimensi untuk metrik

Metrik digabungkan untuk setiap konfigurasi BigQuery Data Transfer Service. Anda dapat memfilter metrik gabungan menurut dimensi berikut:

Properti	Deskripsi
`TRANSFER_STATE`	Menunjukkan status transfer saat ini dari operasi transfer. Dimensi ini dapat memiliki salah satu nilai berikut: `unspecified` `pending` `running` `succeeded` `failed` `cancelled`
`ERROR_CODE`	Menampilkan kode error akhir dari operasi transfer. Dimensi ini dapat memiliki salah satu nilai berikut: `OK` `CANCELLED` `UNKNOWN` `INVALID_ARGUMENT` `DEADLINE_EXCEEDED` `NOT_FOUND` `ALREADY_EXISTS` `PERMISSION_DENIED` `UNAUTHENTICATED` `RESOURCE_EXHAUSTED` `FAILED_PRECONDITION` `ABORTED` `OUT_OF_RANGE` `UNIMPLEMENTED` `INTERNAL` `UNAVAILABLE` `DATA_LOSS`
`RUN_CAUSE`	Menunjukkan cara operasi transfer dipicu. Dimensi ini dapat memiliki salah satu nilai berikut: `USER_REQUESTED` `AUTO_SCHEDULE`

Log BigQuery Data Transfer Service

Setiap operasi BigQuery Data Transfer Service dicatat menggunakan Cloud Logging. Logging diaktifkan secara otomatis untuk semua transfer data.

Peran yang diperlukan

Peran Logs Viewer (roles/logging.viewer) memberi Anda akses hanya baca ke semua fitur Logging. Untuk mengetahui informasi selengkapnya tentang peran dan izin Identity and Access Management (IAM) yang berlaku untuk data Logging, lihat Panduan kontrol akses Logging.

Melihat log

Untuk melihat log, buka halaman Logs Explorer.

Buka Logs Explorer

Log BigQuery Data Transfer Service diindeks terlebih dahulu oleh konfigurasi transfer dan kemudian oleh setiap operasi transfer.

Melihat log operasi transfer

Untuk hanya menampilkan entri log dari transfer tertentu run_id, di Query builder, tambahkan filter berikut:

resource.type="bigquery_dts_config"
labels.run_id="transfer_run_id"

Melihat log operasi.

Melihat log konfigurasi transfer

Untuk menampilkan entri log dari transfer tertentu config_id, di Query builder, tambahkan filter berikut:

resource.type="bigquery_dts_config"
labels.run_id="transfer_config_id"

Melihat log konfigurasi.

Melihat semua log

Untuk melihat semua log BigQuery Data Transfer Service, lakukan salah satu langkah berikut:

Di bagian Log fields, untuk Resource type, pilih BigQuery DTS Config.
Di Query builder, tambahkan filter berikut:
```
resource.type="bigquery_dts_config"
```

Untuk mengetahui informasi selengkapnya tentang cara menggunakan Log Explorer, lihat Menggunakan Log Explorer.

Format log

BigQuery Data Transfer Service mencatat pesan ke dalam log dalam format berikut:

{
  "insertId": "0000000000",
  "jsonPayload": {
    "message": "DTS transfer run message."
  },
  "resource": {
    "type": "bigquery_dts_config",
    "labels": {
      "project_id": "my_project_id",
      "config_id": "transfer_config_id",
      "location": "us"
    }
  },
  "timestamp": "2020-11-25T04:45:48.545732221Z",
  "severity": "INFO",
  "labels": {
    "run_id": "transfer_run_id"
  },
  "logName": "projects/your_project_id/logs/bigquerydatatransfer.googleapis.com%2Ftransfer_config",
  "receiveTimestamp": "2020-11-25T04:45:48.960214929Z"
}

Apa saja yang dicatat di log

Entri log BigQuery Data Transfer Service berisi informasi yang berguna untuk memantau dan men-debug operasi transfer Anda. Entri log berisi jenis informasi berikut:

timestamp: digunakan untuk menghitung usia entri log dan untuk menerapkan periode retensi data log
severity: dapat berupa INFO, WARNING, atau ERROR
message_text: menyimpan string yang menjelaskan status operasi transfer terkini

Langkah selanjutnya

Pelajari Monitoring lebih lanjut.
Baca ringkasan Cloud Audit Logs dan Cloud Logging.