Ringkasan metrik

Halaman ini menjelaskan metrik yang membantu Anda memantau kondisi dan performa instance dan pipeline Cloud Data Fusion. Gunakan Cloud Monitoring untuk memantau metrik ini. Metrik memberikan insight tentang eksekusi pipeline, detail instance, permintaan API, dan pemeriksaan otorisasi.

Metrik dikategorikan sebagai metrik pipeline atau metrik instance:

  • Metrik pipeline memberikan data tentang setiap proses pipeline, seperti status proses, durasi, latensi, dan throughput data.
  • Metrik instance memberikan informasi gabungan tentang pipeline dalam instance, termasuk ketersediaan layanan, jumlah pipeline yang di-deploy, dan jumlah permintaan API.

Memfilter dan menggabungkan metrik pipeline dan instance Cloud Data Fusion di Monitoring menggunakan label metrik dan monitored-resource. Saat menyesuaikan tampilan metrik, Anda dapat menggunakan satu atau kedua jenis label ini.

Label resource yang dipantau di Pipeline Cloud Data Fusion

Filter dan gabungkan metrik dengan label resource yang dipantau Pipeline Cloud Data Fusion berikut:

Nama label Deskripsi
resource_container ID project pelanggan.
org_id ID organisasi tempat project pelanggan berada.
location Zona atau wilayah tempat instance dihosting.
edition Edisi instance Cloud Data Fusion.
is_private_ip_enabled Apakah instance menggunakan alamat IP internal.
version Versi bidang data Cloud Data Fusion dari instance.
instance_id ID instance Cloud Data Fusion.
namespace Namespace pipeline.
pipeline_id ID pipeline.
run_id ID proses untuk pipeline.

Label metrik pipeline

Filter dan gabungkan metrik dengan label metrik Cloud Data Fusion berikut di Monitoring:

Nama Metrik Deskripsi Label metrik
Status operasi pipeline datafusion.googleapis.com/pipeline/v2/runs_completed_count Jumlah kumulatif pipeline yang telah menyelesaikan operasi.
  • complete_state
  • previous_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Waktu operasi pipeline datafusion.googleapis.com/pipeline/v2/pipeline_duration Waktu yang diperlukan untuk menyelesaikan proses pipeline.
  • complete_state
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • enable_rbac
  • private_service_connect_enabled
Latensi mulai pipeline datafusion.googleapis.com/pipeline/v2/pipeline_start_latency Waktu yang diperlukan pipeline untuk mencapai status Running.
  • program
  • provisioner
  • cluster_state
  • compute_profile_id
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Latensi penyediaan datafusion.googleapis.com/pipeline/v2/dataproc/provisioning_latency Latensi penyediaan cluster Dataproc.
  • provisioner
  • enable_rbac
  • private_service_connect_enabled
Permintaan Dataproc API datafusion.googleapis.com/pipeline/v2/dataproc/api_request_count Jumlah kumulatif permintaan Dataproc API.
  • provisioner
  • method
  • response_code
  • region
  • launch_mode
  • image_version
  • enable_rbac
  • private_service_connect_enabled
Waktu operasi pratinjau pipeline datafusion.googleapis.com/pipeline/v2/preview_duration Waktu yang diperlukan untuk menyelesaikan pratinjau.
  • complete_state
  • enable_rbac
  • private_service_connect_enabled
Byte pipeline yang ditulis datafusion.googleapis.com/pipeline/v2/write_bytes_count Jumlah kumulatif byte yang ditulis oleh pipeline.
  • enable_rbac
  • private_service_connect_enabled
Byte pipeline yang dibaca datafusion.googleapis.com/pipeline/v2/read_bytes_count Jumlah kumulatif byte yang dibaca oleh pipeline.
  • enable_rbac
  • private_service_connect_enabled
Byte pipeline diacak datafusion.googleapis.com/pipeline/v2/shuffle_bytes_count Jumlah kumulatif byte yang diacak dalam pipeline.
  • enable_rbac
  • private_service_connect_enabled
Plugin mencatat pemrosesan di datafusion.googleapis.com/pipeline/v2/plugin/incoming_records_count Jumlah kumulatif data yang masuk ke plugin.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name
Plugin mencatat pemrosesan datafusion.googleapis.com/pipeline/v2/plugin/outgoing_records_count Jumlah kumulatif rekaman yang keluar dari plugin.
  • enable_rbac
  • private_service_connect_enabled
  • stage_name

Label monitored-resource Instance Cloud Data Fusion

Filter dan gabungkan metrik dengan label resource yang dipantau Instance Cloud Data Fusion berikut:

Nama label Deskripsi
resource_container ID project pelanggan.
org_id ID organisasi tempat project pelanggan berada.
location Zona atau wilayah tempat instance dihosting.
edition Edisi instance.
is_private_ip_enabled Apakah instance menggunakan alamat IP internal.
version Versi bidang data Cloud Data Fusion dari instance.
instance_id ID instance Cloud Data Fusion.
namespace Nama namespace.

Label metrik instance

Filter dan gabungkan metrik dengan label metrik Cloud Data Fusion berikut di Monitoring:

Nama Metrik Deskripsi Label metrik
Status layanan datafusion.googleapis.com/instance/v2/service_available Ketersediaan layanan Cloud Data Fusion.
  • service
  • enable_rbac
  • private_service_connect_enabled
Jumlah pipeline yang di-deploy datafusion.googleapis.com/instance/v2/pipelines Jumlah pipeline yang di-deploy.
  • enable_rbac
  • private_service_connect_enabled
  • maintenance_window_enabled
Jumlah pipeline yang berjalan serentak datafusion.googleapis.com/instance/v2/concurrent_pipelines_running Jumlah pipeline yang berjalan secara serentak.
  • enable_rbac
  • private_service_connect_enabled
Jumlah peluncuran pipeline serentak datafusion.googleapis.com/instance/v2/concurrent_pipelines_launched Jumlah pipeline dalam status Penyediaan atau Memulai.
  • enable_rbac
  • private_service_connect_enabled
Permintaan CDAP REST API yang diterima datafusion.googleapis.com/instance/v2/api_request_count Jumlah kumulatif permintaan REST API yang diterima oleh layanan di backend.
  • service
  • handler
  • method
  • enable_rbac
  • private_service_connect_enabled
Respons CDAP REST API yang dikirim datafusion.googleapis.com/instance/v2/api_response_count Jumlah kumulatif respons REST API yang dikirim oleh layanan di backend.
  • service
  • handler
  • method
  • response_code
  • enable_rbac
  • private_service_connect_enabled
Jumlah pemeriksaan otorisasi datafusion.googleapis.com/instance/v2/authorization_check_count Jumlah kumulatif pemeriksaan otorisasi yang dilakukan oleh pengelola akses.
  • enable_rbac
  • type
  • private_service_connect_enabled
Waktu pemeriksaan otorisasi datafusion.googleapis.com/instance/v2/authorization_check_time Latensi pemeriksaan otorisasi yang dilakukan oleh pengelola akses.
  • enable_rbac
  • type
  • private_service_connect_enabled
Jumlah pipeline draf datafusion.googleapis.com/instance/v2/draft_pipelines Jumlah pipeline draf.
  • enable_rbac
  • private_service_connect_enabled
Jumlah namespace datafusion.googleapis.com/instance/v2/namespaces Jumlah namespace.
  • enable_rbac
  • private_service_connect_enabled

Langkah berikutnya