Mengelola konfigurasi pipeline

Halaman ini menjelaskan cara mengelola konfigurasi untuk pipeline yang di-deploy.

Sebelum memulai

Halaman ini memerlukan pengetahuan latar belakang tentang profil Compute dan performa pipeline.

Konfigurasi profil komputasi

Anda dapat mengubah profil komputasi atau menyesuaikan parameter profil komputasi default yang menjalankan pipeline. Untuk mengetahui informasi selengkapnya, lihat Mengelola profil komputasi dan properti penyediaan Dataproc.

Konfigurasi pipeline

Untuk setiap pipeline, Anda dapat mengaktifkan atau menonaktifkan instrumentasi, seperti metrik waktu. Secara default, instrumentasi aktif. Jika instrumentasi diaktifkan, saat Anda menjalankan pipeline, Cloud Data Fusion akan menghasilkan metrik untuk setiap node pipeline. Metrik berikut ditampilkan di tab Metrics pada setiap node. Metrik sumber, transformasi, dan sink sedikit berbeda.

  • Catatan
  • Rekor di
  • Jumlah total kesalahan
  • Kumpulan data yang keluar per detik
  • Waktu proses min (satu catatan)
  • Waktu proses maksimum (satu data)
  • Simpangan baku
  • Waktu pemrosesan rata-rata

Sebaiknya selalu aktifkan Instrumentasi, kecuali jika lingkungannya kekurangan resource.

Untuk pipeline streaming, Anda juga dapat menetapkan Interval batch (detik/menit) untuk data streaming.

Konfigurasi mesin

Apache Spark adalah mesin eksekusi default. Anda dapat meneruskan parameter kustom untuk Spark. Untuk mengetahui informasi selengkapnya, lihat Pemrosesan paralel.

Resource

Anda dapat menentukan memori dan jumlah CPU untuk driver dan eksekutor Spark. Driver mengorkestrasi tugas Spark. Eksekutor menangani pemrosesan data di Spark. Untuk mengetahui informasi selengkapnya, lihat Pengelolaan resource.

Pemberitahuan pipeline

Anda dapat mengonfigurasi pipeline untuk mengirim pemberitahuan dan memulai tugas pascapemrosesan setelah proses pipeline selesai. Anda membuat pemberitahuan pipeline saat mendesain pipeline. Setelah men-deploy pipeline, Anda dapat melihat pemberitahuan. Anda dapat mengedit pipeline untuk mengubah setelan pemberitahuan. Untuk mengetahui informasi selengkapnya, lihat Membuat pemberitahuan.

Bentang bawah transformasi

Anda dapat mengaktifkan bentang bawah Transformasi jika ingin pipeline menjalankan transformasi tertentu di BigQuery. Untuk informasi selengkapnya, lihat Ringkasan Pushdown Transformasi.

Langkah selanjutnya