Mengelola konfigurasi pipeline

Halaman ini menjelaskan cara mengelola konfigurasi untuk pipeline yang di-deploy.

Sebelum memulai

Halaman ini memerlukan beberapa pengetahuan latar belakang tentang Profil komputasi dan performa pipeline.

Konfigurasi profil Compute

Anda dapat mengubah profil komputasi atau menyesuaikan parameter profil komputasi default yang menjalankan pipeline. Untuk mengetahui informasi selengkapnya, lihat Mengelola profil komputasi dan Properti penyedia Dataproc.

Konfigurasi pipeline

Untuk setiap pipeline, Anda dapat mengaktifkan atau menonaktifkan instrumentasi, seperti metrik waktu. Secara default, instrumentasi aktif. Jika instrumentasi diaktifkan, saat Anda menjalankan pipeline, Cloud Data Fusion akan menghasilkan metrik untuk setiap node pipeline. Metrik berikut ditampilkan di tab Metrics di setiap node. Metrik sumber, transformasi, dan sink sedikit bervariasi.

  • Merekam keluar
  • Data dalam
  • Total jumlah error
  • Data yang direkam per detik
  • Waktu proses min (satu data)
  • Waktu proses maks (satu data)
  • Simpangan baku
  • Waktu pemrosesan rata-rata

Sebaiknya Anda selalu mengaktifkan Instrumentasi, kecuali jika lingkungan kekurangan resource.

Untuk pipeline streaming, Anda juga dapat menetapkan Interval batch (detik/menit) untuk data streaming.

Konfigurasi mesin

Apache Spark adalah mesin eksekusi default. Anda dapat meneruskan parameter kustom untuk Spark. Untuk mengetahui informasi selengkapnya, lihat Pemrosesan paralel.

Resource

Anda dapat menentukan memori dan jumlah CPU untuk driver dan eksekutor Spark. Driver mengatur tugas Spark. Eksekutor menangani pemrosesan data di Spark. Untuk mengetahui informasi selengkapnya, lihat Pengelolaan resource.

Notifikasi pipeline

Anda dapat mengonfigurasi pipeline untuk mengirim pemberitahuan dan memulai tugas pascapemrosesan setelah operasi pipeline selesai. Anda membuat pemberitahuan pipeline saat mendesain pipeline. Setelah men-deploy pipeline, Anda dapat melihat pemberitahuan. Anda dapat mengedit pipeline untuk mengubah setelan pemberitahuan. Untuk mengetahui informasi selengkapnya, lihat Membuat pemberitahuan.

Pushdown transformasi

Anda dapat mengaktifkan Pushdown transformasi jika ingin pipeline menjalankan transformasi tertentu di BigQuery. Untuk mengetahui informasi selengkapnya, lihat Ringkasan Pushdown Transformasi.

Langkah selanjutnya