Kelola profil komputasi

Profil komputasi menentukan cara dan tempat pipeline dijalankan. Library ini mengenkapsulasi informasi apa pun yang diperlukan untuk menyiapkan dan menghapus lingkungan eksekusi fisik pipeline. Profil komputasi menentukan nama penyedia dan setelan konfigurasi untuk penyedia tersebut.

Setiap profil komputasi memiliki cakupan: sistem atau pengguna. Anda dapat menggunakan profil komputasi sistem untuk namespace apa pun di bawahnya. Profil komputasi pengguna ada dalam namespace, dan hanya pipeline dalam namespace tersebut yang dapat menggunakan profil komputasi pengguna. Profil komputasi dapat ditetapkan ke pipeline batch. Saat profil komputasi ditetapkan ke pipeline, penyedia yang ditentukan di profil akan digunakan untuk membuat cluster tempat pipeline akan berjalan.

Misalnya, administrator dapat memutuskan untuk membuat profil komputasi kecil, menengah, dan besar. Mereka mengonfigurasi setiap profil dengan kredensial Google Cloud yang diperlukan untuk membuat dan menghapus cluster Dataproc di akun Google Cloud perusahaan.

  • Profil kecil dikonfigurasi untuk membuat cluster 5 node.
  • Profil media dikonfigurasi untuk membuat cluster dengan 20 node.
  • Profil besar dikonfigurasi untuk membuat cluster dengan 50 node.

Administrator menetapkan profil kecil tersebut ke pipeline yang dijadwalkan untuk berjalan setiap jam pada sejumlah kecil data. Tugas ini menetapkan profil besar ke pipeline yang dijadwalkan untuk berjalan setiap hari pada sejumlah besar data.

Profil komputasi default

Secara default, Cloud Data Fusion menggunakan Autoscale sebagai profil komputasi. Memperkirakan jumlah worker (node) cluster yang sesuai untuk workload itu sulit, dan ukuran cluster tunggal untuk seluruh pipeline sering kali tidak ideal. Penskalaan Otomatis Dataproc menyediakan mekanisme untuk mengotomatiskan pengelolaan resource cluster dan mengaktifkan penskalaan otomatis VM pekerja cluster. Untuk mengetahui informasi selengkapnya, baca Penskalaan otomatis.

Di halaman Compute config, tempat Anda dapat melihat daftar profil, terdapat kolom Total cores, yang memiliki vCPU maksimum yang dapat ditingkatkan skalanya oleh profil, misalnya Up to 84.

Profil komputasi pengguna dan sistem

Profil komputasi menunjukkan penyedia yang akan digunakan saat membuat cluster dan menentukan konfigurasi cluster. Kode ini juga menentukan konfigurasi penyedia yang harus digunakan saat membuat cluster.

  • Untuk membuat profil komputasi sistem, buka halaman Admin sistem di Cloud Data Fusion Studio. Halaman ini mencantumkan semua profil komputasi sistem dan memungkinkan Anda membuat profil komputasi sistem yang baru.
  • Untuk membuat profil komputasi pengguna, buka halaman Administrasi Namespace di Cloud Data Fusion Studio, lalu pilih namespace untuk membuat profil. Kemudian, Anda dapat membuat profil yang hanya ada di dalam namespace tersebut.

Penetapan profil Compute

Anda dapat menetapkan profil komputasi ke pipeline batch dengan cara berikut:

  • Tetapkan profil default untuk instance Cloud Data Fusion.
  • Tetapkan profil default untuk namespace tertentu.
  • Tetapkan profil ke pipeline batch yang akan digunakan untuk operasi yang dimulai secara manual.
  • Menetapkan profil ke jadwal pipeline.

Jika profil ditetapkan dalam jadwal yang memicu operasi, atau jika Anda menjalankan pipeline secara manual dan ada profil yang ditetapkan ke pipeline tersebut, Cloud Data Fusion akan menggunakan profil komputasi tersebut.

Jika tidak ada profil yang ditetapkan, Cloud Data Fusion akan menggunakan profil default untuk namespace. Jika tidak ada profil default yang ditetapkan untuk namespace,

Cloud Data Fusion menggunakan profil default sistem. Jika tidak ada default sistem yang ditetapkan, profil bawaan akan digunakan.

Menetapkan profil komputasi default

Untuk menetapkan profil default ke instance atau namespace Cloud Data Fusion, buka Cloud Data Fusion Studio, lalu klik System admin > Configuration > System compute profiles. Untuk memilih setelan default, klik bintang di samping nama profil.

Opsional: gunakan Preferences Microservice untuk menetapkan profil default

  • Untuk menetapkan profil default, tetapkan preferensi pada instance Cloud Data Fusion dengan key system.profile.name dan nilai system:<profile-name>.
  • Guna menetapkan profil default untuk namespace, tetapkan preferensi pada namespace yang dipilih dengan kunci system.profile.name dan nilai <scope>:<profile-name>.

Menetapkan profil komputasi untuk operasi manual

Untuk menetapkan profil yang akan digunakan untuk operasi pipeline manual, ikuti langkah-langkah berikut:

  1. Buka halaman detail pipeline.
  2. Klik Configure > Compute config.
  3. Pilih profil, lalu klik Simpan. Profil yang dipilih akan digunakan setiap kali pipeline berjalan secara manual.

Atau, Anda dapat menggunakan Preferences Microservice untuk menyetel profil untuk operasi manual dengan menetapkan preferensi pada entity DataPipelineWorkflow dengan kunci system.profile.name dan nilai <scope>:<profile-name>.

Menetapkan profil komputasi ke jadwal

Setiap kali membuat jadwal untuk pipeline, Anda dapat menetapkan profil ke jadwal tersebut. Setiap kali jadwal memicu pipeline dijalankan, profil tersebut akan digunakan untuk proses tersebut. Hal ini berlaku untuk jadwal dan jadwal waktu yang dipicu oleh pipeline lain.

Mengganti konfigurasi profil komputasi

Saat profil dibuat, setiap setelan konfigurasi dapat dijadikan tidak dapat diubah dengan menguncinya. Namun, jika tidak dikunci, setelan konfigurasi dapat diganti saat runtime. Untuk mengganti konfigurasi profil, ikuti langkah-langkah berikut:

  1. Dari halaman Pipeline List, pilih pipeline yang telah di-deploy dan ingin dijalankan.
  2. Dari halaman Pipeline Details, klik Configure.
  3. Pilih profil komputasi, lalu klik Customize.
  4. Ubah setelan, lalu klik Simpan.

Anda dapat menggunakan argumen runtime dan menjadwalkan properti untuk mengubah ukuran cluster dan setelan lainnya.

  • Untuk mengganti profil yang digunakan, tetapkan argumen runtime dengan kunci system.profile.name dan nilai <scope>:<profile-name>.
  • Untuk mengganti properti profil, tetapkan argumen runtime dengan kunci system.profile.properties.<property-name> dan nilai yang sama dengan nilai untuk properti tersebut.

Misalnya, untuk mengganti numWorkerssetting ke nilai 10, tetapkan argumen atau preferensi runtime dengan kunci system.profile.properties.numWorkers dan nilai 10.

Langkah selanjutnya