Menggunakan kembali cluster

Halaman ini menjelaskan cara menggunakan kembali cluster Dataproc untuk pipeline Anda yang dijalankan di Cloud Data Fusion. Untuk informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster dan Menjalankan pipeline pada cluster Dataproc yang ada.

Sebelum memulai

  • Anda harus memiliki instance Cloud Data Fusion dalam versi 6.5.0 atau yang lebih baru.

Mengaktifkan penggunaan ulang cluster

Anda dapat menggunakan kembali cluster di profil komputasi baru, atau di salah satu cluster yang telah digunakan dalam pipeline yang di-deploy.

Aktifkan penggunaan ulang cluster di profil baru

  1. Buka instance Anda:

    1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di antarmuka web Cloud Data Fusion, klik Instance, lalu klik View instance.

      Buka Instance

  2. Klik System admin > Configuration > System compute Profile.

  3. Klik Buat profil baru.

  4. Pilih penyedia Dataproc.

  5. Di jendela Create a profile for Dataproc, masukkan detail tentang cluster Anda:

    1. Di kolom Label profil dan Nama profil, masukkan nama untuk mengidentifikasi profil, misalnya, execution_compute-profile.
    2. Di kolom Description, deskripsikan tujuan profil—misalnya, Profile used for pipeline execution.
    3. Di kolom Max idle time, masukkan nilai. Untuk mengetahui informasi selengkapnya, lihat Menetapkan waktu tidak ada aktivitas maks.
    4. Tetapkan kolom Skip cluster delete ke True. Untuk mengetahui informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster.
    5. Opsional: mengonfigurasi kolom opsional lainnya.
    6. Klik Create.

Mengaktifkan penggunaan ulang cluster dalam pipeline yang di-deploy

  1. Buka instance Anda:

    1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di antarmuka web Cloud Data Fusion, klik Instance, lalu klik View instance.

      Buka Instance

  2. Klik Daftar.

  3. Klik tab Di-deploy dan klik nama pipeline. Pipeline yang telah di-deploy akan terbuka di halaman Studio di antarmuka web Cloud Data Fusion.

  4. Klik Konfigurasikan.

  5. Di jendela Compute config, buka profil yang dipilih, lalu klik Customize.

  6. Di jendela yang terbuka, masukkan nilai berikut:

    1. Di kolom Max Idle Time, masukkan nilai. Untuk mengetahui informasi selengkapnya, lihat Menetapkan waktu tidak ada aktivitas maks.
    2. Tetapkan Skip cluster delete ke True. Untuk mengetahui informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster.

  7. Klik Done.

Langkah selanjutnya