Menggunakan kembali cluster

Halaman ini menjelaskan cara menggunakan kembali cluster Dataproc untuk menjalankan pipeline di Cloud Data Fusion. Untuk informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster dan Menjalankan pipeline pada cluster Dataproc yang ada.

Sebelum memulai

  • Anda harus memiliki instance Cloud Data Fusion versi 6.5.0 atau yang lebih baru.

Mengaktifkan penggunaan kembali cluster

Anda dapat menggunakan kembali cluster di profil komputasi baru, atau di profil yang telah digunakan dalam pipeline yang di-deploy.

Mengaktifkan penggunaan kembali cluster di profil baru

  1. Buka instance Anda:

    1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Klik Admin sistem > Konfigurasi > Profil komputasi sistem.

  3. Klik Buat profil baru.

  4. Pilih penyedia Dataproc.

  5. Di jendela Create a profile for Dataproc, masukkan detail tentang cluster Anda:

    1. Di kolom Label profil dan Nama profil, masukkan nama untuk mengidentifikasi profil—misalnya, execution_compute-profile.
    2. Di kolom Deskripsi, jelaskan tujuan profil—misalnya, Profile used for pipeline execution.
    3. Di kolom Max idle time, masukkan nilai. Untuk mengetahui informasi selengkapnya, lihat Menetapkan waktu tidak ada aktivitas maksimum.
    4. Tetapkan kolom Lewati penghapusan cluster ke True. Untuk informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster.
    5. Opsional: konfigurasikan kolom opsional lainnya.
    6. Klik Create.

Mengaktifkan penggunaan kembali cluster di pipeline yang di-deploy

  1. Buka instance Anda:

    1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

    2. Untuk membuka instance di Cloud Data Fusion Studio, klik Instance, lalu klik View instance.

      Buka Instance

  2. Klik Daftar.

  3. Klik tab Di-deploy, lalu klik nama pipeline. Pipeline yang di-deploy akan terbuka di halaman Studio di antarmuka web Cloud Data Fusion.

  4. Klik Konfigurasikan.

  5. Di jendela Compute config, buka profil yang dipilih, lalu klik Customize.

  6. Di jendela yang terbuka, masukkan nilai berikut:

    1. Di kolom Max Idle Time, masukkan nilai. Untuk mengetahui informasi selengkapnya, lihat Menetapkan waktu tidak ada aktivitas maksimum.
    2. Tetapkan Lewati penghapusan cluster ke True. Untuk informasi selengkapnya, lihat Kapan harus menggunakan kembali cluster.

  7. Klik Done.

Langkah selanjutnya