Memecahkan masalah error jenis program yang tidak didukung

Halaman ini menjelaskan cara menyelesaikan masalah umum pada Cloud Data Fusion 6.8.0 dan 6.8.1 saat pipeline data gagal disertai error jenis program yang tidak didukung di Cloud Data Fusion. Masalah ini telah teratasi dalam versi 6.8.2.

Untuk mengurangi waktu mulai pipeline, instance Cloud Data Fusion versi 6.8.0 dan 6.8.1 meng-cache artefak yang diperlukan untuk memulai pipeline di cluster Dataproc di dalam bucket Cloud Storage. Salah satu artefak yang di-cache ini adalah application.jar. Bergantung pada urutan Anda menjalankan pipeline, beberapa pipeline mungkin gagal dengan error berikut:

Unsupported program type: Spark

Misalnya, setelah Anda membuat instance 6.8.1 baru (atau mengupgrade ke versi 6.8.1), saat pertama kali Anda menjalankan pipeline yang hanya berisi tindakan, proses tersebut berhasil. Namun, pipeline berikutnya yang dijalankan, yang menyertakan sumber atau sink, mungkin akan gagal dengan error ini.

Rekomendasi

Untuk mengatasi masalah ini, lakukan salah satu langkah berikut:

• Direkomendasikan: Upgrade instance ke Cloud Data Fusion versi 6.8.2 atau yang lebih baru.
• Nonaktifkan penyimpanan cache Cloud Storage dengan argumen preferensi atau runtime.

Catatan: Menonaktifkan hasil cache Cloud Storage di pipeline memerlukan waktu sedikit lebih lama untuk mulai berjalan, karena lebih sedikit artefak yang di-cache.

Anda dapat menonaktifkan penyimpanan cache untuk hal-hal berikut:

• Untuk semua pipeline dalam instance.
• Untuk namespace tertentu.
• Untuk profil Dataproc spesifik yang berisi pipeline yang gagal.
• Hanya untuk pipeline yang gagal.

Menonaktifkan cache Cloud Storage untuk semua pipeline dalam instance

Untuk menonaktifkan penyimpanan cache Cloud Storage bagi semua pipeline dalam instance, ikuti langkah-langkah berikut:

Konsol

1. Buka instance Anda:

   1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

   2. Untuk membuka instance di antarmuka web Cloud Data Fusion, klik Instance, lalu klik View instance.

      Buka Instance

2. Klik System Admin > System Preferences dan tetapkan nilai untuk system.profile.properties.gcsCacheEnabled ke false.

   

REST API

Untuk menetapkan system.profile.properties.gcsCacheEnabled ke false, lihat Menyetel preferensi.

Catatan: Perubahan ini memengaruhi waktu mulai untuk semua pipeline dalam instance.

Menonaktifkan cache Cloud Storage untuk namespace tertentu

Untuk menonaktifkan penyimpanan cache Cloud Storage untuk namespace tertentu, ikuti langkah-langkah berikut:

Konsol

1. Buka instance Anda:

   1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

   2. Untuk membuka instance di antarmuka web Cloud Data Fusion, klik Instance, lalu klik View instance.

      Buka Instance

2. Klik System Admin > Namespace, lalu pilih namespace Anda.

3. Klik Preferensi > Edit dan tetapkan nilai untuk system.profile.properties.gcsCacheEnabled ke false.

   

REST API

Untuk menetapkannya melalui REST API, lihat Menetapkan preferensi.

Catatan: Perubahan ini memengaruhi waktu mulai untuk semua pipeline di namespace.

Menonaktifkan cache Cloud Storage untuk profil Dataproc

Guna menonaktifkan penyimpanan cache Cloud Storage untuk profil Dataproc tertentu yang berisi pipeline yang gagal, ikuti langkah-langkah berikut:

Konsol

• Tetapkan gcsCacheEnabled ke false di profil Dataproc.

Catatan: Perubahan ini memengaruhi waktu mulai untuk semua pipeline yang menggunakan profil Dataproc ini.

Menonaktifkan cache Cloud Storage hanya untuk pipeline yang gagal

Guna menonaktifkan cache Cloud Storage hanya untuk pipeline yang gagal, ikuti langkah-langkah berikut:

Konsol

1. Buka instance Anda:

   1. Di konsol Google Cloud, buka halaman Cloud Data Fusion.

   2. Untuk membuka instance di antarmuka web Cloud Data Fusion, klik Instance, lalu klik View instance.

      Buka Instance

2. Klik List dan pilih pipeline yang gagal.
3. Klik Luaskan di samping Run dan tetapkan argumen runtime system.profile.properties.gcsCacheEnabled ke false.
4. Ulangi untuk pipeline lainnya yang gagal.

REST API

Cache Cloud Storage dapat dinonaktifkan saat memulai pipeline melalui REST API dan juga dengan menentukan argumen runtime sebagai peta JSON dalam isi permintaan secara opsional. Untuk informasi selengkapnya, lihat Memulai program.

Catatan: Perubahan ini hanya memengaruhi waktu mulai pipeline tertentu.