Memantau dan memecahkan masalah sesi interaktif Dataproc Serverless

Dokumen ini menjelaskan cara memantau dan memecahkan masalah sesi interaktif Dataproc Serverless untuk Spark menggunakan UI Spark.

UI Spark

UI Spark mengumpulkan detail eksekusi Apache Spark dari Dataproc Serverless untuk sesi interaktif Spark. Fitur UI Spark tidak dikenai biaya, yang diaktifkan secara default. Data yang dikumpulkan oleh fitur UI Spark dipertahankan selama 90 hari.

Izin dan peran Identity and Access Management yang diperlukan

Izin berikut diperlukan untuk menggunakan fitur UI Spark dengan sesi interaktif:

  • Izin pengumpulan data: dataproc.sessions.sparkApplicationWrite. Izin ini harus diberikan ke akun layanan yang menjalankan sesi interaktif. Peran ini disertakan dalam peran Dataproc Worker, yang secara otomatis diberikan ke akun layanan default Compute Engine yang digunakan Dataproc Serverless secara default. Namun, jika Anda menentukan akun layanan kustom untuk sesi atau template runtime sesi, Anda harus menambahkan izin dataproc.sessions.sparkApplicationWrite ini ke akun layanan tersebut (biasanya, dengan memberikan peran Worker Dataproc ke akun layanan).

  • Izin akses UI Spark: dataproc.sessions.sparkApplicationRead. Izin ini harus diberikan kepada pengguna untuk mengakses UI Spark di konsol Google Cloud. Izin ini disertakan dalam peran Dataproc Viewer, Dataproc Editor, dan Dataproc Administrator. Untuk membuka UI Spark di konsol Google Cloud, Anda harus memiliki salah satu peran ini atau memiliki peran kustom yang menyertakan izin ini.

Membuka UI Spark

Halaman UI Spark tersedia di konsol Google Cloud untuk sesi Spark.

  1. Buka Sesi Interaktif Dataproc

  2. Klik Interactive Session ID untuk membuka halaman Interactive Session Details.
  3. Klik Lihat UI Spark di menu atas.

Apakah link View Spark UI dinonaktifkan? Jika izin yang diperlukan tidak diberikan, atau jika Anda menghapus centang pada kotak Aktifkan UI Spark di halaman detail sesi interaktif atau menetapkan properti spark.dataproc.appContext.enabled ke false (default: true) saat Anda membuat sesi atau membuat template runtime sesi, tombol Lihat UI Spark akan dinonaktifkan.

Batasan

UI Spark tidak mendukung workload Dataproc Serverless berikut: