Tugas inti dan umum
-
Melakukan Autentikasi ke Dataproc
Pelajari cara melakukan autentikasi ke Dataproc.
-
Membuat cluster
Buat cluster menggunakan Konsol Google Cloud atau Google Cloud CLI.
-
Membuat cluster parsial
Buat cluster parsial yang memiliki jumlah minimum pekerja utama.
-
Membuat image kustom
Pelajari cara membuat image kustom dan menginstalnya di cluster Dataproc.
-
Membuat dan mengelola label
Membuat dan mengelola label pengguna Dataproc.
-
Mengelola dependensi Java dan Scala untuk Spark
Pelajari cara mengelola dependensi Java & Scala serta menyelesaikan konflik untuk aplikasi Apache Spark.
-
Mengelola cluster
Mengupdate atau menonaktifkan cluster.
-
Menjalankan notebook Vertex AI Workbench di cluster Dataproc
Jalankan file notebook dari instance terkelola di cluster Dataproc.
-
Menyiapkan project
Siapkan project baru untuk menggunakan Dataproc.
-
Memulai dan menghentikan cluster
Memulai dan menghentikan cluster Dataproc.
-
Mengirim tugas
Kirimkan jenis tugas yang berbeda menggunakan konsol Google Cloud, Google Cloud CLI, atau dengan SSH ke instance cluster.
Dataproc di GKE
-
Ringkasan Dataproc di GKE
Ringkasan Dataproc di GKE .
-
Panduan memulai: Menjalankan tugas Spark di Dataproc di GKE
Buat Dataproc di cluster virtual GKE, lalu jalankan tugas Spark di cluster virtual.
-
Membuat ulang dan mengupdate Dataproc di cluster virtual GKE
Membuat ulang dan mengupdate Dataproc di cluster virtual GKE.
-
Menghapus Dataproc pada cluster virtual GKE
Hapus Dataproc di cluster virtual GKE.
-
Dataproc Kustom pada image container GKE
Cara membuat Dataproc pada image container GKE.
-
Mendiagnosis Dataproc di cluster GKE
Cara mendiagnosis Dataproc pada cluster GKE.
-
Peran dan identitas Dataproc pada GKE
Izin IAM Dataproc pada GKE.
-
Dataproc pada logging GKE
Melihat Dataproc di log GKE.
-
Dataproc di kumpulan node GKE
Mengelola Dataproc di kumpulan node GKE.
-
Dataproc di versi rilis GKE
Informasi versi rilis Dataproc pada GKE.
-
Menskalakan Dataproc di cluster GKE
Cara menskalakan Dataproc pada cluster GKE.
Hub Dataproc
-
Ringkasan Dataproc Hub
Memahami dasar-dasar Dataproc Hub.
-
Mengonfigurasi Dataproc Hub
Konfigurasikan Dataproc Hub untuk membuka UI JupyterLab pada cluster Dataproc pengguna tunggal.
-
Menggunakan Dataproc Hub
Gunakan instance Dataproc Hub untuk membuka UI JupyterLab pada cluster Dataproc satu pengguna.
Grup node Dataproc
Template Dataproc
-
Template Dataproc
Gunakan template Dataproc untuk menyiapkan dan menjalankan beban kerja dan tugas Dataproc.
-
Log Dataproc
Gunakan Cloud Logging untuk melihat cluster Dataproc dan log tugas.
-
Output dan log tugas Dataproc
Mengonfigurasi dan melihat output tugas Dataproc.
-
Melihat log audit Dataproc
Cara melihat log audit Dataproc.
-
Cloud Monitoring
Gunakan Cloud Monitoring untuk melihat metrik cluster Dataproc.
-
Membuat pemberitahuan metrik Dataproc
Membuat pemberitahuan cluster Dataproc dan metrik tugas.
-
Cloud Profiler
Gunakan Cloud Profiler untuk membuat profil penggunaan CPU dan alokasi memori Spark dan Hadoop.
-
Memigrasikan data HDFS
Migrasikan data dari sistem file Hadoop (HDFS) ke Cloud Storage untuk digunakan dengan Dataproc dan layanan lainnya.
-
Memigrasikan cluster
Memigrasikan cluster Apache Spark dan Apache Hadoop ke Dataproc.
-
Memigrasikan tugas
Pindahkan Spark, Hadoop, Hive, Pig, dan jenis tugas lainnya ke Dataproc.