Ringkasan Dataproc Hub

Notebook yang dikelola pengguna Dataproc Hub dan Vertex AI Workbench tidak digunakan lagi. Pada 30 Januari 2025, dukungan untuk notebook yang dikelola pengguna akan berakhir dan kemampuan untuk membuat instance notebook yang dikelola pengguna akan dihapus. Untuk solusi notebook alternatif di Google Cloud, lihat:

• Instal komponen Jupyter di cluster Dataproc Anda.
• Buat instance Vertex AI Workbench yang mendukung Dataproc.

Dengan Dataproc Hub, Anda dapat memanfaatkan Vertex AI Workbench dan Dataproc untuk menjalankan tugas pemrosesan data dan ML interaktif dalam skala besar menggunakan notebook Jupyter serta ekosistem Hadoop dan Spark.

Notebook Dataproc Hub adalah notebook satu pengguna yang diseleksi administrator yang berjalan di cluster Dataproc JupyterLab yang dibuat dan dijalankan di project pengguna.

• Dataproc Hub memanfaatkan JupyterHub untuk:

  • Wujudkan konsistensi di seluruh organisasi dengan memungkinkan administrator membuat daftar template notebook pilihan untuk berbagai kelompok data dan pengguna ML.
  • Percepat pembuatan notebook dengan menyediakan lingkungan yang telah dikonfigurasi sebelumnya kepada pengguna data dan ML yang sesuai dengan persyaratan software dan hardware mereka.

• Dataproc Hub menyediakan antarmuka terpisah untuk administrator dan pengguna:

  • Administrator menggunakan halaman Dataproc→Workbench→User-Managed Notebooks di Konsol Google Cloud untuk membuat instance Dataproc Hub. Setiap instance hub berisi serangkaian lingkungan notebook yang telah ditentukan sebelumnya dan ditentukan oleh file konfigurasi cluster YAML.
  • Pengguna Data dan ML menggunakan UI Notebooks→Instances di Konsol Google Cloud untuk memilih lingkungan notebook standar guna memunculkan server notebook di cluster Dataproc mereka.
    • Pengguna tanpa akses konsol dapat mengakses instance Dataproc Hub untuk memunculkan cluster Dataproc dari browser web mereka menggunakan URL instance Dataproc Hub yang disediakan oleh administrator.
      Jika organisasi tidak menentukan dan menerapkan peran pengguna dan administratif notebook terpisah, dan bukan menggunakan Dataproc Hub untuk mengonfigurasi dan memunculkan cluster notebook Jupyter, pengguna dapat menginstal komponen Jupyter di cluster mereka.

• Kasus penggunaan Dataproc Hub:

  • Pengguna data dan ML diatur dalam beberapa grup sesuai dengan persyaratan software dan hardware umum (pengguna dapat ditempatkan di beberapa grup)
  • Akses konsol Dataproc terbatas: Pengguna tidak memiliki akses ke Dataproc di konsol Google Cloud

• Fitur Dataproc Hub:

  • Lingkungan pengguna yang telah ditetapkan
  • Isolasi cluster dan notebook: anggota grup tidak diberi akses yang mudah ke cluster dan notebook anggota dalam grup lain

Untuk informasi selengkapnya

• Admin: Mengonfigurasi Dataproc Hub
• Pengguna: Gunakan Dataproc Hub