Menggunakan bucket dengan namespace dengan hierarki hierarki untuk workload Hadoop

Pratinjau

Produk atau fitur ini tunduk pada "Persyaratan Penawaran Pra-GA" di bagian Persyaratan Layanan Umum di Persyaratan Khusus Layanan. Produk dan fitur pra-GA tersedia "sebagaimana adanya" dan mungkin memiliki dukungan terbatas. Untuk mengetahui informasi selengkapnya, lihat deskripsi tahap peluncuran.

Halaman ini menjelaskan cara menggunakan bucket dengan namespace hierarki untuk workload Hadoop.

Ringkasan

Saat menggunakan bucket Cloud Storage dengan namespace hierarkis, Anda dapat mengonfigurasi konektor Cloud Storage agar menggunakan operasi ganti nama folder untuk workload seperti Hadoop, Spark, Hive.

Dalam bucket tanpa namespace hierarkis, operasi penggantian nama di Hadoop, Spark, dan Hive melibatkan beberapa tugas penyalinan dan penghapusan objek, yang berdampak performa dan konsistensi. Mengganti nama folder menggunakan Cloud Storage mengoptimalkan performa dan memastikan konsistensi, saat menangani folder dengan banyak objek.

Catatan: Sebaiknya gunakan konektor Cloud Storage versi 2.2.23 atau yang lebih baru (tidak termasuk versi 3.0.0). Namun, Anda dapat memilih versi yang lebih lama jika diperlukan. Saat menggunakan konektor Cloud Storage versi 3.0.0 atau versi yang lebih lama dari 2.2.23 ada beberapa batasan. Untuk informasi selengkapnya tentang batasan, lihat Kompatibilitas dengan konektor Cloud Storage versi 3.0.0 atau versi yang lebih lama dari 2.2.23.

Dataproc

Anda dapat menggunakan Google Cloud CLI untuk membuat cluster Dataproc dan mengaktifkan konektor Cloud Storage untuk menjalankan operasi folder.

1. Instal atau update konektor Cloud Storage versi 2.2.23 atau yang lebih baru (tidak termasuk versi 3.0.0).

2. Buat cluster Dataproc menggunakan perintah berikut:

     gcloud dataproc clusters create CLUSTER_NAME
     --properties=core:fs.gs.hierarchical.namespace.folders.enable=true,
     core:fs.gs.http.read-timeout=30000
     

   Dengan keterangan:

   • CLUSTER_NAME adalah nama cluster. Sebagai contoh, my-cluster
   • fs.gs.hierarchical.namespace.folders.enable digunakan untuk mengaktifkan namespace hierarkis pada bucket.

   • fs.gs.http.read-timeout adalah waktu maksimum yang diizinkan, dalam milidetik, untuk membaca data dari koneksi yang dibuat. Ini adalah setelan opsional.

     Catatan: Jika Anda menggunakan konektor Cloud Storage versi 3.0.0 atau versi yang lebih lama dari 2.2.23, setelan konfigurasi fs.gs.hierarchical.namespace.folders.enable tidak didukung dan akan menghasilkan error jika disertakan.

Hadoop yang Dikelola Sendiri

Anda dapat mengaktifkan konektor Cloud Storage di cluster Hadoop yang dikelola sendiri untuk menjalankan operasi folder.

1. Instal atau update konektor Cloud Storage versi 2.2.23 atau yang lebih baru (tidak termasuk versi 3.0.0).

2. Tambahkan kode berikut ke file konfigurasi core-site.xml:

       <property>
         <name>fs.gs.hierarchical.namespace.folders.enable</name>
         <value>true</value>
       </property>
       <property>
         <name>fs.gs.http.read-timeout</name>
         <value>30000</value>
       </property>
     

   Dengan keterangan:

   • fs.gs.hierarchical.namespace.folders.enable digunakan untuk mengaktifkan namespace hierarkis pada bucket

   • fs.gs.http.read-timeout adalah waktu maksimum yang diizinkan, dalam milidetik, untuk membaca data dari koneksi yang dibuat. Ini adalah setelan opsional.

     Catatan: Jika Anda menggunakan konektor Cloud Storage versi 3.0.0 atau versi yang lebih lama dari 2.2.23, setelan konfigurasi fs.gs.hierarchical.namespace.folders.enable tidak didukung dan akan menghasilkan error jika disertakan.

Kompatibilitas dengan konektor Cloud Storage versi 3.0.0 atau versi yang lebih lama dari 2.2.23

Penggunaan konektor Cloud Storage versi 3.0.0 atau versi yang lebih lama dari versi 2.2.23 atau menonaktifkan operasi folder untuk namespace hierarkis dapat menyebabkan batasan berikut:

• Penggantian nama folder yang tidak efisien: Operasi penggantian nama folder di Hadoop terjadi menggunakan operasi salin dan hapus tingkat objek, yang lebih lambat dan lebih jarang lebih efisien daripada operasi rename folder khusus.

• Akumulasi folder kosong: Resource folder tidak dihapus secara otomatis, yang menyebabkan akumulasi folder kosong di dalam bucket Anda. Akumulasi folder kosong dapat mengakibatkan dampak berikut:

  • Meningkatkan biaya penyimpanan jika tidak dihapus secara eksplisit.

  • Memperlambat operasi daftar dan meningkatkan risiko pengoperasian daftar waktu tunggu habis.

    Catatan: Untuk mengurangi risiko waktu tunggu operasi daftar, konfigurasikan nilai waktu tunggu fs.gs.http.read-timeout menjadi 30000 milidetik. Untuk mengonfigurasi setelan waktu tunggu, baca petunjuk untuk Dataproc atau Hadoop yang Dikelola Sendiri, bergantung pada setelan yang Anda gunakan.

• Masalah kompatibilitas: Mencampur penggunaan konektor lama dan baru atau mengaktifkan dan menonaktifkan operasi folder, dapat menyebabkan masalah kompatibilitas, saat mengganti nama folder. Pertimbangkan skenario berikut yang menggunakan kombinasi versi konektor:

  1. Gunakan konektor Cloud Storage versi yang lebih lama dari 2.2.23 untuk lakukan tugas berikut:

     1. Tulis objek di folder foo/.
     2. Ganti nama folder foo/ menjadi bar/. Operasi {i>rename<i} menyalin dan menghapus objek pada foo/, tetapi tidak menghapus foo/ yang kosong folder tersebut.

  2. Gunakan konektor Cloud Storage versi 2.2.23 dengan setelan operasi folder diaktifkan untuk mengganti nama folder bar/ menjadi foo/.

  Konektor versi 2.2.23, dengan operasi folder diaktifkan, mendeteksi folder foo/ yang ada, yang menyebabkan operasi penggantian nama gagal. Versi konektor yang lama tidak menghapus folder foo/ sebagai operasi folder telah dinonaktifkan.

Langkah selanjutnya

• Buat dan kelola bucket dengan namespace hierarkis diaktifkan.
• Membuat dan mengelola folder.

Coba sendiri

Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa Cloud Storage dalam skenario dunia nyata. Pelanggan baru mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.

Coba Cloud Storage gratis