Halaman ini memberikan ringkasan tentang namespace hierarkis, fitur utama, kasus penggunaan umum, manfaat, dan batasan yang perlu dipertimbangkan.
Ringkasan
Namespace hierarkis adalah kemampuan yang ditawarkan oleh Cloud Storage yang memungkinkan Anda mengatur objek ke dalam folder. Dengan namespace hierarkis, Anda dapat menyimpan data dalam struktur sistem file yang logis. Mengatur data dalam struktur sistem file akan meningkatkan performa, memastikan konsistensi, dan menyederhanakan pengelolaan beban kerja yang intensif data dan berorientasi file.
Operasi pengelolaan folder memberikan kemampuan pengelolaan dan keandalan, termasuk membuat, menghapus, mencantumkan, dan mengganti nama folder. Pengaturan objek secara hierarkis akan menyederhanakan pengaturan data dan menyederhanakan tugas pengelolaan data. Folder dalam bucket dengan namespace hierarkis yang diaktifkan dapat berisi objek, folder lain, atau kombinasi keduanya.
Anda harus memilih apakah akan menggunakan namespace hierarkis atau tidak saat membuat bucket; setelan namespace hierarkis bucket tidak dapat diubah setelah bucket dibuat. Untuk mengetahui informasi tentang cara mengaktifkan namespace hierarkis untuk bucket, lihat Membuat dan mengelola bucket dengan namespace hierarkis yang diaktifkan.
Diagram berikut menunjukkan contoh bucket dengan namespace hierarkis yang diaktifkan, tempat objek diatur dalam struktur hierarkis folder.
Fitur utama
Namespace hierarkis menyediakan fitur berikut:
Kueri per detik (QPS) awal yang lebih tinggi: Bucket dengan namespace hierarkis yang diaktifkan menawarkan batas QPS awal hingga 8 kali lebih tinggi untuk membaca dan menulis objek dibandingkan dengan bucket tanpa namespace hierarkis yang diaktifkan. QPS awal yang lebih tinggi mempermudah penskalaan beban kerja yang memerlukan banyak data dan memberikan throughput yang ditingkatkan. Untuk informasi tentang metode pengoptimalan performa saat menggunakan folder di bucket dengan namespace hierarkis yang diaktifkan, lihat Pengelolaan folder.
Folder: Folder berfungsi sebagai penampung untuk objek dan folder lainnya, dengan dukungan untuk operasi seperti membuat, menghapus, dan mendapatkan folder.
Mengganti nama folder: Operasi ganti nama folder membantu Anda mengganti nama jalur folder dan folder pokoknya secara atomik tanpa menghapus objek apa pun. Teknik ini efisien dan menghemat waktu, terutama untuk folder besar dengan beberapa objek.
List folders: Operasi list folders mencantumkan semua folder dalam bucket atau di bawah folder tertentu yang membantu Anda mengelola dan memahami struktur data yang disimpan dalam bucket.
Kapan Anda harus mengaktifkan namespace hierarkis untuk bucket
Sebaiknya aktifkan namespace hierarkis saat menggunakan aplikasi yang mengharapkan hierarki dan semantik seperti sistem file. Namespace hierarkis berguna untuk tugas yang intensif data seperti workload analisis, AI, dan ML. Berikut adalah beberapa skenario umum yang mengharuskan Anda mempertimbangkan penggunaan namespace hierarkis:
Pemrosesan berbasis Hadoop: Workload Hadoop dan Spark secara tradisional mengharapkan struktur penyimpanan seperti sistem file dan penamaan berbasis waktu untuk file dan folder. Namespace hierarkis terintegrasi dengan konektor Cloud Storage untuk memberikan throughput yang ditingkatkan dan penggantian nama folder atomik, sehingga meningkatkan integritas dan konsistensi data untuk banyak pipeline pemrosesan data.
Pemrosesan workload berorientasi file: Workload seperti pemrosesan analisis batch, layanan keuangan, atau komputasi berperforma tinggi disusun menjadi partisi berdasarkan hierarki folder dan file. Namespace hierarkis membantu mengelola lingkungan ini dengan API khusus untuk pengelolaan folder. Selain itu, namespace hierarkis menyederhanakan pengelolaan folder yang berisi folder dan objek lainnya. Dengan satu perintah API, Anda dapat dengan cepat mengganti nama folder beserta semua kontennya, sehingga menghemat waktu dan resource yang berharga.
Pemrosesan AI dan ML: Alat AI dan ML seperti TensorFlow, Pandas, dan PyTorch mengharapkan akses dan semantik seperti sistem file. Namespace hierarkis, terutama jika digabungkan dengan Cloud Storage FUSE, memberikan throughput yang lebih tinggi dan akses data yang efisien. Akibatnya, namespace hierarkis meningkatkan performa dan keandalan iterasi model ML.
Sebelum mengaktifkan namespace hierarkis untuk bucket, Anda harus mempertimbangkan batasan namespace hierarkis. Untuk mengetahui informasi tentang batasan namespace hierarkis, lihat Batasan.
Manfaat namespace hierarkis
Saat mengaktifkan Namespace hierarkis untuk bucket, Anda dapat melakukan hal berikut:
Mengoptimalkan pengaturan: Anda dapat mengatur data ke dalam struktur folder hierarkis, yang membantu Anda mengelola dan menemukan file atau set data.
Membuat ekosistem seperti sistem file: Namespace hierarkis memperkenalkan fitur seperti sistem file seperti folder, penggantian nama folder, dan daftar folder, yang bermanfaat untuk aplikasi berorientasi file, termasuk ekosistem Hadoop dan workload AI dan ML.
Peningkatan performa: Dengan menskalakan beban kerja yang intensif data untuk menangani throughput yang lebih tinggi, Anda dapat meningkatkan performa aplikasi secara keseluruhan.
Dukungan platform
Bucket dengan namespace hierarkis mendukung kemampuan platform Cloud Storage berikut:
Semua API objek Cloud Storage dan fitur Cloud Storage yang digunakan secara luas. Untuk mengetahui detail tentang fitur yang tidak didukung, lihat Batasan.
Transfer data dari bucket standar ke bucket dengan namespace hierarkis menggunakan Storage Transfer Service.
Integrasi dengan produk berikut:
Konektor Cloud Storage, yang dikelola oleh Dataproc untuk workload Hadoop. Untuk mengetahui informasi selengkapnya, lihat Menggunakan bucket yang mengaktifkan namespace hierarkis untuk workload Hadoop
Cloud Storage FUSE untuk akses bucket seperti sistem file menggunakan klien.
Kompatibilitas dengan operasi dan fitur Cloud Storage
Bucket dengan namespace hierarkis yang diaktifkan memiliki interaksi berikut dengan operasi Cloud Storage lainnya:
Operasi objek
Bucket dengan namespace hierarkis yang diaktifkan menangani operasi objek dengan cara berikut:
- Operasi seperti
Upload
,Rewrite
, danCompose
akan otomatis membuat folder induk yang tidak ada, selama Anda memiliki izin yang diperlukan. Akibatnya, Anda tidak perlu membuat folder terlebih dahulu sebelum mengupload objek. - Meskipun folder dapat dibuat secara otomatis selama operasi objek, Anda
harus menghapusnya secara eksplisit menggunakan operasi
DeleteFolder
. - Saat menggunakan operasi
ListObjects
dengan parameterdelimiter
, bucket akan menampilkan setiap folder turunan sebagaiprefix.
. Namun, folder kosong akan dikecualikan secara default. Untuk menyertakan folder kosong, mirip dengan listingan sistem file biasa, Anda harus menetapkan parameterincludeFoldersAsPrefixes
. Untuk mengetahui informasi tentang metode pengoptimalan performa saat mencantumkan objek di bucket dengan namespace hierarkis yang diaktifkan, lihat Mencantumkan objek.
Operasi folder terkelola
Bucket dengan namespace hierarkis yang diaktifkan menangani operasi folder terkelola dengan cara berikut:
- Bucket dengan namespace hierarkis yang diaktifkan menawarkan kontrol akses terperinci melalui folder terkelola. Untuk mengelola akses dalam folder, Anda harus membuat folder terkelola dengan nama yang sama dengan folder, lalu menerapkan kebijakan IAM ke folder tersebut. Folder terkelola tidak dapat ada tanpa folder yang sesuai.
- Membuat folder terkelola akan otomatis membuat folder induk yang hilang, termasuk folder dengan nama yang sama.
- Menghapus folder akan otomatis menghapus folder terkelola terkait.
- Mengganti nama folder akan otomatis mengganti nama folder terkelola terkait.
- Bucket dengan namespace hierarkis harus mengikuti aturan nama folder yang dikelola dan aturan nama folder. Meskipun nama folder dapat disusun bertingkat hingga 50 tingkat, nama folder terkelola hanya dapat disusun bertingkat hingga 15 tingkat. Ukuran nama folder terkelola maksimum dibatasi oleh ukuran nama folder maksimum, yaitu 512 byte saat dienkode UTF-8.
Operasi bucket
Anda dapat menghapus bucket dengan namespace hierarkis yang diaktifkan dengan cara yang sama seperti bucket lainnya. Jika bucket yang diaktifkan dengan namespace hierarkis hanya berisi folder kosong dan tidak ada objek atau folder terkelola, bucket tersebut dapat dihapus.
Object Lifecycle Management
Object Lifecycle Management memungkinkan Anda mengotomatiskan tindakan pada objek berdasarkan kondisi, seperti usia atau awalan. Namun, aturan Pengelolaan Siklus Proses Objek dapat berperilaku berbeda di bucket dengan namespace hierarkis dan di bucket dengan namespace datar
karena operasi RenameFolder
:
Aturan Object Lifecycle Management untuk bucket dengan namespace datar: Operasi penggantian nama melibatkan penggantian nama setiap objek menggunakan alat dengan menyalin setiap objek ke lokasi tujuan dan menghapus objek asli dari lokasi sumber. Akibatnya, objek baru dibuat dengan waktu pembuatan baru di lokasi tujuan. Jika aturan Pengelolaan Siklus Proses Objek berbasis usia diterapkan untuk lokasi tujuan, aturan tersebut tidak akan langsung diterapkan ke objek baru karena waktu pembuatannya direset.
Aturan Pengelolaan Siklus Proses Objek untuk bucket dengan namespace hierarkis yang diaktifkan: Mengganti nama folder beroperasi di tingkat folder, tanpa harus mengganti nama setiap objek. Akibatnya, waktu pembuatan objek akan dipertahankan, yang berarti aturan Object Lifecycle Management berbasis usia akan diterapkan ke objek yang diganti namanya segera jika memenuhi kriteria usia.
Harga
Untuk informasi harga, lihat Harga Cloud Storage.
Batasan
Berikut adalah batasan namespace hierarkis:
Anda harus memilih apakah akan menggunakan namespace hierarkis atau tidak saat membuat bucket; setelan namespace hierarkis bucket tidak dapat diubah setelah bucket dibuat.
Untuk mengaktifkan namespace hierarkis, bucket juga harus mengaktifkan akses level bucket yang seragam.
Kemampuan Cloud Storage berikut tidak didukung untuk bucket yang menggunakan namespace hierarkis:
- Autoclass
- Pembuatan versi objek
- Kunci retensi objek
- Kunci bucket
Langkah selanjutnya
- Membuat dan mengelola bucket dengan namespace hierarkis yang diaktifkan.
- Membuat dan mengelola folder.
- Mengganti nama folder.
- Gunakan namespace hierarkis untuk workload Hadoop.
- Mengoptimalkan performa.
Coba sendiri
Jika Anda baru menggunakan Google Cloud, buat akun untuk mengevaluasi performa Cloud Storage dalam skenario dunia nyata. Pelanggan baru mendapatkan kredit gratis senilai $300 untuk menjalankan, menguji, dan men-deploy workload.
Coba Cloud Storage gratis