Relokasi bucket

Halaman ini memberikan ringkasan tentang pemindahan bucket, manfaatnya, kasus penggunaan, cara kerjanya, dan batasan.

Ringkasan

Pemindahan bucket Cloud Storage memungkinkan migrasi bucket tanpa server di antara lokasi geografis. Dengan menggunakan pemindahan bucket, Anda dapat melakukan hal berikut:

  • Memindahkan bucket yang ada dari satu lokasi ke lokasi lain tanpa mengubah namanya atau memerlukan transfer data manual data dalam bucket.

  • Tingkatkan performa dan efisiensi biaya dengan menyelaraskan konfigurasi Cloud Storage workload Anda dengan Compute Engine.

Manfaat

Manfaat relokasi bucket adalah sebagai berikut:

  • Migrasi yang disederhanakan: Anda dapat memindahkan bucket dengan overhead operasi minimal. Tidak diperlukan skrip yang rumit atau proses multi-langkah.

  • Operasi berkelanjutan: Aplikasi Anda tetap dapat diakses selama proses pemindahan, tanpa periode nonaktif untuk operasi baca dan periode nonaktif minimal untuk operasi tulis.

  • Peningkatan performa: Penempatan resource Compute Engine dan Cloud Storage di region yang sama dapat mengurangi latensi dan meningkatkan performa.

  • Preservasi metadata: Proses pemindahan bucket mempertahankan metadata objek. Mempertahankan metadata objek akan memastikan kompatibilitas dengan aplikasi dan alur kerja yang ada setelah bucket dipindahkan.

  • Konfigurasi class penyimpanan: Anda dapat mempertahankan setelan class Cloud Storage yang ada, termasuk Autoclass. Mempertahankan class penyimpanan akan memastikan struktur biaya Anda tetap konsisten setelah relokasi.

Mengapa Anda harus menggunakan pemindahan bucket?

Berikut adalah beberapa kasus penggunaan untuk memindahkan bucket:

  • Mengurangi biaya transfer data: Jika data Anda sering diakses dari lokasi yang jauh dari tempat penyimpanannya, Anda dapat memindahkan bucket ke lokasi yang dekat dengan tempat data diakses, sehingga mengurangi biaya transfer data. Misalnya, jika data Anda terutama diakses dari Eropa, tetapi disimpan di Amerika Serikat, Anda dapat memindahkan bucket ke lokasi Eropa untuk mengurangi biaya.

  • Meningkatkan performa: Anda dapat meningkatkan kecepatan dan respons aplikasi dengan memindahkan data lebih dekat ke Compute Engine. Misalnya, jika aplikasi Anda berjalan di us-central1, tetapi data Anda berada di asia-east1, Anda dapat memindahkan bucket ke us-central1 untuk mengurangi latensi.

  • Meningkatkan ketahanan: Anda dapat melindungi data penting dari pemadaman layanan regional. Misalnya, jika data Anda disimpan di satu region, Anda dapat memindahkannya ke lokasi dual- atau multi-regional untuk meningkatkan ketersediaan dan pemulihan dari bencana.

Jenis relokasi

Apakah relokasi bucket melibatkan periode nonaktif operasi tulis bergantung pada lokasi sumber dan tujuan bucket. Untuk mengetahui informasi tentang pengaruh lokasi terhadap jenis relokasi, lihat Menentukan jenis relokasi bucket Anda. Dua jenis relokasi bucket adalah sebagai berikut:

  • Pemindahan bucket dengan periode nonaktif operasi tulis: Dalam pemindahan bucket dengan periode nonaktif operasi tulis, ada periode saat Anda tidak dapat melakukan operasi tulis objek selama proses pemindahan bucket.

  • Pemindahan bucket tanpa periode nonaktif operasi tulis: Dalam pemindahan bucket tanpa periode nonaktif operasi tulis, Anda dapat terus melakukan operasi tulis objek tanpa gangguan saat pemindahan bucket terjadi di latar belakang.

Tabel berikut menjelaskan perbedaan penting antara jenis relokasi dengan dan tanpa periode nonaktif operasi tulis:

Spesifikasi Pemindahan bucket dengan periode nonaktif operasi tulis Pemindahan bucket tanpa periode nonaktif operasi tulis
Ketersediaan tulis Tidak dapat melakukan operasi tulis selama langkah sinkronisasi akhir. Tidak ada gangguan pada operasi tulis.
Keterlibatan pengguna Memerlukan pengguna untuk memulai langkah penyelesaian periode nonaktif operasi tulis. Tidak diperlukan langkah finalisasi eksplisit.
Dampak performa Tidak dapat menulis atau memperbarui objek apa pun dalam bucket selama langkah sinkronisasi akhir. Potensi peningkatan latensi operasi baca dan tulis objek selama relokasi.
Pembatalan pemindahan bucket Lebih cepat daripada pemindahan tanpa downtime operasi tulis. Pembatalan tidak langsung diterapkan. Dapat memerlukan waktu lebih lama karena perlu mengisi ulang objek.
Dukungan fitur Dukungan fitur yang lebih sedikit tersedia daripada pemindahan tanpa periode nonaktif operasi tulis. Pembatasan pada fitur seperti upload multibagian, kebijakan retensi, Firebase, dan appspot. Untuk mengetahui informasi selengkapnya tentang batasan ini, lihat Batasan.

Menentukan jenis pemindahan bucket

Lokasi bucket sumber dan tujuan menentukan jenis relokasi Anda.

Saat memindahkan bucket antar-region, dual-region, atau multi-region, Anda akan mengalami periode nonaktif saat tidak dapat menulis ke bucket. Namun, Anda dapat memindahkan bucket tanpa periode nonaktif dalam kasus berikut:

  • Pindahkan dari multi-region ke dual-region yang dapat dikonfigurasi jika kedua lokasi tersebut memiliki kode multi-region yang sama.

  • Pindahkan antara dual-region yang dapat dikonfigurasi jika kedua lokasi memiliki kode multi-region yang sama.

  • Pindahkan dari region ganda yang dapat dikonfigurasi ke multi-region jika kedua lokasi tersebut memiliki kode multi-region yang sama.

Memahami proses pemindahan bucket

Pemindahan bucket membantu Anda memindahkan data dari bucket sumber ke bucket tujuan. Bucket sumber menyimpan data yang ingin Anda pindahkan dan bucket tujuan adalah tempat Anda ingin memindahkan data.

Diagram berikut menunjukkan alur proses pemindahan bucket.

Alur proses pemindahan bucket.
Gambar 1. Alur proses pemindahan bucket (klik untuk memperbesar).

Langkah-langkah yang diberi nomor mengacu pada angka dalam diagram. Diagram menunjukkan langkah-langkah berikut:

  1. Penautan data inkremental: Langkah penautan data inkremental menyalin data dari bucket sumber ke bucket tujuan. Metadata bucket dikunci untuk menulis guna mencegah perubahan apa pun pada bucket yang dapat memengaruhi proses relokasi. Namun, Anda dapat menulis, memodifikasi, dan menghapus objek di bucket. Faktor yang memengaruhi durasi adalah sebagai berikut:

    • Frekuensi pembaruan, penghapusan, atau penambahan objek dalam bucket secara langsung memengaruhi durasi penyalinan. Tingkat perubahan yang lebih tinggi memerlukan lebih banyak waktu. Ada kecepatan gerakan objek maksimum Rm, objects/second. Dengan total objek N dan kecepatan pembaruan R objects/second, durasi langkah penyalinan dapat diperkirakan sebagai N / (Rm - R) detik.
    • Bucket besar memerlukan lebih banyak waktu relokasi karena bandwidth terbatas.

    • Ukuran setiap objek memengaruhi waktu penyalinan. Objek yang lebih besar dari 10 GB memerlukan waktu lebih lama untuk ditransfer daripada objek yang kurang dari 10 GB karena batasan bandwidth. Misalnya, objek 1 TB memerlukan waktu satu hari untuk disalin. Sebaiknya Anda membagi objek besar menjadi objek yang lebih kecil dengan ukuran 0,1 hingga 1 GB.

    Untuk mengetahui informasi selengkapnya tentang cara memulai penyalinan data inkremental, lihat Memulai langkah penyalinan data inkremental.

  2. Memantau penyalinan data inkremental: Untuk melihat status langkah penyalinan data inkremental, Anda dapat memeriksa daftar operasi yang berjalan lama secara rutin. Untuk mengetahui informasi tentang cara memeriksa status langkah penyalinan data inkremental, lihat Memantau langkah penyalinan data inkremental.

  3. Sinkronisasi akhir: Untuk pemindahan dengan periode nonaktif operasi tulis, setelah penyalinan data inkremental selesai, Anda harus memicu langkah sinkronisasi akhir. Langkah sinkronisasi akhir mencakup periode saat Anda tidak dapat menulis ke bucket untuk memastikan konsistensi data. Langkah sinkronisasi akhir mencakup tindakan berikut:

    1. Bucket dikunci untuk sementara. Akibatnya, Anda tidak dapat menulis atau memperbarui objek apa pun dalam bucket selama waktu ini, sehingga mencegah ketidakkonsistenan data.

    2. Setiap perubahan yang dilakukan pada data objek dalam bucket sejak langkah salinan inkremental disalin ke bucket tujuan, sehingga memastikan bucket yang dipindahkan memiliki data terbaru. Setelah penyalinan objek selesai, perbandingan dilakukan untuk memastikan paritas data antara bucket sumber dan target. Setelah perbandingan data, lokasi bucket akan diperbarui, dan semua permintaan akan dialihkan ke lokasi baru.

    3. Setelah semua data ditransfer, diverifikasi, dan bucket beroperasi di lokasi baru, kunci tulis akan dihapus. Kemudian, Anda dapat melanjutkan penulisan dan pembaruan objek di bucket.

    Untuk informasi tentang cara memulai langkah sinkronisasi akhir, lihat Memulai langkah sinkronisasi akhir.

Batasan

Layanan pemindahan bucket mendukung hingga lima pemindahan serentak dari lokasi yang sama dalam project.

Bagian berikut menjelaskan batasan yang berlaku untuk relokasi dengan periode nonaktif operasi tulis dan tanpa periode nonaktif operasi tulis.

Pemindahan dengan batasan periode nonaktif operasi tulis

Pemindahan dengan periode nonaktif operasi tulis memiliki batasan yang tercantum di bagian berikut.

Batasan penanganan data

Berikut adalah batasan saat menangani data selama relokasi:

  • Kerusakan tabel: Tabel eksternal BigLake dan tabel BigQuery yang menggunakan Apache Iceberg akan rusak dan memerlukan pembuatan ulang manual. Deteksi otomatis tabel yang terpengaruh tidak tersedia.
  • Penanganan objek Autoclass: Autoclass menggunakan pola akses untuk menentukan kapan harus mentransisikan objek ke kelas penyimpanan yang jarang diakses. Selama sinkronisasi akhir proses pemindahan bucket, Autoclass dijeda dan objek tidak ditransisikan ke kelas penyimpanan yang lebih jarang diakses. Setelah sinkronisasi akhir selesai, Autoclass akan dilanjutkan.

    • Objek dalam kelas penyimpanan Standar ditangani sebagai berikut:

      • Objek kelas penyimpanan standar memiliki periode tanpa akses selama 30 hari sebelum dapat ditransisikan ke kelas yang lebih jarang diakses seperti Nearline Storage. Saat objek di kelas penyimpanan Standar dipindahkan selama relokasi, objek tersebut akan diperlakukan seolah-olah telah diakses. Akibatnya, proses relokasi akan mereset periode tanpa akses dan meskipun objek hampir ditransisikan ke Nearline Storage sebelum pemindahan, objek tersebut harus menunggu 30 hari lagi setelah relokasi selesai.
    • Objek dalam kelas penyimpanan non-standar ditangani sebagai berikut:

      • Memindahkan objek di kelas penyimpanan Nearline Storage, Coldline Storage, atau Archive Storage tidak dihitung sebagai mengaksesnya. Akibatnya, periode tanpa akses untuk objek ini tidak terpengaruh.

      • Jika Anda membaca atau menulis objek di bucket kelas penyimpanan non-standar selama relokasi, objek tersebut tidak akan diupgrade secara otomatis ke kelas yang lebih hangat seperti Standard Storage, dan hal ini membantu mencegah transisi kelas penyimpanan yang tidak perlu selama proses relokasi.

      • Jika objek dijadwalkan untuk didowngrade ke kelas penyimpanan yang lebih jarang diakses seperti dari Nearline Storage ke Coldline Storage, proses relokasi tidak akan mengganggu jadwal. Downgrade akan dilanjutkan seperti yang direncanakan setelah relokasi selesai.

  • Batas ukuran objek: Batas 2 TB berlaku untuk ukuran objek untuk relokasi.

Fitur yang tidak didukung

Bucket yang menggunakan fitur berikut tidak dapat dipindahkan:

Batasan operasional

Pemindahan bucket dengan periode nonaktif operasi tulis memiliki batasan operasional berikut:

  • Batasan project: Anda tidak dapat memindahkan bucket di seluruh project.
  • Upload yang dapat dilanjutkan: Upload yang sedang berlangsung dan dapat dilanjutkan harus diselesaikan sebelum langkah sinkronisasi akhir untuk menghindari kehilangan data.
  • Pembaruan metadata: Anda tidak dapat memperbarui metadata bucket selama pemindahan.
  • Peningkatan kapasitas permintaan: Bucket yang dipindahkan tunduk pada panduan peningkatan kapasitas permintaan yang sama seperti bucket yang baru dibuat.

Pemindahan tanpa batasan periode nonaktif operasi tulis

Pemindahan bucket tanpa periode nonaktif operasi tulis memiliki batasan berikut:

  • Upload multibagian: Upload multibagian yang belum selesai tidak didukung dan harus diselesaikan atau dibatalkan sebelum pemindahan. Upload multibagian baru diblokir selama pemindahan.
  • Kebijakan retensi: Semua kebijakan retensi harus dibuka kuncinya sebelum pemindahan.
  • Bucket Firebase dan Appspot: Pemindahan tidak didukung untuk bucket yang terkait dengan Firebase atau Appspot.
  • Pembaruan progres: Pembaruan progres relokasi mungkin tidak linear.

Wilayah yang tidak didukung

Pemindahan bucket tidak tersedia di region me-central1 untuk bucket sumber atau tujuan.

Langkah berikutnya