Ketersediaan dan ketahanan data

Halaman ini membahas konsep yang terkait dengan ketersediaan dan ketahanan data di Cloud Storage, termasuk cara Cloud Storage menyimpan data secara redundan, perilaku replikasi default untuk dual-region dan multi-region, fitur replikasi turbo untuk dual-region, dan fitur replikasi lintas-bucket.

Konsep utama

  • Cloud Storage dirancang untuk daya tahan tahunan 99,999999999% (11-9-an).

    • Untuk mencapai hal ini, Cloud Storage menggunakan coding penghapusan dan menyimpan potongan data secara redundan di beberapa perangkat yang terletak di beberapa zona ketersediaan.

    • Cloud Storage secara redundan menyimpan objek yang ditulis ke dalamnya setidaknya dalam dua zona ketersediaan yang berbeda sebelum menganggap penulisan berhasil.

    • Checksum disimpan dan divalidasi ulang secara berkala untuk secara proaktif memverifikasi integritas semua data dalam penyimpanan serta mendeteksi kerusakan data dalam pengiriman. Jika diperlukan, koreksi akan otomatis dilakukan menggunakan data redundan.

  • Ketersediaan data bulanan yang disimpan di Cloud Storage bergantung pada kelas penyimpanan data dan jenis lokasi bucket. Untuk informasi selengkapnya, lihat kelas penyimpanan yang tersedia.

  • Objek yang disimpan di bucket dual-region atau multi-region disimpan secara redundan di setidaknya dua tempat geografis yang terpisah.

    • Untuk dual-region, Anda memilih region spesifik tempat objek Anda disimpan.

    • Untuk multi-region, pusat data tertentu yang digunakan untuk menyimpan data Anda ditentukan oleh Cloud Storage sesuai kebutuhan, tetapi berada dalam batas geografis multi-region dan dipisahkan minimal oleh 100 mil. Hal ini memberikan redundansi di seluruh region dengan biaya penyimpanan yang lebih rendah daripada dual-region.

    • Jika terjadi pemadaman layanan di seluruh region, seperti yang disebabkan oleh bencana alam, bucket dual-region dan multi-region akan tetap tersedia, tanpa perlu mengubah jalur penyimpanan.

  • Objek yang disimpan di bucket dual-region dan multi-region biasanya direplikasi di seluruh tempat geografis menggunakan replikasi default.

    • Jika salah satu tempat penyimpanan objek menjadi tidak tersedia setelah objek berhasil diupload, tetapi sebelum direplikasi ke lokasi kedua, konsistensi yang kuat Cloud Storage memastikan bahwa versi lama objek tidak akan ditayangkan dan penimpaan berikutnya tidak dikembalikan saat region tersedia kembali.

    • Objek yang disimpan di dual-region dapat secara opsional menggunakan replikasi turbo untuk mencapai replikasi yang lebih cepat dan lebih dapat diprediksi di seluruh region.

  • Untuk mencapai redundansi antara penyambungan region yang tidak tersedia sebagai dual-region, pertimbangkan untuk membuat bucket terpisah di setiap region dan menggunakan Storage Transfer Service Transfer berbasis peristiwa atau replikasi lintas bucket agar bucket tetap sinkron.

Redundansi di seluruh region

Meskipun model penyimpanan tradisional sering kali mengandalkan pendekatan aktif-pasif dengan lokasi geografis "primer" dan "sekunder", Cloud Storage menyediakan arsitektur aktif-aktif berdasarkan satu bucket dengan redundansi di seluruh region. Tindakan ini menyederhanakan proses pemulihan bencana dengan meniadakan kebutuhan bagi pengguna untuk mereplikasi data dari satu bucket ke bucket lain atau melakukan failover secara manual ke bucket sekunder jika terjadi periode nonaktif region utama.

Cloud Storage selalu memahami status bucket saat ini dan menyalurkan objek secara transparan dari region yang tersedia sesuai kebutuhan. Akibatnya, bucket dual-region dan multi-region dirancang agar memiliki batas waktu pemulihan (RTO) nol, dan kegagalan regional sementara biasanya tidak terlihat oleh pengguna; Jika terjadi pemadaman layanan regional, bucket dual-region dan multi-region akan otomatis terus menyalurkan semua data yang telah direplikasi ke berbagai region.

Namun, redundansi di seluruh region terjadi secara asinkron, dan setiap data yang tidak selesai direplikasi di berbagai region sebelum region menjadi tidak tersedia tidak dapat diakses hingga region yang dihapus kembali online. Data berpotensi hilang dalam kasus yang sangat jarang terjadi jika terjadi penghancuran fisik di wilayah tersebut.

Replikasi default di Cloud Storage dirancang untuk menyediakan redundansi di seluruh region untuk 99,9% objek yang baru ditulis dalam target satu jam dan 100% objek yang baru ditulis dalam target 12 jam. Objek yang baru ditulis mencakup upload, penulisan ulang, salinan, dan komposisi.

Replikasi Turbo

Replikasi turbo menyediakan redundansi yang lebih cepat di seluruh region untuk data dalam bucket dual-region, yang mengurangi risiko eksposur kehilangan data dan membantu mendukung layanan tanpa gangguan setelah pemadaman layanan regional Jika diaktifkan, replikasi turbo dirancang untuk mereplikasi 100% objek yang baru ditulis ke dua region yang membentuk dual-region dalam tujuan titik pemulihan 15 menit, terlepas dari ukuran objek.

Perlu diperhatikan bahwa bahkan untuk replikasi default, sebagian besar objek menyelesaikan replikasi dalam beberapa menit.

Meskipun redundansi di seluruh region dan replikasi turbo membantu mendukung upaya kelangsungan bisnis dan pemulihan dari bencana (BCDR), administrator harus merencanakan dan menerapkan arsitektur BCDR lengkap yang sesuai untuk beban kerja mereka.

Untuk mengetahui informasi selengkapnya, lihat Panduan langkah demi langkah untuk mendesain pemulihan dari bencana untuk aplikasi di Google Cloud.

Batasan

  • Replikasi Turbo hanya tersedia untuk bucket di dual-region.

  • Replikasi Turbo tidak dapat dikelola melalui XML API, termasuk membuat bucket baru dengan replikasi turbo yang diaktifkan.

  • Jika replikasi turbo diaktifkan pada bucket, diperlukan waktu hingga 10 detik sebelum mulai diterapkan ke objek yang baru ditulis.

  • Penulisan objek yang dimulai sebelum mengaktifkan replikasi turbo pada bucket mereplikasi di seluruh region pada tingkat replikasi default.

    • Komposisi objek yang menggunakan objek sumber apa pun yang ditulis menggunakan replikasi default dalam 12 jam terakhir akan membuat objek gabungan yang juga menggunakan replikasi default.

Replikasi lintas bucket

Dalam beberapa kasus, Anda mungkin ingin mempertahankan salinan data di bucket kedua. Replikasi lintas bucket menyalin objek baru dan yang diperbarui secara asinkron dari bucket sumber ke bucket tujuan.

Replikasi lintas bucket berbeda dengan replikasi default dan replikasi turbo karena data Anda ada di dua bucket, masing-masing dengan konfigurasinya sendiri seperti lokasi penyimpanan, enkripsi, akses, dan class penyimpanan. Oleh karena itu, layanan ini menawarkan pemulihan dan ketersediaan data, tetapi juga cocok untuk:

  • Kedaulatan data: Mengelola data di seluruh wilayah yang berjauhan secara geografis.
  • Memelihara versi pengembangan dan produksi yang terpisah: Buat bucket dan namespace yang berbeda, sehingga pengembangan tidak memengaruhi beban kerja produksi Anda.
  • Membagikan data: Mereplikasi data ke bucket yang dimiliki oleh vendor atau partner.
  • Agregasi Data: Menggabungkan data dari berbagai bucket ke dalam satu bucket untuk menjalankan beban kerja analisis.
  • Mengelola biaya, keamanan, dan kepatuhan: Mengelola data Anda berdasarkan kepemilikan, kelas penyimpanan, dan periode retensi yang berbeda.

Replikasi lintas bucket menggunakan Storage Transfer Service untuk mereplikasi objek dan Pub/Sub untuk mendapatkan pemberitahuan tentang perubahan pada bucket sumber dan tujuan. Replikasi lintas bucket dapat diaktifkan di bucket baru yang Anda buat dan di bucket yang ada. Sebagian besar objek dapat direplikasi dalam hitungan menit, sedangkan objek yang lebih besar dari satu GiB dapat memerlukan waktu beberapa jam.

Untuk mengetahui petunjuk cara menggunakan replikasi lintas bucket, lihat Menggunakan replikasi lintas bucket.

Batasan

  • Penghapusan objek di bucket sumber tidak direplikasi ke bucket tujuan.

  • Konfigurasi siklus proses objek tidak direplikasi.

  • Saat objek direplikasi, metadata stempel waktu (misalnya, timeCreated dan timeUpdated) tidak dipertahankan. Lihat Transfer antar-bucket Cloud Storage untuk mengetahui detail tentang pelestarian metadata.

Pemantauan Performa

Cloud Storage memantau objek terlama yang belum direplikasi. Jika objek tetap tidak direplikasi lebih lama dari waktu RPO (Toleransi Jumlah Data yang Hilang), objek tersebut dianggap berada di luar RPO. Setiap menit saat satu atau beberapa objek berada di luar RPO dihitung sebagai menit "buruk".

Misalnya, jika satu objek menghasilkan 20 menit buruk dari pukul 09.00-09.20, dan objek lain menghasilkan 10 menit buruk dari pukul 09.15-09.25, berarti ada dua objek untuk bulan tersebut yang tidak memenuhi RPO. Jumlah total menit buruk untuk bulan ini adalah 25 menit, karena dari pukul 09.00 hingga 09.25 ada setidaknya satu objek yang tidak memiliki RPO.

  • Untuk bucket yang menggunakan replikasi turbo, RPO untuk objek adalah 15 menit.

  • Untuk bucket yang menggunakan replikasi default, RPO untuk objek adalah 12 jam.

    • Untuk bucket yang menggunakan replikasi default, objek biasanya direplikasi dalam satu jam atau kurang.

  • Replikasi lintas bucket tidak memberikan RPO.

Dalam konsol Google Cloud, grafik Persentase menit di luar RPO memungkinkan Anda memantau persentase menit buruk selama 30 hari terakhir untuk bucket Anda. Indikator tingkat layanan ini dapat digunakan untuk memantau Kepatuhan Waktu Replikasi Bulanan bucket Anda. Demikian pula, Persentase objek di luar target melacak replikasi objek yang tidak terjadi dalam RPO. Indikator tingkat layanan ini dapat digunakan untuk memantau Kesesuaian Volume Replikasi Bulanan bucket. Untuk informasi selengkapnya, lihat Pemantauan Cloud Storage dan SLA Cloud Storage.

Langkah selanjutnya