Jika Anda memublikasikan pesan ke endpoint Pub/Sub global, Pub/Sub akan otomatis menyimpan pesan di region Google Cloud terdekat. Jika ingin mengontrol region tempat pesan disimpan dan diproses, Anda dapat mengonfigurasi kebijakan penyimpanan pesan di topik.
Ringkasan kebijakan penyimpanan pesan
Anda dapat menetapkan kebijakan penyimpanan pesan saat membuat topik baru atau saat memperbarui topik menggunakan konsol, Google Cloud CLI, atau REST API.
Kebijakan penyimpanan pesan hanya berlaku untuk konten pesan. Kebijakan ini tidak berlaku untuk data lain seperti nama topik, label, atau setelan Identity and Access Management (IAM).
Pub/Sub menyimpan pesan saat klien memublikasikan pesan ke Pub/Sub. Kebijakan penyimpanan pesan memastikan bahwa Pub/Sub menyimpan dan memproses pesan hanya di kumpulan region Google Cloud yang Anda tentukan, terlepas dari tempat asal permintaan publikasikan atau langganan. Jika kebijakan mengizinkan beberapa region untuk operasi publikasi, Pub/Sub akan menyimpan pesan di region yang diizinkan dan terdekat dengan tempat pesan yang dipublikasikan memasuki jaringan Google Cloud.
Saat menentukan kebijakan penyimpanan pesan, Anda dapat menetapkan
enforceInTransit
ke True
. Flag ini mengatur hal berikut:
Permintaan publikasi, pull, dan streaming yang diterima di wilayah yang tidak diizinkan dalam kebijakan penyimpanan pesan akan ditolak dengan error
FAILED_PRECONDITION
.Pengiriman untuk langganan push hanya ditangani dalam region Cloud yang diizinkan. Dalam beberapa kasus, pembatasan ini dapat sepenuhnya menjeda pengiriman pesan untuk langganan push. Saat langganan push memasuki status tersebut karena lokasi push terlalu dibatasi oleh kombinasi faktor seperti lokasi penyimpanan pesan, region yang diizinkan, dan lokasi resource ekspor, status ini akan terlihat di Stackdriver.
Kebijakan penyimpanan pesan untuk topik baru
Jika Anda tidak menentukan kebijakan penyimpanan pesan saat membuat topik, kebijakan penyimpanan pesan akan otomatis ditentukan berdasarkan kebijakan organisasi Pembatasan Lokasi Resource yang berlaku. Jika tidak ada kebijakan organisasi yang berlaku, kebijakan penyimpanan pesan akan mengizinkan semua region.
Demikian pula, jika tidak ada kebijakan penyimpanan pesan yang ditentukan, tanda
enforceInTransit
ditentukan berdasarkan kebijakan organisasi Terapkan region dalam pengiriman untuk pesan Pub/Sub yang efektif. Untuk mengetahui informasi selengkapnya tentang kebijakan organisasi ini, lihat Batasan kebijakan organisasi.Jika Anda menentukan kebijakan penyimpanan pesan saat membuat topik, kebijakan penyimpanan pesan hanya dapat berisi region yang diizinkan oleh kebijakan organisasi Pembatasan Lokasi Resource yang efektif. Jika tidak ada kebijakan organisasi yang berlaku, kebijakan penyimpanan pesan dapat berisi region mana pun.
Kebijakan penyimpanan pesan untuk topik yang ada
Saat kebijakan organisasi diperbarui, perubahan tidak otomatis disebarkan ke topik yang ada. Dengan demikian, kebijakan penyimpanan pesan topik yang ada dapat tidak sinkron dengan kebijakan organisasi terbaru. Untuk mengetahui informasi selengkapnya, lihat Mengelola perbedaan antara kebijakan organisasi dan topik.
Saat kebijakan penyimpanan pesan topik diperbarui, perubahan tidak diterapkan ke pesan yang telah dipublikasikan. Pesan yang sudah disimpan berdasarkan kebijakan lama tidak dipindahkan agar konsisten dengan kebijakan baru. Sebaliknya, perubahan hanya berlaku untuk pesan yang dipublikasikan setelah update.
Pengecualian
Kebijakan ini menentukan daftar nama region Google Cloud yang diizinkan. Oleh karena itu, item berikut tidak didukung:
- Daftar pengecualian
- Zona atau lokasi multi-region
Jika Anda memublikasikan pesan dengan kunci pengurutan dan kebijakan penyimpanan pesan mengecualikan region terdekat, layanan Pub/Sub akan menampilkan error.
Mengonfigurasi kebijakan penyimpanan pesan
Ada dua cara untuk mengonfigurasi kebijakan penyimpanan pesan untuk topik, termasuk:
- Menetapkan kebijakan penyimpanan pesan menggunakan kebijakan organisasi.
- Konfigurasikan kebijakan penyimpanan pesan saat membuat topik.
Menetapkan kebijakan penyimpanan pesan menggunakan kebijakan organisasi
Konsol
Untuk mengonfigurasi kebijakan penyimpanan pesan yang berlaku untuk beberapa topik, tetapkan kebijakan organisasi Pembatasan Lokasi Resource.
Buka halaman Organization policies di konsol Identity and Access Management.
Pilih node hierarki resource (organisasi, folder, atau project) tempat Anda ingin menetapkan kebijakan organisasi.
Di filter, masukkan Resource Location Restriction.
Klik Google Cloud - Resource Location Restriction.
Klik EDIT.
Tambahkan atau hapus wilayah sesuai kebutuhan.
Setiap topik baru yang Anda buat akan mewarisi setelan ini. Perubahan tidak otomatis diterapkan ke topik yang ada. Untuk memperbarui topik yang ada, Anda harus menjalankan operasi pembaruan.
Untuk informasi selengkapnya tentang kebijakan organisasi, lihat Mengelola resource Google Cloud Anda.
Mengonfigurasi kebijakan penyimpanan pesan saat membuat topik
Konsol
Saat menggunakan konsol Google Cloud, Anda tidak dapat mengonfigurasi kebijakan penyimpanan pesan saat membuat topik. Sebagai gantinya, semua topik baru akan otomatis mewarisi kebijakan organisasi Pembatasan Lokasi Resource Anda.
Namun, setelah membuat topik, Anda dapat mengubah kebijakan penyimpanan pesannya di konsol dengan operasi pembaruan.
gcloud CLI
Untuk membuat topik dengan kebijakan penyimpanan pesan tertentu, gunakan perintah gcloud pubsub topics create
dengan flag --message-storage-policy-allowed-regions
:
gcloud pubsub topics create TOPIC_ID \ --message-storage-policy-allowed-regions=REGION1,REGION2
Ganti kode berikut:
TOPIC_ID
: ID atau nama untuk topik baru Anda.REGION1, REGION2
: daftar region Google Cloud yang didukung yang dipisahkan koma.
REST
Untuk membuat topik dengan kebijakan penyimpanan pesan, gunakan metode
projects.topics.create
.
Permintaan harus diautentikasi dengan token akses di header
Authorization
. Untuk mendapatkan token akses untuk Kredensial Default Aplikasi saat ini: gcloud auth application-default print-access-token
.
POST https://pubsub.googleapis.com/v1/projects/PROJECT_ID/topics/TOPIC_ID
Authorization: Bearer $(gcloud auth application-default print-access-token)
Content-Type: application/json --data @response-body.json
Tentukan kolom berikut dalam isi permintaan:
{
"name": "projects/PROJECT_ID/topics/TOPIC_ID",
"messageStoragePolicy": {
"allowedPersistenceRegions": ["REGION"],
"enforceInTransit": true
}
}
Dengan keterangan:
PROJECT_ID adalah project ID Anda.
TOPIC_ID adalah topic ID Anda.
REGION adalah region yang Anda tentukan.
Contoh respons:
{
"name": "projects/PROJECT_ID/topics/TOPIC_ID",
"messageStoragePolicy": {
"allowedPersistenceRegions": [
"REGION"
],
"enforceInTransit": true
}
}
Lihat referensi API berikut untuk mengetahui informasi selengkapnya tentang cara mengonfigurasi kebijakan penyimpanan pesan.
Memperbarui kebijakan penyimpanan pesan
Konsol
Di konsol Google Cloud, buka halaman Detail topik.
Pilih topik yang akan diperbarui.
Anda dapat memilih beberapa topik.
Di Panel Info, pilih tab Storage Policy.
Panel ini mungkin diciutkan secara default. Jika diciutkan, klik Tampilkan panel info.
Pilih atau batalkan pilihan sebanyak mungkin wilayah yang diperlukan.
Klik Perbarui.
gcloud CLI
Untuk menerapkan kebijakan penyimpanan pesan yang ditentukan dalam kebijakan Pembatasan Lokasi Resource organisasi Anda ke topik, jalankan perintah gcloud pubsub topics update
berikut:
gcloud pubsub topics update TOPIC_ID \ --recompute-message-storage-policy
Untuk memperbarui kebijakan penyimpanan pesan topik dengan region tertentu, jalankan perintah gcloud pubsub topics update
dengan flag --message-storage-policy-allowed-regions
:
gcloud pubsub topics update TOPIC_ID \ --message-storage-policy-allowed-regions=REGION1,REGION2
Ganti kode berikut:
TOPIC_ID
: ID topik yang Anda perbarui.REGION1, REGION2
: daftar region Google Cloud yang didukung yang dipisahkan koma.
REST
Untuk memperbarui topik dengan kebijakan penyimpanan pesan, gunakan
metode
projects.topics.patch
.
Permintaan harus diautentikasi dengan token akses di header
Authorization
. Untuk mendapatkan token akses untuk Kredensial Default Aplikasi saat ini: gcloud auth application-default print-access-token
.
PATCH https://pubsub.googleapis.com/v1/projects/PROJECT_ID/topics/TOPIC_ID
Authorization: Bearer $(gcloud auth application-default print-access-token)
Content-Type: application/json --data @response-body.json
Tentukan kolom berikut dalam isi permintaan:
{
"name": "projects/PROJECT_ID/topics/TOPIC_ID",
"messageStoragePolicy": {
"allowedPersistenceRegions": ["REGION"], // Replace with your required region
"enforceInTransit": true
}
}
Dengan keterangan:
PROJECT_ID adalah project ID Anda.
TOPIC_ID adalah topic ID Anda.
REGION adalah region yang Anda tentukan.
Contoh respons:
{
"name": "projects/PROJECT_ID/topics/TOPIC_ID",
"messageStoragePolicy": {
"allowedPersistenceRegions": [
"REGION"
],
"enforceInTransit": true
}
}
Lihat referensi API berikut untuk mengetahui informasi selengkapnya tentang cara memperbarui kebijakan penyimpanan pesan.
Mengelola perbedaan antara kebijakan organisasi dan topik
Melihat perbedaan antara kebijakan organisasi dan topik
Konsol
Konsol Google Cloud menampilkan perbedaan antara kebijakan organisasi dan kebijakan penyimpanan pesan setiap topik.
Untuk melihat apakah ada topik yang tidak sinkron dengan kebijakan organisasi Anda:
Buka halaman Detail topik.
Pilih topik.
Di Panel Info, pilih tab Storage Policy.
Panel ini mungkin diciutkan secara default. Jika diciutkan, klik Tampilkan panel info.
Kebijakan penyimpanan Anda ditampilkan di panel, beserta perbedaan antara kebijakan organisasi dan topik.
gcloud CLI
Untuk memeriksa kebijakan saat ini yang ditetapkan ke topik, jalankan perintah berikut:
gcloud pubsub topics describe TOPIC_ID
Ganti kode berikut:
TOPIC_ID
: ID topik yang Anda pelajari.
Menyelesaikan perbedaan antara kebijakan organisasi dan topik
Konsol
Di konsol Google Cloud, buka halaman Detail topik.
Pilih topik.
Di Panel Info, pilih tab Storage Policy.
Panel ini mungkin diciutkan secara default. Jika diciutkan, klik Tampilkan panel info.
Kebijakan penyimpanan Anda ditampilkan di panel, beserta perbedaan apa pun.
Jika ada perbedaan, panel info akan menampilkan tiga opsi untuk menyinkronkan kebijakan penyimpanan topik dengan kebijakan organisasi Anda, termasuk:
Topik mengizinkan penyimpanan di lokasi yang tidak diizinkan.
Perbarui untuk mengizinkan penyimpanan hanya di tempat yang diizinkan oleh kebijakan Anda.
Topik tidak mengizinkan penyimpanan di beberapa lokasi yang diizinkan.
Perbarui untuk mengizinkan penyimpanan di semua tempat yang diizinkan oleh kebijakan Anda.
Topik sudah tidak berlaku untuk lokasi yang diizinkan dan dilarang.
Perbarui untuk mengizinkan penyimpanan di tempat yang diizinkan oleh kebijakan Anda.
Pilih pilihan yang sesuai untuk menyelesaikan masalah Anda.
Klik Perbarui topik.
Dialog Sinkronkan ke kebijakan penyimpanan organisasi akan terbuka.
Klik Perbarui topik.
Memantau dan memecahkan masalah
Untuk membantu Anda memahami tempat data pesan disimpan, Pub/Sub menawarkan metrik yang dikelompokkan menurut setiap region Google Cloud.
Anda dapat menggunakan metrik ini untuk:
- Memahami cara data Anda didistribusikan di seluruh dunia.
- Optimalkan lokasi deployment penayang dan pelanggan, berdasarkan data tersebut.
Metrik penyimpanan pesan
Jumlah pesan tersimpan yang tidak dikonfirmasi:
subscription/num_unacked_messages_by_region
Volume data yang disimpan:
subscription/unacked_bytes_by_region
Usia pesan terlama:
subscription/oldest_unacked_message_age_by_region
Metrik analog tersedia untuk topik dan snapshot. Selain itu, metrik yang sesuai tersedia untuk pesan yang dikonfirmasi yang dapat dipertahankan secara opsional untuk diputar ulang. Contoh:
subscription/num_retained_acked_messages_by_region
Implikasi performa dan ketersediaan
Kebijakan penyimpanan pesan tidak memengaruhi SLA secara keseluruhan, tetapi menyebabkan kompromi kontrol ketersediaan saat penayang atau pelanggan berjalan di luar Google Cloud atau di wilayah yang tidak diizinkan oleh kebijakan. Pengguna yang menjalankan klien penayang dalam kumpulan wilayah yang diizinkan oleh kebijakan penyimpanan pesan tidak akan melihat perubahan apa pun pada latensi atau ketersediaan layanan.
Untuk memahami konsekuensi ini, sebaiknya pertimbangkan cara permintaan publikasi dirutekan. Secara umum, Pub/Sub mencoba menyimpan pesan Anda sesegera mungkin ke sumber permintaan. Permintaan yang berasal dari dalam Google Cloud, sebagai aturan, terikat dengan instance Pub/Sub di region yang sama. Jika penayang berada di satu region, hanya menambahkan lebih banyak region ke kebijakan penyimpanan pesan tidak akan meningkatkan ketersediaan. Saat memublikasikan dari luar Google Cloud, lapisan pemilihan rute tambahan diperlukan untuk mengarahkan permintaan ke region Google Cloud terdekat tempat layanan Pub/Sub tersedia.
Pertimbangkan kebijakan penyimpanan pesan yang hanya mengizinkan region us-central1
.
- Klien penayang yang berjalan di
us-east1
mengeluarkan permintaanPublish
. - Permintaan dirutekan ke server Pub/Sub di
us-east1
. - Daripada menyimpan data di
us-east1
, permintaan akan dirutekan ke region terdekat yang diizinkan oleh kebijakan penyimpanan pesan, yaituus-central1
. - Pub/Sub menyimpan pesan yang dipublikasikan di
us-central1
dan meneruskan pesan ke pelanggan dari lokasi tersebut.
Mekanisme ini memiliki implikasi pada latensi permintaan dan ketersediaan sistem secara keseluruhan. Karena permintaan melintasi lebih banyak link jaringan, permintaan ini memerlukan waktu lebih lama untuk diselesaikan dan memiliki peluang kegagalan yang relatif lebih tinggi.Hal ini juga berarti bahwa pelanggan mungkin melihat pesan agak terlambat karena pesan harus ditransmisikan ke region terdekat yang diizinkan sebelum dikirim. Jika kebijakan mengizinkan satu wilayah, tetapi aplikasi penayang Anda berjalan di beberapa wilayah, aplikasi yang didistribusikan hanya akan tersedia di satu wilayah yang diizinkan.
Langkah selanjutnya
- Lihat Ringkasan Pub/Sub API untuk mengetahui informasi tentang cara menggunakan endpoint global atau lokasi.