Pub/Sub の 31 日間の保持期間をご活用ください
Google Cloud Japan Team
※この投稿は米国時間 2021 年 12 月 10 日に、Google Cloud blog に投稿されたものの抄訳です。
Pub/Sub は規模の大小を問わず、メッセージを確実に保存します。ログエントリまたはイベントを公開しますが、その処理がいつ行われているか、気にする必要はありません。サブスクライバー、イベント ハンドラ、コンシューマの対応が追いつかない場合、Google は準備ができるまでメッセージを保持します。バグが統合テストですでに発生していても心配いりません。戻ってもう一度ご覧ください。
ただし、コードを修正し、すべてを処理できるまで、今まで最大 1 週間を要していたことが、若干の懸念事項です。検索インデックスなどの集約状態を計算するために過去のデータを使用したい場合、独立したストレージ システムを使用しなければなりませんでした。実際、多くのユーザーが GCS や BigQuery などで、すべてのメッセージの生コピーを保存していました。これは信頼性が高く、コストも抑えられますが、実際に古いデータを確認する必要がある場合、再処理のセットアップが別に必要となります。
本日より、Pub/Sub がトピック内のメッセージを最大 31 日間保持できるようになりました。これで、サブスクライバーのデバッグにかけられる時間が長くなります。さらに、ストリーミング アプリケーションをバックテストする期間を長くとることや、イベントログから状態を計算するアプリケーションで、状態を初期化することもできます。
この機能の使用方法は簡単です。インターフェースと料金は変わりません。トピックのメッセージ保持期間の値を大きく設定するだけです。たとえば、次のように gCloud CLI を使用して、既存のトピックの拡張期間を構成します。
または Cloud Console の [トピックの詳細] ページにある設定を使用します。
この機能の 1 つの制限として、7 日間を超える個々のサブスクリプションについて、ストレージの保持を拡張できないことがあります。これにより、個々のサブスクリプション オーナーのストレージの上限を制限します。この制限により、ストレージ コストの管理がよりシンプルになるというメリットがもたらされ、複数のアプリケーションにまたがる古いデータへのアクセスが制限されます。
この機能をぜひお試しいただき、お客様のニーズを満たしていない点をお知らせください。pubsub-discuss メーリング リストにご意見を投稿されるか、バグを作成してお知らせください。
- Google Cloud Pub/Sub プロダクト マネージャー Kir Titievsky
- プロダクト マネージャー Patrick Dunn
