Pub/Sub Seek を使用すると、確認済みのメッセージを再生して再処理することや、メッセージをまとめて確認することが可能になります。しかし、稼働中の Dataflow パイプラインから Pub/Sub Seek に直接アクセスすることはおすすめしません。直接アクセスは Dataflow のウォーターマーク ロジックを無効にするため、1 回限りの処理ではうまく機能しません。さらに直接アクセスは、処理済みデータを組み込んだパイプラインの状態と競合します。
次のワークフローで Cloud Pub/Sub Seek を使用することをおすすめします。
- サブスクリプションのスナップショットを作成します。
- Dataflow 内のサブスクリプション メッセージをドレインします。
- パイプラインを再送信します。
スナップショットの作成
あるサブスクリプション スナップショットまでシークして処理をやり直します。gcloud コマンドライン ツールを使用してこのスナップショットを作成するには、次のコマンドを実行します。
alias pubsub='gcloud pubsub' pubsub snapshots create my-snapshot --subscription=seek-demo-sub
スナップショットが作成されたことを確認するには、次のコマンドを実行します。
pubsub snapshots list
サブスクリプションをドレインする
サブスクリプションをドレインしてパイプラインを再送信する手順は、次のとおりです。
- Dataflow コンソールに移動してストリーミング パイプラインをクリックします。
- [概要] ペインで、[ジョブを中止] をクリックします。
- [ドレイン] を選択して処理中のメッセージを処理できるようにし、ジョブが終了するまで待ちます。
gcloudコマンドライン ツールを使用して、スナップショットまでサブスクリプションをシークします。pubsub subscriptions seek seek-demo-sub --snapshot=my-snapshot
- Dataflow パイプラインを再送信します。