Google Cloud には、Dataflow ジョブの作成に使用できるオープンソースの Dataflow テンプレートが用意されています。これらのジョブは、Google Cloud コンソール、Google Cloud CLI、または REST API 呼び出しを使用して、一般的なユースケース用に事前に構築された Docker イメージに基づいています。このページでは、利用可能な Spanner 関連の Dataflow テンプレートの一覧を示します。
バッチ テンプレート
データを一括で処理するには、次のテンプレートを使用します。
- 任意のソース データベースから Spanner
- Cloud Storage Avro to Spanner
- Cloud Storage Text to Spanner
- Spanner to BigQuery
- Spanner to Cloud Storage Avro
- Spanner to Cloud Storage Text
- Spanner to Vertex AI Vector Search files on Cloud Storage
これらのテンプレートの使用方法については、Dataflow を使用したデータのインポート、エクスポート、変更をご覧ください。
ストリーミング テンプレート
データを継続的に処理するには、次のテンプレートを使用します。
- Datastream to Spanner
- 任意のソース データベースへの Spanner 変更ストリーム
- Spanner change streams to BigQuery
- Spanner change streams to Cloud Storage
- Spanner change streams to Pub/Sub
これらのテンプレートの使用について詳しくは、Dataflow を使用して変更ストリーム接続を構築するをご覧ください。