Google Cloud에서는 Dataflow 작업을 만드는 데 사용할 수 있는 오픈소스 Dataflow 템플릿을 제공합니다. 이러한 작업은 Google Cloud 콘솔, Google Cloud CLI 또는 REST API 호출을 사용하는 일반적인 사용 사례를 위해 사전 빌드된 Docker 이미지를 기반으로 합니다. 이 페이지에는 사용 가능한 Spanner 관련 Dataflow 템플릿이 나와 있습니다.
일괄 처리 템플릿
데이터를 일괄 처리하려면 다음 템플릿을 사용합니다.
- 모든 소스 데이터베이스 - Spanner
- Cloud Storage Avro to Spanner
- Cloud Storage Text to Spanner
- Spanner to BigQuery
- Spanner to Cloud Storage Avro
- Spanner to Cloud Storage Text
- Spanner to Vertex AI Vector Search files on Cloud Storage
이러한 템플릿 사용에 관한 자세한 내용은 Dataflow를 사용하여 데이터 가져오기, 내보내기, 수정을 참고하세요.
스트리밍 템플릿
다음 템플릿을 사용하여 데이터를 지속적으로 처리하세요.
- Datastream to Spanner
- 모든 소스 데이터베이스에 대한 Spanner 변경 내역
- BigQuery에 대한 Spanner 변경 내역
- Cloud Storage에 대한 Spanner 변경 내역
- Pub/Sub에 대한 Spanner 변경 내역
이러한 템플릿 사용에 관한 자세한 내용은 Dataflow를 사용하여 변경 내역 연결 빌드를 참고하세요.