Spanner to BigQuery 템플릿은 Spanner 테이블에서 데이터를 읽고 데이터를 BigQuery에 쓰는 일괄 파이프라인입니다.
파이프라인 요구사항
- 파이프라인을 실행하기 전에 소스 Spanner 테이블이 있어야 합니다.
- 파이프라인을 실행하기 전에 BigQuery 데이터 세트가 있어야 합니다.
- BigQuery 스키마를 설명하는 JSON 파일입니다.
파일에는 이름이
fields
인 최상위 JSON 배열이 포함되어야 합니다.fields
배열의 콘텐츠에는 다음 패턴이 사용되어야 합니다{"name": "COLUMN_NAME", "type": "DATA_TYPE"}
.다음 JSON은 예시 BigQuery 스키마를 설명합니다.
{ "fields": [ { "name": "location", "type": "STRING" }, { "name": "name", "type": "STRING" }, { "name": "age", "type": "STRING" }, { "name": "color", "type": "STRING" }, { "name": "coffee", "type": "STRING" } ] }
Spanner to BigQuery 일괄 템플릿은 대상 BigQuery 테이블에서
STRUCT
(레코드) 필드로 데이터 가져오기를 지원하지 않습니다.
템플릿 매개변수
필수 매개변수
- spannerInstanceId: 읽을 Spanner 인스턴스입니다.
- spannerDatabaseId: 읽을 Spanner 데이터베이스입니다.
- spannerTableId: 읽을 Spanner 테이블입니다.
- sqlQuery: Spanner 테이블을 읽는 데 사용되는 쿼리입니다.
- outputTableSpec: 출력을 작성할 BigQuery 테이블 위치입니다. 이름은
<project>:<dataset>.<table_name>
형식이어야 합니다. 테이블 스키마가 입력 객체와 일치해야 합니다.
선택적 매개변수
- spannerProjectId: 읽을 Spanner 인스턴스가 있는 프로젝트입니다. 이 매개변수의 기본값은 Dataflow 파이프라인이 실행되는 프로젝트입니다.
- spannerRpcPriority: Spanner 작업 우선순위입니다. [HIGH, MEDIUM, LOW] 중 하나여야 합니다. 기본값은 HIGH입니다.
- bigQuerySchemaPath: BigQuery JSON 스키마의 Cloud Storage 경로입니다.
createDisposition
이 설정되지 않았거나 CREATE_IF_NEEDED로 설정되면 이 매개변수를 지정해야 합니다. (예: gs://your-bucket/your-schema.json). - writeDisposition: BigQuery WriteDisposition입니다. 예를 들면 WRITE_APPEND, WRITE_EMPTY 또는 WRITE_TRUNCATE입니다. 기본값은 WRITE_APPEND입니다.
- createDisposition: BigQuery CreateDisposition입니다. 예를 들면 CREATE_IF_NEEDED, CREATE_NEVER입니다. 기본값은 CREATE_IF_NEEDED입니다.
- useStorageWriteApi: 사용 설정(true로 설정)되면 파이프라인은 BigQuery에 데이터를 쓸 때 Storage Write API를 사용합니다(https://cloud.google.com/blog/products/data-analytics/streaming-data-into-bigquery-using-storage-write-api 참조). 기본값은 false입니다.
- useStorageWriteApiAtLeastOnce: 이 매개변수는 'BigQuery Storage Write API 사용'이 설정된 경우에만 적용됩니다. 사용 설정하면 Storage Write API에 최소 1회의 시맨틱스가 사용되고 그렇지 않은 경우 정확히 한 번의 시맨틱스가 사용됩니다. 기본값은 false입니다.
템플릿 실행
콘솔
- Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다. 템플릿에서 작업 만들기로 이동
- 작업 이름 필드에 고유한 작업 이름을 입력합니다.
- (선택사항): 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전은
us-central1
입니다.Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.
- Dataflow 템플릿 드롭다운 메뉴에서 the Spanner to BigQuery template을 선택합니다.
- 제공된 매개변수 필드에 매개변수 값을 입력합니다.
- 작업 실행을 클릭합니다.
gcloud
셸 또는 터미널에서 템플릿을 실행합니다.
gcloud dataflow flex-template run JOB_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/Cloud_Spanner_to_BigQuery_Flex \ --project=PROJECT_ID \ --region=REGION_NAME \ --parameters \ spannerInstanceId=SPANNER_INSTANCE_ID,\ spannerDatabaseId=SPANNER_DATABASE_ID,\ spannerTableId=SPANNER_TABLE_ID,\ sqlQuery=SQL_QUERY,\ outputTableSpec=OUTPUT_TABLE_SPEC,\
다음을 바꿉니다.
JOB_NAME
: 선택한 고유한 작업 이름VERSION
: 사용할 템플릿 버전다음 값을 사용할 수 있습니다.
latest
: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates-REGION_NAME/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2023-09-12-00_RC00
): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates-REGION_NAME/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
REGION_NAME
: Dataflow 작업을 배포할 리전(예:us-central1
)SPANNER_INSTANCE_ID
: Spanner 인스턴스 IDSPANNER_DATABASE_ID
: Spanner 데이터베이스 IDSPANNER_TABLE_ID
: Spanner 테이블 이름SQL_QUERY
: SQL 쿼리OUTPUT_TABLE_SPEC
: BigQuery 테이블 위치
API
REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch
를 참조하세요.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launchParameter": { "jobName": "JOB_NAME", "parameters": { "spannerInstanceId": "SPANNER_INSTANCE_ID", "spannerDatabaseId": "SPANNER_DATABASE_ID", "spannerTableId": "SPANNER_TABLE_ID", "sqlQuery": "SQL_QUERY", "outputTableSpec": "OUTPUT_TABLE_SPEC", }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/Cloud_Spanner_to_BigQuery_Flex", "environment": { "maxWorkers": "10" } } }
다음을 바꿉니다.
PROJECT_ID
: Dataflow 작업을 실행하려는 Google Cloud 프로젝트 IDJOB_NAME
: 선택한 고유한 작업 이름VERSION
: 사용할 템플릿 버전다음 값을 사용할 수 있습니다.
latest
: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates-REGION_NAME/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2023-09-12-00_RC00
): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates-REGION_NAME/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
LOCATION
: Dataflow 작업을 배포할 리전(예:us-central1
)SPANNER_INSTANCE_ID
: Spanner 인스턴스 IDSPANNER_DATABASE_ID
: Spanner 데이터베이스 IDSPANNER_TABLE_ID
: Spanner 테이블 이름SQL_QUERY
: SQL 쿼리OUTPUT_TABLE_SPEC
: BigQuery 테이블 위치
다음 단계
- Dataflow 템플릿 알아보기
- Google 제공 템플릿 목록 참조