BigQuery to Bigtable 템플릿은 BigQuery 테이블의 데이터를 기존 Bigtable 테이블로 복사하는 일괄 파이프라인입니다. 이 템플릿에서는 전체 테이블을 읽거나 제공된 쿼리를 사용하여 특정 레코드를 읽을 수 있습니다.
파이프라인 요구사항
- 소스 BigQuery 테이블이 있어야 합니다.
- Bigtable 테이블이 있어야 합니다.
- 작업자 서비스 계정에
roles/bigquery.datasets.create
권한이 필요합니다. 자세한 내용은 IAM 소개를 참조하세요.
템플릿 매개변수
필수 매개변수
- readIdColumn: 행의 고유 식별자를 저장하는 BigQuery 열의 이름입니다.
- bigtableWriteInstanceId: 테이블이 있는 Cloud Bigtable 인스턴스의 ID입니다.
- bigtableWriteTableId: 작성할 Cloud Bigtable 테이블의 ID입니다.
- bigtableWriteColumnFamily: 데이터를 작성할 column family를 지정합니다.
선택적 매개변수
- inputTableSpec: BigQuery 소스 테이블 사양입니다(예: bigquery-project:dataset.input_table).
- outputDeadletterTable: 어떤 이유(예: 스키마 불일치, 잘못된 형식의 json)에서든 출력 테이블에 도달하지 못한 메시지가 이 테이블에 작성됩니다. 존재하지 않으면 파이프라인 실행 중에 생성됩니다. (예: your-project-id:your-dataset.your-table-name)
- query: 데이터를 추출하기 위해 소스에서 실행될 쿼리입니다. (예: sampledb.sample_table에서 * 선택).
- useLegacySql: legacy SQL을 사용하려면 true로 설정합니다(쿼리를 제공하는 경우에만 해당). 기본값은 false입니다.
- queryLocation: 기본 테이블 권한 없이 승인된 뷰에서 읽을 때 필요합니다. (예: US)
- bigtableRpcAttemptTimeoutMs: RPC 시도의 제한 시간을 밀리초 단위로 설정합니다.
- bigtableRpcTimeoutMs: RPC 작업의 총 제한 시간을 밀리초 단위로 설정합니다.
- bigtableAdditionalRetryCodes: ','로 구분된 추가 재시도 코드를 설정합니다(예: RESOURCE_EXHAUSTED,DEADLINE_EXCEEDED).
- bigtableWriteAppProfile: 내보내기에 사용할 Bigtable 앱 프로필입니다. 이 매개변수의 기본값은 Bigtable 인스턴스의 기본 앱 프로필입니다.
- bigtableWriteProjectId: 데이터를 쓰려는 Cloud Bigtable 인스턴스의 Google Cloud 프로젝트 ID입니다.
- bigtableBulkWriteLatencyTargetMs: 지연 시간 기반 제한을 사용 설정하고 대상 지연 시간을 지정합니다.
- bigtableBulkWriteMaxRowKeyCount: Bigtable 일괄 쓰기 작업의 최대 row key 수를 설정합니다.
- bigtableBulkWriteMaxRequestSizeBytes: Bigtable 일괄 쓰기 작업의 최대 바이트 양을 설정합니다.
템플릿 실행
콘솔
- Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다. 템플릿에서 작업 만들기로 이동
- 작업 이름 필드에 고유한 작업 이름을 입력합니다.
- (선택사항): 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전은
us-central1
입니다.Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.
- Dataflow 템플릿 드롭다운 메뉴에서 the BigQuery to Bigtable template을 선택합니다.
- 제공된 매개변수 필드에 매개변수 값을 입력합니다.
- 작업 실행을 클릭합니다.
gcloud
셸 또는 터미널에서 템플릿을 실행합니다.
gcloud dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Bigtable \ --parameters \ readIdColumn=READ_COLUMN_ID,\ inputTableSpec=INPUT_TABLE_SPEC,\ bigtableWriteInstanceId=BIGTABLE_INSTANCE_ID,\ bigtableWriteTableId=BIGTABLE_TABLE_ID,\ bigtableWriteColumnFamily=BIGTABLE_COLUMN_FAMILY
다음을 바꿉니다.
PROJECT_ID
: Dataflow 작업을 실행하려는 Google Cloud 프로젝트 IDJOB_NAME
: 선택한 고유한 작업 이름REGION_NAME
: Dataflow 작업을 배포할 리전(예:us-central1
)VERSION
: 사용할 템플릿 버전다음 값을 사용할 수 있습니다.
latest
: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates-REGION_NAME/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2023-09-12-00_RC00
): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates-REGION_NAME/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
READ_COLUMN_ID
: BigQuery 고유 ID 열INPUT_TABLE_SPEC
: BigQuery 테이블 이름BIGTABLE_INSTANCE_ID
: Bigtable 인스턴스 IDBIGTABLE_TABLE_ID
: Bigtable 테이블 IDBIGTABLE_COLUMN_FAMILY
: Bigtable 테이블 column family
API
REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch
를 참조하세요.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launch_parameter": { "jobName": "JOB_NAME", "parameters": { "readIdColumn": "READ_COLUMN_ID", "inputTableSpec": "INPUT_TABLE_SPEC", "bigtableWriteInstanceId": "BIGTABLE_INSTANCE_ID", "bigtableWriteTableId": "BIGTABLE_TABLE_ID", "bigtableWriteColumnFamily": "BIGTABLE_COLUMN_FAMILY" }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Bigtable", } }
다음을 바꿉니다.
PROJECT_ID
: Dataflow 작업을 실행하려는 Google Cloud 프로젝트 IDJOB_NAME
: 선택한 고유한 작업 이름LOCATION
: Dataflow 작업을 배포할 리전(예:us-central1
)VERSION
: 사용할 템플릿 버전다음 값을 사용할 수 있습니다.
latest
: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates-REGION_NAME/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2023-09-12-00_RC00
): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates-REGION_NAME/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
READ_COLUMN_ID
: BigQuery 고유 ID 열INPUT_TABLE_SPEC
: BigQuery 테이블 이름BIGTABLE_INSTANCE_ID
: Bigtable 인스턴스 IDBIGTABLE_TABLE_ID
: Bigtable 테이블 IDBIGTABLE_COLUMN_FAMILY
: Bigtable 테이블 column family
다음 단계
- Dataflow 템플릿 알아보기
- Google 제공 템플릿 목록 참조