Pub/Sub Avro to BigQuery 템플릿은 Pub/Sub 구독에서 BigQuery 테이블로 Avro 데이터를 수집하는 스트리밍 파이프라인입니다. BigQuery 테이블에 쓰는 동안 발생하는 모든 오류는 Pub/Sub 처리되지 않은 주제로 스트리밍됩니다.
파이프라인 요구사항
- 입력 Pub/Sub 구독이 있어야 합니다.
- Avro 레코드의 스키마 파일이 Cloud Storage에 있어야 합니다.
- 처리되지 않은 Pub/Sub 주제가 있어야 합니다.
- 출력 BigQuery 데이터 세트가 있어야 합니다.
템플릿 매개변수
| 매개변수 | 설명 |
|---|---|
schemaPath |
Avro 스키마 파일의 Cloud Storage 위치입니다. 예를 들면 gs://path/to/my/schema.avsc입니다. |
inputSubscription |
읽어올 Pub/Sub 입력 구독입니다. 예를 들면 projects/<project>/subscriptions/<subscription>입니다. |
outputTopic |
처리되지 않은 레코드에 사용할 Pub/Sub 주제입니다. 예를 들면 projects/<project-id>/topics/<topic-name>입니다. |
outputTableSpec |
BigQuery 출력 테이블 위치입니다. 예를 들면 <my-project>:<my-dataset>.<my-table>입니다.
지정된 createDisposition에 따라 사용자가 제공한 Avro 스키마를 사용하여 출력 테이블을 자동으로 생성할 수 있습니다. |
writeDisposition |
(선택사항) BigQuery WriteDisposition.
예를 들면 WRITE_APPEND, WRITE_EMPTY, WRITE_TRUNCATE입니다. 기본값: WRITE_APPEND |
createDisposition |
(선택사항) BigQuery CreateDisposition.
예를 들면 CREATE_IF_NEEDED, CREATE_NEVER입니다. 기본값: CREATE_IF_NEEDED |
템플릿 실행
콘솔
- Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다. 템플릿에서 작업 만들기로 이동
- 작업 이름 필드에 고유한 작업 이름을 입력합니다.
- 선택사항: 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전 엔드포인트는
us-central1입니다.Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.
- Dataflow 템플릿 드롭다운 메뉴에서 the Pub/Sub Avro to BigQuery template을 선택합니다.
- 제공된 매개변수 필드에 매개변수 값을 입력합니다.
- 작업 실행을 클릭합니다.
gcloud
셸 또는 터미널에서 템플릿을 실행합니다.
gcloud beta dataflow flex-template run JOB_NAME \
--region=REGION_NAME \
--template-file-gcs-location=gs://dataflow-templates/VERSION/flex/PubSub_Avro_to_BigQuery \
--parameters \
schemaPath=SCHEMA_PATH,\
inputSubscription=SUBSCRIPTION_NAME,\
outputTableSpec=BIGQUERY_TABLE,\
outputTopic=DEADLETTER_TOPIC
다음을 바꿉니다.
JOB_NAME: 선택한 고유한 작업 이름REGION_NAME: Dataflow 작업을 배포할 리전 엔드포인트(예:us-central1)VERSION: 사용할 템플릿 버전다음 값을 사용할 수 있습니다.
latest: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2021-09-20-00_RC00): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
SCHEMA_PATH: Avro 스키마 파일의 Cloud Storage 경로(예:gs://MyBucket/file.avsc).SUBSCRIPTION_NAME: Pub/Sub 입력 구독 이름BIGQUERY_TABLE: BigQuery 출력 테이블 이름DEADLETTER_TOPIC: 처리되지 않은 큐에 사용할 Pub/Sub 주제
API
REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch를 참조하세요.
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
"launch_parameter": {
"jobName": "JOB_NAME",
"containerSpecGcsPath": "gs://dataflow-templates/VERSION/flex/PubSub_Avro_to_BigQuery",
"parameters": {
"schemaPath": "SCHEMA_PATH",
"inputSubscription": "SUBSCRIPTION_NAME",
"outputTableSpec": "BIGQUERY_TABLE",
"outputTopic": "DEADLETTER_TOPIC"
}
}
}
다음을 바꿉니다.
JOB_NAME: 선택한 고유한 작업 이름LOCATION: Dataflow 작업을 배포할 리전 엔드포인트(예:us-central1)VERSION: 사용할 템플릿 버전다음 값을 사용할 수 있습니다.
latest: 버킷의 날짜가 지정되지 않은 상위 폴더(gs://dataflow-templates/latest/)에서 사용할 수 있는 최신 버전의 템플릿을 사용합니다.- 버전 이름(예:
2021-09-20-00_RC00): 버킷의 날짜가 지정된 해당 상위 폴더(gs://dataflow-templates/)에 중첩되어 있는 특정 버전의 템플릿을 사용합니다.
SCHEMA_PATH: Avro 스키마 파일의 Cloud Storage 경로(예:gs://MyBucket/file.avsc).SUBSCRIPTION_NAME: Pub/Sub 입력 구독 이름BIGQUERY_TABLE: BigQuery 출력 테이블 이름DEADLETTER_TOPIC: 처리되지 않은 큐에 사용할 Pub/Sub 주제