Storage API를 통해 Parquet로 BigQuery 내보내기 템플릿

Parquet로 BigQuery 내보내기 템플릿은 BigQuery 테이블에서 데이터를 읽고 Parquet 형식으로 Cloud Storage 버킷에 쓰는 일괄 파이프라인입니다. 이 템플릿은 데이터를 내보내기 위해 BigQuery Storage API를 활용합니다.

파이프라인 요구사항

  • 파이프라인을 실행하기 전에 입력 BigQuery 테이블이 있어야 합니다.
  • 파이프라인을 실행하기 전에 출력 Cloud Storage 버킷이 있어야 합니다.

템플릿 매개변수

필수 매개변수

  • tableRef : BigQuery 입력 테이블 위치 (예: your-project:your-dataset.your-table-name)
  • 버킷 : Parquet 파일을 쓸 Cloud Storage 폴더 (예: gs://your-bucket/export/).

선택적 매개변수

  • numShards : 출력 파일 샤드 수. 기본값은 1입니다.
  • fields : 입력 BigQuery 테이블에서 선택할 수 있는 쉼표로 구분된 필드 목록
  • rowRestriction : 지정된 필터와 일치하는 읽기 전용 행. Google 표준 SQL과 호환되는 SQL 표현식이어야 합니다(https://cloud.google.com/bigquery/docs/reference/standard-sql). 값을 지정하지 않으면 모든 행이 반환됩니다.

템플릿 실행

콘솔

  1. Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다.
  2. 템플릿에서 작업 만들기로 이동
  3. 작업 이름 필드에 고유한 작업 이름을 입력합니다.
  4. (선택사항): 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전은 us-central1입니다.

    Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.

  5. Dataflow 템플릿 드롭다운 메뉴에서 the BigQuery export to Parquet (via Storage API) template을 선택합니다.
  6. 제공된 매개변수 필드에 매개변수 값을 입력합니다.
  7. 작업 실행을 클릭합니다.

gcloud

셸 또는 터미널에서 템플릿을 실행합니다.

gcloud dataflow flex-template run JOB_NAME \
    --project=PROJECT_ID \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Parquet \
    --region=REGION_NAME \
    --parameters \
tableRef=BIGQUERY_TABLE,\
bucket=OUTPUT_DIRECTORY,\
numShards=NUM_SHARDS,\
fields=FIELDS

다음을 바꿉니다.

  • PROJECT_ID: Dataflow 작업을 실행하려는 Google Cloud 프로젝트 ID
  • JOB_NAME: 선택한 고유한 작업 이름
  • VERSION: 사용할 템플릿 버전

    다음 값을 사용할 수 있습니다.

  • REGION_NAME: Dataflow 작업을 배포할 리전(예: us-central1)
  • BIGQUERY_TABLE: BigQuery 테이블 이름
  • OUTPUT_DIRECTORY: 출력 파일의 Cloud Storage 폴더
  • NUM_SHARDS: 원하는 출력 파일 샤드 수
  • FIELDS: 입력 BigQuery 테이블에서 선택할 수 있는 쉼표로 구분된 필드 목록

API

REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch를 참조하세요.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "tableRef": "BIGQUERY_TABLE",
          "bucket": "OUTPUT_DIRECTORY",
          "numShards": "NUM_SHARDS",
          "fields": "FIELDS"
      },
      "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Parquet",
   }
}

다음을 바꿉니다.

  • PROJECT_ID: Dataflow 작업을 실행하려는 Google Cloud 프로젝트 ID
  • JOB_NAME: 선택한 고유한 작업 이름
  • VERSION: 사용할 템플릿 버전

    다음 값을 사용할 수 있습니다.

  • LOCATION: Dataflow 작업을 배포할 리전(예: us-central1)
  • BIGQUERY_TABLE: BigQuery 테이블 이름
  • OUTPUT_DIRECTORY: 출력 파일의 Cloud Storage 폴더
  • NUM_SHARDS: 원하는 출력 파일 샤드 수
  • FIELDS: 입력 BigQuery 테이블에서 선택할 수 있는 쉼표로 구분된 필드 목록

다음 단계