Cloud Storage SequenceFile to Bigtable 템플릿

Cloud Storage SequenceFile to Bigtable 템플릿은 Cloud Storage 버킷의 SequenceFiles에서 데이터를 읽고 Bigtable 테이블에 데이터를 쓰는 파이프라인입니다. 템플릿을 사용하여 Cloud Storage에서 Bigtable로 데이터를 복사할 수 있습니다.

파이프라인 요구사항

  • Bigtable 테이블이 있어야 합니다.
  • 파이프라인을 실행하기 전에 Cloud Storage 버킷에 입력 SequenceFiles가 있어야 합니다.
  • 입력 SequenceFiles는 Bigtable 또는 HBase에서 내보내야 합니다.

템플릿 매개변수

필수 매개변수

  • bigtableProject: 데이터를 쓰려는 Bigtable 인스턴스가 포함된 Google Cloud 프로젝트의 ID입니다.
  • bigtableInstanceId: 테이블을 포함하는 Bigtable 인스턴스의 ID입니다.
  • bigtableTableId: 가져올 Bigtable 테이블의 ID입니다.
  • sourcePattern: 데이터 위치에 대한 Cloud Storage 경로 패턴입니다. 예를 들면 gs://your-bucket/your-path/prefix*입니다.

선택적 매개변수

  • bigtableAppProfileId: 가져오기에 사용할 Bigtable 애플리케이션 프로필의 ID입니다. 애플리케이션 프로필을 지정하지 않으면 Bigtable은 인스턴스의 기본 애플리케이션 프로필(https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile)을 사용합니다.
  • mutationThrottleLatencyMs: (선택사항) 변형 지연 시간 제한을 설정합니다(이 기능을 사용 설정). 밀리초 단위의 값입니다. 기본값은 0입니다.

템플릿 실행

콘솔

  1. Dataflow 템플릿에서 작업 만들기 페이지로 이동합니다.
    2. 템플릿에서 작업 만들기로 이동
  2. 작업 이름 필드에 고유한 작업 이름을 입력합니다.
  3. (선택사항): 리전 엔드포인트의 드롭다운 메뉴에서 값을 선택합니다. 기본 리전은 us-central1입니다.

    Dataflow 작업을 실행할 수 있는 리전 목록은 Dataflow 위치를 참조하세요.

  4. Dataflow 템플릿 드롭다운 메뉴에서 the SequenceFile Files on Cloud Storage to Cloud Bigtable template을 선택합니다.
  5. 제공된 매개변수 필드에 매개변수 값을 입력합니다.
  6. 작업 실행을 클릭합니다.

gcloud

셸 또는 터미널에서 템플릿을 실행합니다.

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
sourcePattern=SOURCE_PATTERN

다음을 바꿉니다.

  • JOB_NAME: 선택한 고유한 작업 이름
  • VERSION: 사용할 템플릿 버전

    다음 값을 사용할 수 있습니다.

  • REGION_NAME: Dataflow 작업을 배포할 리전(예: us-central1)
  • BIGTABLE_PROJECT_ID: 데이터를 읽으려는 Bigtable 인스턴스의 Google Cloud 프로젝트 ID
  • INSTANCE_ID: 테이블을 포함하는 Bigtable 인스턴스의 ID입니다.
  • TABLE_ID: 내보낼 Bigtable 테이블의 ID
  • APPLICATION_PROFILE_ID: 내보내기에 사용될 Bigtable 애플리케이션 프로필의 ID
  • SOURCE_PATTERN: 데이터가 있는 Cloud Storage 경로 패턴(예시: gs://mybucket/somefolder/prefix*)

API

REST API를 사용하여 템플릿을 실행하려면 HTTP POST 요청을 전송합니다. API 및 승인 범위에 대한 자세한 내용은 projects.templates.launch를 참조하세요.

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "sourcePattern": "SOURCE_PATTERN",
   },
   "environment": { "zone": "us-central1-f" }
}

다음을 바꿉니다.

  • PROJECT_ID: Dataflow 작업을 실행하려는 Google Cloud 프로젝트 ID
  • JOB_NAME: 선택한 고유한 작업 이름
  • VERSION: 사용할 템플릿 버전

    다음 값을 사용할 수 있습니다.

  • LOCATION: Dataflow 작업을 배포할 리전(예: us-central1)
  • BIGTABLE_PROJECT_ID: 데이터를 읽으려는 Bigtable 인스턴스의 Google Cloud 프로젝트 ID
  • INSTANCE_ID: 테이블을 포함하는 Bigtable 인스턴스의 ID입니다.
  • TABLE_ID: 내보낼 Bigtable 테이블의 ID
  • APPLICATION_PROFILE_ID: 내보내기에 사용될 Bigtable 애플리케이션 프로필의 ID
  • SOURCE_PATTERN: 데이터가 있는 Cloud Storage 경로 패턴(예시: gs://mybucket/somefolder/prefix*)

다음 단계