Bigtable to Cloud Storage SequenceFile 模板

Bigtable to Cloud Storage SequenceFile 模板是一种流水线,可从 Bigtable 表读取数据并以 SequenceFile 格式将其写入 Cloud Storage 存储桶。您可以使用该模板将数据从 Bigtable 复制到 Cloud Storage。

流水线要求

  • Bigtable 表必须已存在。
  • 在运行此流水线之前,输出 Cloud Storage 存储桶必须已存在。

模板参数

必需参数

  • bigtableProject:您要从中读取数据的 Bigtable 实例所属的 Google Cloud 项目的 ID。
  • bigtableInstanceId:表所属的 Bigtable 实例的 ID。
  • bigtableTableId:要导出的 Bigtable 表的 ID。
  • destinationPath:写入数据的 Cloud Storage 路径。例如 gs://your-bucket/your-path/
  • filenamePrefix:SequenceFile 文件名的前缀。例如 output-

可选参数

  • bigtableAppProfileId:用于导出的 Bigtable 应用配置文件的 ID。如果您没有指定应用配置文件,Bigtable 将使用实例的默认应用配置文件:https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile
  • bigtableStartRow:从哪一行开始导出,默认为第一行。
  • bigtableStopRow:停止导出数据的行,默认为最后一行。
  • bigtableMaxVersions:单元格版本的最大数量。默认值为 2147483647。
  • bigtableFilter:过滤字符串。请参阅:http://hbase.apache.org/book.html#thrift。默认值为空。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
  2. 转到“基于模板创建作业”
  3. 作业名称字段中,输入唯一的作业名称。
  4. 可选:对于区域性端点,从下拉菜单中选择一个值。默认区域为 us-central1

    如需查看可以在其中运行 Dataflow 作业的区域列表,请参阅 Dataflow 位置

  5. Dataflow 模板下拉菜单中,选择 the Cloud Bigtable to SequenceFile Files on Cloud Storage template 。
  6. 在提供的参数字段中,输入您的参数值。
  7. 点击运行作业

gcloud

在 shell 或终端中,运行模板:

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_SequenceFile \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
destinationPath=DESTINATION_PATH,\
filenamePrefix=FILENAME_PREFIX

替换以下内容:

  • JOB_NAME:您选择的唯一性作业名称
  • VERSION:您要使用的模板的版本

    您可使用以下值:

  • REGION_NAME:要在其中部署 Dataflow 作业的区域,例如 us-central1
  • BIGTABLE_PROJECT_ID:您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
  • INSTANCE_ID:表所属的 Bigtable 实例的 ID。
  • TABLE_ID:需要导出的 Bigtable 表的 ID。
  • APPLICATION_PROFILE_ID:将用于导出的 Bigtable 应用配置文件的 ID。
  • DESTINATION_PATH:写入数据的 Cloud Storage 路径,例如 gs://mybucket/somefolder
  • FILENAME_PREFIX:SequenceFile 文件名的前缀,例如 output-

API

如需使用 REST API 来运行模板,请发送 HTTP POST 请求。如需详细了解 API 及其授权范围,请参阅 projects.templates.launch

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_SequenceFile
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "destinationPath": "DESTINATION_PATH",
       "filenamePrefix": "FILENAME_PREFIX",
   },
   "environment": { "zone": "us-central1-f" }
}

替换以下内容:

  • PROJECT_ID:您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME:您选择的唯一性作业名称
  • VERSION:您要使用的模板的版本

    您可使用以下值:

  • LOCATION:要在其中部署 Dataflow 作业的区域,例如 us-central1
  • BIGTABLE_PROJECT_ID:您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
  • INSTANCE_ID:表所属的 Bigtable 实例的 ID。
  • TABLE_ID:需要导出的 Bigtable 表的 ID。
  • APPLICATION_PROFILE_ID:将用于导出的 Bigtable 应用配置文件的 ID。
  • DESTINATION_PATH:写入数据的 Cloud Storage 路径,例如 gs://mybucket/somefolder
  • FILENAME_PREFIX:SequenceFile 文件名的前缀,例如 output-

后续步骤