Bigtable to Cloud Storage SequenceFile 模板

Bigtable to Cloud Storage SequenceFile 模板是一种流水线，可从 Bigtable 表读取数据并以 SequenceFile 格式将其写入 Cloud Storage 存储桶。您可以使用该模板将数据从 Bigtable 复制到 Cloud Storage。

流水线要求

  • Bigtable 表必须已存在。
  • 在运行此流水线之前，输出 Cloud Storage 存储桶必须已存在。

模板参数

参数 说明
bigtableProject 您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
bigtableInstanceId 表所属的 Bigtable 实例的 ID。
bigtableTableId 要导出的 Bigtable 表的 ID。
bigtableAppProfileId 要用于导出的 Bigtable 应用配置文件的 ID。如果您没有指定应用配置文件，则 Bigtable 将使用该实例的默认应用配置文件。
destinationPath 写入数据的 Cloud Storage 路径。例如 gs://mybucket/somefolder。
filenamePrefix SequenceFile 文件名的前缀。例如 output-。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
    2. 转到“基于模板创建作业”
  2. 在作业名称字段中，输入唯一的作业名称。
  3. 可选：对于区域性端点，从下拉菜单中选择一个值。默认区域为 us-central1。

    如需查看可以在其中运行 Dataflow 作业的区域列表，请参阅 Dataflow 位置。

  4. 从 Dataflow 模板下拉菜单中，选择 the Cloud Bigtable to SequenceFile Files on Cloud Storage template 。
  5. 在提供的参数字段中，输入您的参数值。
  6. 点击运行作业。

gcloud

在 shell 或终端中，运行模板：

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/Cloud_Bigtable_to_GCS_SequenceFile \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
destinationPath=DESTINATION_PATH,\
filenamePrefix=FILENAME_PREFIX

请替换以下内容：

  • JOB_NAME：您选择的唯一性作业名称
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • REGION_NAME：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • BIGTABLE_PROJECT_ID：您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
  • INSTANCE_ID：表所属的 Bigtable 实例的 ID。
  • TABLE_ID：需要导出的 Bigtable 表的 ID。
  • APPLICATION_PROFILE_ID：将用于导出的 Bigtable 应用配置文件的 ID。
  • DESTINATION_PATH：写入数据的 Cloud Storage 路径，例如 gs://mybucket/somefolder
  • FILENAME_PREFIX：SequenceFile 文件名的前缀，例如 output-

API

如需使用 REST API 来运行模板，请发送 HTTP POST 请求。如需详细了解 API 及其授权范围，请参阅 projects.templates.launch。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/Cloud_Bigtable_to_GCS_SequenceFile
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "destinationPath": "DESTINATION_PATH",
       "filenamePrefix": "FILENAME_PREFIX",
   },
   "environment": { "zone": "us-central1-f" }
}

请替换以下内容：

  • PROJECT_ID：您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME：您选择的唯一性作业名称
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • LOCATION：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • BIGTABLE_PROJECT_ID：您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
  • INSTANCE_ID：表所属的 Bigtable 实例的 ID。
  • TABLE_ID：需要导出的 Bigtable 表的 ID。
  • APPLICATION_PROFILE_ID：将用于导出的 Bigtable 应用配置文件的 ID。
  • DESTINATION_PATH：写入数据的 Cloud Storage 路径，例如 gs://mybucket/somefolder
  • FILENAME_PREFIX：SequenceFile 文件名的前缀，例如 output-

后续步骤