Cloud Storage SequenceFile to Bigtable 模板

Cloud Storage SequenceFile to Bigtable 模板是一种流水线，可从 Cloud Storage 存储桶中的 SequenceFile 读取数据并将数据写入 Bigtable 表。您可以使用该模板将数据从 Cloud Storage 复制到 Bigtable。

流水线要求

  • Bigtable 表必须已存在。
  • 在运行此流水线之前，输入 SequenceFiles 文件必须已存在于 Cloud Storage 存储桶中。
  • 输入 SequenceFile 必须已从 Bigtable 或 HBase 中导出。

模板参数

必需参数

  • bigtableProject：包含您要将数据写入其中的 Bigtable 实例的 Google Cloud 项目的 ID。
  • bigtableInstanceId：表所属的 Bigtable 实例的 ID。
  • bigtableTableId：要导入的 Bigtable 表的 ID。
  • sourcePattern：数据所在位置的 Cloud Storage 路径模式。（示例：gs://your-bucket/your-path/prefix*）。

可选参数

  • bigtableAppProfileId：要用于导入的 Bigtable 应用配置文件的 ID。如果您未指定应用配置文件，Bigtable 会使用实例的默认应用配置文件 (https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile)。
  • mutationThrottleLatencyMs：可选。设置变更延迟限制（启用该功能）。值以毫秒为单位。默认值为 0。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
    2. 转到“基于模板创建作业”
  2. 在作业名称字段中，输入唯一的作业名称。
  3. 可选：对于区域性端点，从下拉菜单中选择一个值。默认区域为 us-central1。

    如需查看可以在其中运行 Dataflow 作业的区域列表，请参阅 Dataflow 位置。

  4. 从 Dataflow 模板下拉菜单中，选择 the SequenceFile Files on Cloud Storage to Cloud Bigtable template。
  5. 在提供的参数字段中，输入您的参数值。
  6. 点击运行作业。

gcloud

在 shell 或终端中，运行模板：

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
sourcePattern=SOURCE_PATTERN

替换以下内容：

  • JOB_NAME：您选择的唯一性作业名称
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • REGION_NAME：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • BIGTABLE_PROJECT_ID：您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
  • INSTANCE_ID：表所属的 Bigtable 实例的 ID。
  • TABLE_ID：需要导出的 Bigtable 表的 ID。
  • APPLICATION_PROFILE_ID：将用于导出的 Bigtable 应用配置文件的 ID。
  • SOURCE_PATTERN：数据所在的 Cloud Storage 路径模式，例如 gs://mybucket/somefolder/prefix*

API

如需使用 REST API 来运行模板，请发送 HTTP POST 请求。如需详细了解 API 及其授权范围，请参阅 projects.templates.launch。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "sourcePattern": "SOURCE_PATTERN",
   },
   "environment": { "zone": "us-central1-f" }
}

替换以下内容：

  • PROJECT_ID：您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME：您选择的唯一性作业名称
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • LOCATION：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • BIGTABLE_PROJECT_ID：您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
  • INSTANCE_ID：表所属的 Bigtable 实例的 ID。
  • TABLE_ID：需要导出的 Bigtable 表的 ID。
  • APPLICATION_PROFILE_ID：将用于导出的 Bigtable 应用配置文件的 ID。
  • SOURCE_PATTERN：数据所在的 Cloud Storage 路径模式，例如 gs://mybucket/somefolder/prefix*

后续步骤