Cloud Storage SequenceFile to Bigtable 模板

Cloud Storage SequenceFile to Bigtable 模板是一种流水线，可从 Cloud Storage 存储桶中的 SequenceFile 读取数据并将数据写入 Bigtable 表。您可以使用该模板将数据从 Cloud Storage 复制到 Bigtable。

流水线要求

  • Bigtable 表必须已存在。
  • 在运行此流水线之前，输入 SequenceFiles 文件必须已存在于 Cloud Storage 存储桶中。
  • 输入 SequenceFile 必须已从 Bigtable 或 HBase 中导出。

模板参数

参数 说明
bigtableProject 您要将数据写入的 Bigtable 实例的 Google Cloud 项目 ID。
bigtableInstanceId 表所属的 Bigtable 实例的 ID。
bigtableTableId 要导入的 Bigtable 表的 ID。
bigtableAppProfileId 要用于导入的 Bigtable 应用配置文件的 ID。如果您没有指定应用配置文件，则 Bigtable 将使用该实例的默认应用配置文件。
sourcePattern 数据所在的 Cloud Storage 路径模式，例如 gs://mybucket/somefolder/prefix*。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
    2. 转到“基于模板创建作业”
  2. 在作业名称字段中，输入唯一的作业名称。
  3. 可选：对于区域性端点，从下拉菜单中选择一个值。默认区域为 us-central1。

    如需查看可以在其中运行 Dataflow 作业的区域列表，请参阅 Dataflow 位置。

  4. 从 Dataflow 模板下拉菜单中，选择 the SequenceFile Files on Cloud Storage to Cloud Bigtable template。
  5. 在提供的参数字段中，输入您的参数值。
  6. 点击运行作业。

gcloud

在 shell 或终端中，运行模板：

gcloud dataflow jobs run JOB_NAME \
    --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \
    --region REGION_NAME \
    --parameters \
bigtableProject=BIGTABLE_PROJECT_ID,\
bigtableInstanceId=INSTANCE_ID,\
bigtableTableId=TABLE_ID,\
bigtableAppProfileId=APPLICATION_PROFILE_ID,\
sourcePattern=SOURCE_PATTERN

请替换以下内容：

  • JOB_NAME：您选择的唯一性作业名称
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • REGION_NAME：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • BIGTABLE_PROJECT_ID：您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
  • INSTANCE_ID：表所属的 Bigtable 实例的 ID。
  • TABLE_ID：需要导出的 Bigtable 表的 ID。
  • APPLICATION_PROFILE_ID：将用于导出的 Bigtable 应用配置文件的 ID。
  • SOURCE_PATTERN：数据所在的 Cloud Storage 路径模式，例如 gs://mybucket/somefolder/prefix*

API

如需使用 REST API 来运行模板，请发送 HTTP POST 请求。如需详细了解 API 及其授权范围，请参阅 projects.templates.launch。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable
{
   "jobName": "JOB_NAME",
   "parameters": {
       "bigtableProject": "BIGTABLE_PROJECT_ID",
       "bigtableInstanceId": "INSTANCE_ID",
       "bigtableTableId": "TABLE_ID",
       "bigtableAppProfileId": "APPLICATION_PROFILE_ID",
       "sourcePattern": "SOURCE_PATTERN",
   },
   "environment": { "zone": "us-central1-f" }
}

请替换以下内容：

  • PROJECT_ID：您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME：您选择的唯一性作业名称
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • LOCATION：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • BIGTABLE_PROJECT_ID：您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。
  • INSTANCE_ID：表所属的 Bigtable 实例的 ID。
  • TABLE_ID：需要导出的 Bigtable 表的 ID。
  • APPLICATION_PROFILE_ID：将用于导出的 Bigtable 应用配置文件的 ID。
  • SOURCE_PATTERN：数据所在的 Cloud Storage 路径模式，例如 gs://mybucket/somefolder/prefix*

后续步骤