BigQuery to Bigtable 模板

BigQuery to Bigtable 模板是一种批处理流水线，用于将 BigQuery 表中的数据复制到现有的 Bigtable 表中。 该模板可以读取整个表，也可以使用提供的查询读取特定记录。

流水线要求

  • 源 BigQuery 表必须存在。
  • Bigtable 表必须已存在。
  • 工作器服务账号需要 roles/bigquery.datasets.create 权限。如需了解详情，请参阅 IAM 简介。

模板参数

参数 说明
readIdColumn 存储行的唯一标识符的 BigQuery 列的名称。
inputTableSpec

可选：要读取的 BigQuery 表。格式：projectId:datasetId.tablename。

如果指定 inputTableSpec，模板将使用 BigQuery Storage Read API 直接从 BigQuery 存储读取数据。如需了解 Storage Read API 中的限制，请参阅限制。

您必须指定 inputTableSpec 或 query。如果同时设置了这两个参数，则模板会使用 query 参数。
query

可选：用于从 BigQuery 读取数据的 SQL 查询。如果 BigQuery 数据集与 Dataflow 作业位于不同的项目中，请在 SQL 查询中指定完整的数据集名称，如下所示：projectId.datasetName.tablename。默认情况下，query 参数使用 GoogleSQL，除非 useLegacySql 为 true。

您必须指定 inputTableSpec 或 query。如果同时设置了这两个参数，则模板会使用 query 参数。
useLegacySql 可选：设置为 true 以使用旧版 SQL。此参数仅在使用 query 参数时适用。默认值：false。
bigtableWriteInstanceId 表所属的 Bigtable 实例的 ID。
bigtableWriteTableId 要将数据写入的 Bigtable 表的 ID。
bigtableWriteColumnFamily 要将数据写入的 Bigtable 表的列族名称。
bigtableWriteAppProfile 可选：要用于导出的 Bigtable 应用配置文件的 ID。 如果您未指定应用配置文件，则 Bigtable 会使用实例的默认应用配置文件。
bigtableWriteProjectId 可选：您要将数据写入的 Bigtable 实例的 Google Cloud 项目的 ID。
bigtableBulkWriteLatencyTargetMs 可选：Bigtable 的延迟时间目标（以毫秒为单位），用于基于延迟时间的限制。
bigtableBulkWriteMaxRowKeyCount 可选：Bigtable 批量写入操作中的行键数上限。
bigtableBulkWriteMaxRequestSizeBytes 可选：每项 Bigtable 批量写入操作包含的字节数上限。
bigtableRpcAttemptTimeoutMs 可选：每次 Bigtable RPC 尝试的超时（以毫秒为单位）。
bigtableRpcTimeoutMs 可选：Bigtable RPC 操作的总超时（以毫秒为单位）。
bigtableAdditionalRetryCodes 可选：额外的重试代码。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
    2. 转到“基于模板创建作业”
  2. 在作业名称字段中，输入唯一的作业名称。
  3. 可选：对于区域性端点，从下拉菜单中选择一个值。默认区域为 us-central1。

    如需查看可以在其中运行 Dataflow 作业的区域列表，请参阅 Dataflow 位置。

  4. 从 Dataflow 模板下拉菜单中，选择 the BigQuery to Bigtable template。
  5. 在提供的参数字段中，输入您的参数值。
  6. 点击运行作业。

gcloud

在 shell 或终端中，运行模板：

gcloud dataflow flex-template run JOB_NAME \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Bigtable \
    --parameters \
readIdColumn=READ_COLUMN_ID,\
inputTableSpec=INPUT_TABLE_SPEC,\
bigtableWriteInstanceId=BIGTABLE_INSTANCE_ID,\
bigtableWriteTableId=BIGTABLE_TABLE_ID,\
bigtableWriteColumnFamily=BIGTABLE_COLUMN_FAMILY

请替换以下内容：

  • PROJECT_ID：您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME：您选择的唯一性作业名称
  • REGION_NAME：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • READ_COLUMN_ID：您的 BigQuery 唯一 ID 列。
  • INPUT_TABLE_SPEC：您的 BigQuery 表名称。
  • BIGTABLE_INSTANCE_ID：您的 Bigtable 实例 ID。
  • BIGTABLE_TABLE_ID：您的 Bigtable 表 ID。
  • BIGTABLE_COLUMN_FAMILY：您的 Bigtable 表列族。

API

如需使用 REST API 来运行模板，请发送 HTTP POST 请求。如需详细了解 API 及其授权范围，请参阅 projects.templates.launch。

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "readIdColumn": "READ_COLUMN_ID",
          "inputTableSpec": "INPUT_TABLE_SPEC",
          "bigtableWriteInstanceId": "BIGTABLE_INSTANCE_ID",
          "bigtableWriteTableId": "BIGTABLE_TABLE_ID",
          "bigtableWriteColumnFamily": "BIGTABLE_COLUMN_FAMILY"
      },
      "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Bigtable",
   }
}

请替换以下内容：

  • PROJECT_ID：您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME：您选择的唯一性作业名称
  • LOCATION：要在其中部署 Dataflow 作业的区域，例如 us-central1
  • VERSION：您要使用的模板的版本

    您可使用以下值：

  • READ_COLUMN_ID：您的 BigQuery 唯一 ID 列。
  • INPUT_TABLE_SPEC：您的 BigQuery 表名称。
  • BIGTABLE_INSTANCE_ID：您的 Bigtable 实例 ID。
  • BIGTABLE_TABLE_ID：您的 Bigtable 表 ID。
  • BIGTABLE_COLUMN_FAMILY：您的 Bigtable 表列族。

后续步骤