BigQuery to Bigtable 模板

BigQuery to Bigtable 模板是一种批处理流水线,用于将 BigQuery 表中的数据复制到现有的 Bigtable 表中。 该模板可以读取整个表,也可以使用提供的查询读取特定记录。

流水线要求

  • 源 BigQuery 表必须存在。
  • Bigtable 表必须已存在。
  • 工作器服务账号需要 roles/bigquery.datasets.create 权限。如需了解详情,请参阅 IAM 简介

模板参数

参数 说明
readIdColumn 存储行的唯一标识符的 BigQuery 列的名称。
inputTableSpec

可选:要读取的 BigQuery 表。格式:projectId:datasetId.tablename

如果指定 inputTableSpec,模板将使用 BigQuery Storage Read API 直接从 BigQuery 存储读取数据。如需了解 Storage Read API 中的限制,请参阅限制

您必须指定 inputTableSpecquery。如果同时设置了这两个参数,则模板会使用 query 参数。

query

可选:用于从 BigQuery 读取数据的 SQL 查询。如果 BigQuery 数据集与 Dataflow 作业位于不同的项目中,请在 SQL 查询中指定完整的数据集名称,如下所示:projectId.datasetName.tablename。默认情况下,query 参数使用 GoogleSQL,除非 useLegacySqltrue

您必须指定 inputTableSpecquery。如果同时设置了这两个参数,则模板会使用 query 参数。

useLegacySql 可选:设置为 true 以使用旧版 SQL。此参数仅在使用 query 参数时适用。默认值:false
bigtableWriteInstanceId 表所属的 Bigtable 实例的 ID。
bigtableWriteTableId 要将数据写入的 Bigtable 表的 ID。
bigtableWriteColumnFamily 要将数据写入的 Bigtable 表的列族名称。
bigtableWriteAppProfile 可选:要用于导出的 Bigtable 应用配置文件的 ID。 如果您未指定应用配置文件,则 Bigtable 会使用实例的默认应用配置文件
bigtableWriteProjectId 可选:您要将数据写入的 Bigtable 实例的 Google Cloud 项目的 ID。
bigtableBulkWriteLatencyTargetMs 可选:Bigtable 的延迟时间目标(以毫秒为单位),用于基于延迟时间的限制。
bigtableBulkWriteMaxRowKeyCount 可选:Bigtable 批量写入操作中的行键数上限。
bigtableBulkWriteMaxRequestSizeBytes 可选:每项 Bigtable 批量写入操作包含的字节数上限。
bigtableRpcAttemptTimeoutMs 可选:每次 Bigtable RPC 尝试的超时(以毫秒为单位)。
bigtableRpcTimeoutMs 可选:Bigtable RPC 操作的总超时(以毫秒为单位)。
bigtableAdditionalRetryCodes 可选:额外的重试代码。

运行模板

控制台

  1. 转到 Dataflow 基于模板创建作业页面。
  2. 转到“基于模板创建作业”
  3. 作业名称字段中,输入唯一的作业名称。
  4. 可选:对于区域性端点,从下拉菜单中选择一个值。默认区域为 us-central1

    如需查看可以在其中运行 Dataflow 作业的区域列表,请参阅 Dataflow 位置

  5. Dataflow 模板下拉菜单中,选择 the BigQuery to Bigtable template。
  6. 在提供的参数字段中,输入您的参数值。
  7. 点击运行作业

gcloud

在 shell 或终端中,运行模板:

gcloud dataflow flex-template run JOB_NAME \
    --project=PROJECT_ID \
    --region=REGION_NAME \
    --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Bigtable \
    --parameters \
readIdColumn=READ_COLUMN_ID,\
inputTableSpec=INPUT_TABLE_SPEC,\
bigtableWriteInstanceId=BIGTABLE_INSTANCE_ID,\
bigtableWriteTableId=BIGTABLE_TABLE_ID,\
bigtableWriteColumnFamily=BIGTABLE_COLUMN_FAMILY

请替换以下内容:

  • PROJECT_ID:您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME:您选择的唯一性作业名称
  • REGION_NAME:要在其中部署 Dataflow 作业的区域,例如 us-central1
  • VERSION:您要使用的模板的版本

    您可使用以下值:

  • READ_COLUMN_ID:您的 BigQuery 唯一 ID 列。
  • INPUT_TABLE_SPEC:您的 BigQuery 表名称。
  • BIGTABLE_INSTANCE_ID:您的 Bigtable 实例 ID。
  • BIGTABLE_TABLE_ID:您的 Bigtable 表 ID。
  • BIGTABLE_COLUMN_FAMILY:您的 Bigtable 表列族。

API

如需使用 REST API 来运行模板,请发送 HTTP POST 请求。如需详细了解 API 及其授权范围,请参阅 projects.templates.launch

POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch
{
   "launch_parameter": {
      "jobName": "JOB_NAME",
      "parameters": {
          "readIdColumn": "READ_COLUMN_ID",
          "inputTableSpec": "INPUT_TABLE_SPEC",
          "bigtableWriteInstanceId": "BIGTABLE_INSTANCE_ID",
          "bigtableWriteTableId": "BIGTABLE_TABLE_ID",
          "bigtableWriteColumnFamily": "BIGTABLE_COLUMN_FAMILY"
      },
      "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Bigtable",
   }
}

请替换以下内容:

  • PROJECT_ID:您要在其中运行 Dataflow 作业的 Google Cloud 项目的 ID
  • JOB_NAME:您选择的唯一性作业名称
  • LOCATION:要在其中部署 Dataflow 作业的区域,例如 us-central1
  • VERSION:您要使用的模板的版本

    您可使用以下值:

  • READ_COLUMN_ID:您的 BigQuery 唯一 ID 列。
  • INPUT_TABLE_SPEC:您的 BigQuery 表名称。
  • BIGTABLE_INSTANCE_ID:您的 Bigtable 实例 ID。
  • BIGTABLE_TABLE_ID:您的 Bigtable 表 ID。
  • BIGTABLE_COLUMN_FAMILY:您的 Bigtable 表列族。

后续步骤