BigQuery to Bigtable 模板是一种批处理流水线,用于将 BigQuery 表中的数据复制到现有的 Bigtable 表中。 该模板可以读取整个表,也可以使用提供的查询读取特定记录。
流水线要求
模板参数
参数 | 说明 |
---|---|
readIdColumn |
存储行的唯一标识符的 BigQuery 列的名称。 |
inputTableSpec |
可选:要读取的 BigQuery 表。格式: 如果指定 您必须指定 |
query |
可选:用于从 BigQuery 读取数据的 SQL 查询。如果 BigQuery 数据集与 Dataflow 作业位于不同的项目中,请在 SQL 查询中指定完整的数据集名称,如下所示: 您必须指定 |
useLegacySql |
可选:设置为 true 以使用旧版 SQL。此参数仅在使用 query 参数时适用。默认值:false 。 |
bigtableWriteInstanceId |
表所属的 Bigtable 实例的 ID。 |
bigtableWriteTableId |
要将数据写入的 Bigtable 表的 ID。 |
bigtableWriteColumnFamily |
要将数据写入的 Bigtable 表的列族名称。 |
bigtableWriteAppProfile |
可选:要用于导出的 Bigtable 应用配置文件的 ID。 如果您未指定应用配置文件,则 Bigtable 会使用实例的默认应用配置文件。 |
bigtableWriteProjectId |
可选:您要将数据写入的 Bigtable 实例的 Google Cloud 项目的 ID。 |
bigtableBulkWriteLatencyTargetMs |
可选:Bigtable 的延迟时间目标(以毫秒为单位),用于基于延迟时间的限制。 |
bigtableBulkWriteMaxRowKeyCount |
可选:Bigtable 批量写入操作中的行键数上限。 |
bigtableBulkWriteMaxRequestSizeBytes |
可选:每项 Bigtable 批量写入操作包含的字节数上限。 |
bigtableRpcAttemptTimeoutMs |
可选:每次 Bigtable RPC 尝试的超时(以毫秒为单位)。 |
bigtableRpcTimeoutMs |
可选:Bigtable RPC 操作的总超时(以毫秒为单位)。 |
bigtableAdditionalRetryCodes |
可选:额外的重试代码。 |
运行模板
控制台
- 转到 Dataflow 基于模板创建作业页面。 转到“基于模板创建作业”
- 在作业名称字段中,输入唯一的作业名称。
- 可选:对于区域性端点,从下拉菜单中选择一个值。默认区域为
us-central1
。如需查看可以在其中运行 Dataflow 作业的区域列表,请参阅 Dataflow 位置。
- 从 Dataflow 模板下拉菜单中,选择 the BigQuery to Bigtable template。
- 在提供的参数字段中,输入您的参数值。
- 点击运行作业。
gcloud
在 shell 或终端中,运行模板:
gcloud dataflow flex-template run JOB_NAME \ --project=PROJECT_ID \ --region=REGION_NAME \ --template-file-gcs-location=gs://dataflow-templates-REGION_NAME/VERSION/flex/BigQuery_to_Bigtable \ --parameters \ readIdColumn=READ_COLUMN_ID,\ inputTableSpec=INPUT_TABLE_SPEC,\ bigtableWriteInstanceId=BIGTABLE_INSTANCE_ID,\ bigtableWriteTableId=BIGTABLE_TABLE_ID,\ bigtableWriteColumnFamily=BIGTABLE_COLUMN_FAMILY
请替换以下内容:
PROJECT_ID
:您要在其中运行 Dataflow 作业的 Google Cloud 项目的 IDJOB_NAME
:您选择的唯一性作业名称REGION_NAME
:要在其中部署 Dataflow 作业的区域,例如us-central1
VERSION
:您要使用的模板的版本您可使用以下值:
latest
,以使用模板的最新版本,该模板在存储桶的未标示日期的父文件夹 (gs://dataflow-templates-REGION_NAME/latest/) 中可用- 版本名称(如
2023-09-12-00_RC00
),以使用模板的特定版本,该版本嵌套在存储桶的相应日期父文件夹 (gs://dataflow-templates-REGION_NAME/) 中
READ_COLUMN_ID
:您的 BigQuery 唯一 ID 列。INPUT_TABLE_SPEC
:您的 BigQuery 表名称。BIGTABLE_INSTANCE_ID
:您的 Bigtable 实例 ID。BIGTABLE_TABLE_ID
:您的 Bigtable 表 ID。BIGTABLE_COLUMN_FAMILY
:您的 Bigtable 表列族。
API
如需使用 REST API 来运行模板,请发送 HTTP POST 请求。如需详细了解 API 及其授权范围,请参阅 projects.templates.launch
。
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/flexTemplates:launch { "launch_parameter": { "jobName": "JOB_NAME", "parameters": { "readIdColumn": "READ_COLUMN_ID", "inputTableSpec": "INPUT_TABLE_SPEC", "bigtableWriteInstanceId": "BIGTABLE_INSTANCE_ID", "bigtableWriteTableId": "BIGTABLE_TABLE_ID", "bigtableWriteColumnFamily": "BIGTABLE_COLUMN_FAMILY" }, "containerSpecGcsPath": "gs://dataflow-templates-LOCATION/VERSION/flex/BigQuery_to_Bigtable", } }
请替换以下内容:
PROJECT_ID
:您要在其中运行 Dataflow 作业的 Google Cloud 项目的 IDJOB_NAME
:您选择的唯一性作业名称LOCATION
:要在其中部署 Dataflow 作业的区域,例如us-central1
VERSION
:您要使用的模板的版本您可使用以下值:
latest
,以使用模板的最新版本,该模板在存储桶的未标示日期的父文件夹 (gs://dataflow-templates-REGION_NAME/latest/) 中可用- 版本名称(如
2023-09-12-00_RC00
),以使用模板的特定版本,该版本嵌套在存储桶的相应日期父文件夹 (gs://dataflow-templates-REGION_NAME/) 中
READ_COLUMN_ID
:您的 BigQuery 唯一 ID 列。INPUT_TABLE_SPEC
:您的 BigQuery 表名称。BIGTABLE_INSTANCE_ID
:您的 Bigtable 实例 ID。BIGTABLE_TABLE_ID
:您的 Bigtable 表 ID。BIGTABLE_COLUMN_FAMILY
:您的 Bigtable 表列族。
后续步骤
- 了解 Dataflow 模板。
- 参阅 Google 提供的模板列表。