Cloud Storage SequenceFile to Bigtable 模板是一种流水线,可从 Cloud Storage 存储桶中的 SequenceFile 读取数据并将数据写入 Bigtable 表。您可以使用该模板将数据从 Cloud Storage 复制到 Bigtable。
流水线要求
- Bigtable 表必须已存在。
- 在运行此流水线之前,输入 SequenceFiles 文件必须已存在于 Cloud Storage 存储桶中。
- 输入 SequenceFile 必须已从 Bigtable 或 HBase 中导出。
模板参数
必需参数
- bigtableProject:您要将数据写入的 Bigtable 实例所属的 Google Cloud 项目的 ID。
- bigtableInstanceId:表所属的 Bigtable 实例的 ID。
- bigtableTableId:要导入的 Bigtable 表的 ID。
- sourcePattern:指向数据位置的 Cloud Storage 路径模式。例如
gs://your-bucket/your-path/prefix*
。
可选参数
- bigtableAppProfileId:用于导入的 Bigtable 应用配置文件的 ID。如果您未指定应用配置文件,Bigtable 会使用实例的默认应用配置文件 (https://cloud.google.com/bigtable/docs/app-profiles#default-app-profile)。
- mutationThrottleLatencyMs:可选。设置变更延迟限制(启用该功能)。值以毫秒为单位。默认值为 0。
运行模板
控制台
- 转到 Dataflow 基于模板创建作业页面。 转到“基于模板创建作业”
- 在作业名称字段中,输入唯一的作业名称。
- 可选:对于区域性端点,从下拉菜单中选择一个值。默认区域为
us-central1
。如需查看可以在其中运行 Dataflow 作业的区域列表,请参阅 Dataflow 位置。
- 从 Dataflow 模板下拉菜单中,选择 the SequenceFile Files on Cloud Storage to Cloud Bigtable template。
- 在提供的参数字段中,输入您的参数值。
- 点击运行作业。
gcloud
在 shell 或终端中,运行模板:
gcloud dataflow jobs run JOB_NAME \ --gcs-location gs://dataflow-templates-REGION_NAME/VERSION/GCS_SequenceFile_to_Cloud_Bigtable \ --region REGION_NAME \ --parameters \ bigtableProject=BIGTABLE_PROJECT_ID,\ bigtableInstanceId=INSTANCE_ID,\ bigtableTableId=TABLE_ID,\ bigtableAppProfileId=APPLICATION_PROFILE_ID,\ sourcePattern=SOURCE_PATTERN
替换以下内容:
JOB_NAME
:您选择的唯一性作业名称VERSION
:您要使用的模板的版本您可使用以下值:
latest
,以使用模板的最新版本,该模板在存储桶的未标示日期的父文件夹 (gs://dataflow-templates-REGION_NAME/latest/) 中可用- 版本名称(如
2023-09-12-00_RC00
),以使用模板的特定版本,该版本嵌套在存储桶的相应日期父文件夹 (gs://dataflow-templates-REGION_NAME/) 中
REGION_NAME
:要在其中部署 Dataflow 作业的区域,例如us-central1
BIGTABLE_PROJECT_ID
:您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。INSTANCE_ID
:表所属的 Bigtable 实例的 ID。TABLE_ID
:需要导出的 Bigtable 表的 ID。APPLICATION_PROFILE_ID
:将用于导出的 Bigtable 应用配置文件的 ID。SOURCE_PATTERN
:数据所在的 Cloud Storage 路径模式,例如gs://mybucket/somefolder/prefix*
API
如需使用 REST API 来运行模板,请发送 HTTP POST 请求。如需详细了解 API 及其授权范围,请参阅 projects.templates.launch
。
POST https://dataflow.googleapis.com/v1b3/projects/PROJECT_ID/locations/LOCATION/templates:launch?gcsPath=gs://dataflow-templates-LOCATION/VERSION/GCS_SequenceFile_to_Cloud_Bigtable { "jobName": "JOB_NAME", "parameters": { "bigtableProject": "BIGTABLE_PROJECT_ID", "bigtableInstanceId": "INSTANCE_ID", "bigtableTableId": "TABLE_ID", "bigtableAppProfileId": "APPLICATION_PROFILE_ID", "sourcePattern": "SOURCE_PATTERN", }, "environment": { "zone": "us-central1-f" } }
替换以下内容:
PROJECT_ID
:您要在其中运行 Dataflow 作业的 Google Cloud 项目的 IDJOB_NAME
:您选择的唯一性作业名称VERSION
:您要使用的模板的版本您可使用以下值:
latest
,以使用模板的最新版本,该模板在存储桶的未标示日期的父文件夹 (gs://dataflow-templates-REGION_NAME/latest/) 中可用- 版本名称(如
2023-09-12-00_RC00
),以使用模板的特定版本,该版本嵌套在存储桶的相应日期父文件夹 (gs://dataflow-templates-REGION_NAME/) 中
LOCATION
:要在其中部署 Dataflow 作业的区域,例如us-central1
BIGTABLE_PROJECT_ID
:您要从中读取数据的 Bigtable 实例的 Google Cloud 项目的 ID。INSTANCE_ID
:表所属的 Bigtable 实例的 ID。TABLE_ID
:需要导出的 Bigtable 表的 ID。APPLICATION_PROFILE_ID
:将用于导出的 Bigtable 应用配置文件的 ID。SOURCE_PATTERN
:数据所在的 Cloud Storage 路径模式,例如gs://mybucket/somefolder/prefix*
后续步骤
- 了解 Dataflow 模板。
- 参阅 Google 提供的模板列表。