Bigtable Beam 连接器

Bigtable Beam 连接器 (BigtableIO) 是一个开源 Apache Beam I/O 连接器,可帮助您使用 Dataflow流水线中对 Bigtable 数据执行批量和流式操作。

如果您要从 HBase 迁移到 Bigtable,或者运行使用 HBase API 而非 Bigtable API 的应用,请使用 Bigtable HBase Beam 连接器 (CloudBigtableIO),而不是本页面中所述的连接器。

连接器详细信息

Bigtable Beam 连接器是 Apache Beam GitHub 代码库的一个组件。您可以在 Class BigtableIO 获得 Javadoc。

在创建 Dataflow 流水线之前,请先检查 Apache Beam 运行时支持,以确保您使用的是 Dataflow 支持的 Java 版本。使用最新的受支持 Apache Beam 版本。

Bigtable Beam 连接器与 Java 版 Bigtable 客户端(即调用 Bigtable API 的客户端库)结合使用。您可以编写代码来将使用该连接器的流水线部署到 Dataflow,以便处理资源的预配和管理,并帮助实现数据处理的可伸缩性和可靠性。

如需详细了解 Apache Beam 编程模型,请参阅 Beam 文档

批量写入流控制

使用 Bigtable Beam 连接器向表发送批量写入(包括删除请求)时,您可以启用批量写入流控制。启用此功能后,Bigtable 会自动执行以下操作:

  • 限制流量速率以避免 Bigtable 集群过载
  • 确保集群负载足以触发 Bigtable 自动扩缩(如果已启用),从而在需要时自动向集群添加更多节点

如需了解详情,请参阅批量写入流控制。如需查看代码示例,请参阅启用批量写入流控制

后续步骤