适用于 BigQuery 的 Dataflow 托管式 I/O

托管式 I/O 支持 BigQuery 的以下功能：

• 创建动态表
• 动态目标
• 对于读取，连接器使用 BigQuery Storage Read API。

• 对于写入，连接器使用以下 BigQuery 方法：

  • 如果来源是无界限的且 Dataflow 使用的是流式“正好一次”处理，则连接器会使用 BigQuery Storage Write API 以“正好一次”传送语义的方式将数据写入 BigQuery。
  • 如果来源是无界限的且 Dataflow 使用的是流式“至少一次”处理，则连接器会使用 BigQuery Storage Write API 以“至少一次”传送语义的方式将数据写入 BigQuery。
  • 如果来源是有界限的，则连接器会使用 BigQuery 文件加载。

要求

以下 SDK 支持适用于 BigQuery 的托管式 I/O：

• Java 版 Apache Beam SDK 2.61.0 或更高版本
• Python 版 Apache Beam SDK 2.61.0 版或更高版本

配置

注意：此处提及的配置参数可能已过时。如需了解最新的配置参数集，请参阅 Apache Beam 托管式 I/O 连接器。

读取和写入配置	数据类型	说明
table	字符串	要读取或写入的 BigQuery 表。格式为 "PROJECT.DATASET.TABLE"。示例："my_project.dataset1.table1"。
kms_key	字符串	指定 Cloud Key Management Service (Cloud KMS) 密钥，以在写入时加密 BigQuery 表，或加密在读取期间创建的任何临时表。
读取配置	数据类型	说明
fields	字符串列表	要从表中读取的列的列表。当表包含许多列时，此参数可实现高效读取。
query	字符串	要从中读取的 SQL 查询。如果已指定，则连接器会在 BigQuery 上运行查询并读取查询结果。
row_restriction	字符串	在服务器端过滤数据的谓词。示例： "age > 18"。
写入配置	数据类型	说明
triggering_frequency	整数	对于无界限来源，指定文件写入触发的频率（以秒为单位）。

对于读取，您必须指定 table 或 query。对于写入，您必须指定 table。

如需了解详情，请参阅以下主题：

• 从 BigQuery 中读取
• 写入 BigQuery