适用于 BigQuery 的 Dataflow 托管式 I/O

托管式 I/O 支持 BigQuery 的以下功能:

使用要求

需要使用 Java 版 Apache Beam SDK 2.61.0 或更高版本。

配置

读取和写入配置 数据类型 说明
table 字符串 要读取或写入的 BigQuery 表。格式为 "PROJECT.DATASET.TABLE"。示例:"my_project.dataset1.table1"
kms_key 字符串 指定 Cloud Key Management Service (Cloud KMS) 密钥,用于在写入时加密 BigQuery 表,或在读取期间加密创建的任何临时表。
读取配置 数据类型 说明
fields 字符串列表 要从表中读取的列的列表。这样,当表包含许多列时,可实现高效读取。
query 字符串 要从中读取数据的 SQL 查询。如果指定,连接器会在 BigQuery 上运行查询并读取查询结果。
row_restriction 字符串 用于在服务器端过滤数据的谓词。示例: "age > 18"
写入配置 数据类型 说明
triggering_frequency 整数 对于无界来源,指定触发文件写入的频率(以秒为单位)。

对于读取操作,您必须指定 tablequery。对于写入,您必须指定 table

如需了解详情,请参阅以下主题: