托管式 I/O 支持 BigQuery 的以下功能:
- 创建动态表
- 动态目的地
- 对于读取操作,该连接器使用 BigQuery Storage Read API。
对于写入操作,连接器使用以下 BigQuery 方法:
- 如果来源是无限的,连接器会以“正好一次”模式使用 BigQuery Storage Write API 直接将数据写入 BigQuery。
- 如果来源是有限的,连接器会使用 BigQuery 文件加载。
使用要求
需要使用 Java 版 Apache Beam SDK 2.61.0 或更高版本。
配置
读取和写入配置 | 数据类型 | 说明 |
---|---|---|
table |
字符串 | 要读取或写入的 BigQuery 表。格式为 "PROJECT.DATASET.TABLE" 。示例:"my_project.dataset1.table1" 。 |
kms_key |
字符串 | 指定 Cloud Key Management Service (Cloud KMS) 密钥,用于在写入时加密 BigQuery 表,或在读取期间加密创建的任何临时表。 |
读取配置 | 数据类型 | 说明 |
fields |
字符串列表 | 要从表中读取的列的列表。这样,当表包含许多列时,可实现高效读取。 |
query |
字符串 | 要从中读取数据的 SQL 查询。如果指定,连接器会在 BigQuery 上运行查询并读取查询结果。 |
row_restriction |
字符串 | 用于在服务器端过滤数据的谓词。示例:
"age > 18" 。 |
写入配置 | 数据类型 | 说明 |
triggering_frequency |
整数 | 对于无界来源,指定触发文件写入的频率(以秒为单位)。 |
对于读取操作,您必须指定 table
或 query
。对于写入,您必须指定 table
。
如需了解详情,请参阅以下主题: