- 自 2024 年 7 月 31 日起,您将无法在 Google Cloud 控制台中访问 Dataflow SQL。
- 自 2025 年 1 月 31 日起,您将无法在 Google Cloud CLI 中使用 Dataflow SQL。
替代方案:Beam SQL
Beam SQL 可让您使用 SQL 语句查询有界限和无界限 PCollections
。如果您在使用 Apache Beam 笔记本,则可以使用 IPython 自定义魔法命令
beam_sql
来加速流水线开发。
Beam SQL 提供与 Dataflow SQL 类似的功能,使用 SQL 语句查询 PCollections
。
迁移
我们建议您尽快开始将 Dataflow SQL 查询迁移到 Beam SQL。
改用 Beam SQL 是一项重大更改,会影响任何 Dataflow SQL 作业或查询。您需要重新构建这些作业和查询。
进行此更改后,您将无法创建新的 Dataflow SQL 作业。不过,此更改不会影响已在运行的 Dataflow SQL 作业。
如需了解如何在 Beam SQL 中创建查询,请参阅 Beam SQL 和 beam_sql
魔法命令以及 Beam SQL 概览。