SDK 版本支持状态

本页面列出了 Apache Beam SDK 和 Dataflow SDK 版本的 Dataflow 支持状态:

Apache Beam SDK 支持级别定义

Apache Beam SDK 的 Dataflow 支持级别如下:

  • 支持:Dataflow 支持 Apache Beam SDK 版本(从发布之日开始至弃用之日)。
  • 已弃用:一个 SDK 版本被弃用后,虽然它仍然可以继续与 Dataflow 搭配使用,但在未来它可能会被停用。在 SDK 版本被停用之前,客户会收到通知,并且会给予一定时间来升级他们的环境。从已弃用的 SDK 版本提交的作业请求将导致警告消息。虽然已弃用的 SDK 版本可以继续与 Dataflow 搭配使用,但建议您将使用已弃用的 SDK 版本的环境更新为使用受支持的版本。
  • 已停用:已停用的 SDK 版本不能再与 Dataflow 搭配使用。从已停用的 SDK 版本提交的作业请求将导致错误。如需将 SDK 与 Dataflow 搭配使用,您必须将环境更新为使用未停用的 SDK 版本。建议您将 SDK 更新到受支持的版本。SDK 版本很少被停用;在 SDK 版本被停用之前,客户会收到通知,并且会给予一定时间来升级他们的环境。

上述定义不适用于从未受到支持的 SDK 或功能。

Apache Beam 2.x SDK

Apache Beam 是一个社区主导的开源项目。Google 和 Google Cloud 是 Apache Beam 社区的一部分,但我们并不拥有该项目,也不控制发布流程。我们可能会代表 Dataflow 客户开启 Bug 工单或提交补丁程序至 Apache Beam 代码库。我们无法按需创建修补程序或 Apache Beam 官方版本。如需详细了解版本政策,请参阅 Apache Beam 政策页面。

Dataflow 支持本页所列 SDK 版本的特定 Apache Beam SDK 组件。这些组件已经过 Dataflow 的全面测试。实验性功能不受支持。

请参阅 Apache Beam 版本说明,了解变更信息。

以下各表介绍了 Apache Beam 2.x SDK(包括 Apache Beam Python SDK、Apache Beam Java SDK 和 Apache Beam Go SDK)的支持状态:

Java

SDK 版本 状态 可获得支持的内容 详情
2.55.1 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2025 年 4 月 8 日弃用。
2.55.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql

此版本将于 2025 年 3 月 25 日弃用。

已知问题:跨语言流水线中的 WriteToJson 转换失败并显示错误。如需解决此问题,请升级到 Apache Beam 2.55.1。如需了解详情,请参阅问题 #30776:Beam YAML WriteToJson 失败

2.54.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2025 年 2 月 14 日弃用。
2.53.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2025 年 1 月 4 日弃用。
2.52.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2024 年 11 月 17 日弃用。
2.51.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2024 年 10 月 12 日弃用。
2.50.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2014 年 8 月 30 日弃用。
2.49.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2024 年 7 月 17 日弃用。
2.48.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2023 年 5 月 31 日弃用。
2.47.0 受支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
此版本将于 2024 年 5 月 10 日弃用。
2.46.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2024 年 3 月 10 日弃用。
2.45.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2024 年 2 月 15 日弃用。
2.44.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2024 年 1 月 13 日弃用。
2.43.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2023 年 11 月 17 日弃用。
2.42.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2023 年 10 月 17 日弃用。
2.41.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2023 年 8 月 23 日弃用。
2.40.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2023 年 6 月 27 日弃用。
2.39.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2023 年 5 月 25 日弃用。
2.38.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2023 年 4 月 20 日弃用。
2.37.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2023 年 3 月 4 日弃用。
2.36.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2023 年 2 月 7 日弃用。
2.35.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-io-jdbc
org.apache.beam:beam-sdks-java-extensions-sql
已于 2022 年 12 月 29 日弃用。
2.34.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
org.apache.beam:beam-sdks-java-extensions-sql
已于 2022 年 11 月 11 日弃用。
2.33.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
已于 2022 年 10 月 7 日弃用。
2.32.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
已于 2022 年 8 月 25 日弃用。
2.31.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
已于 2022 年 7 月 8 日弃用。
2.30.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka
已于 2022 年 6 月 10 日弃用。
2.29.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2022 年 4 月 29 日弃用。

已知问题:如果您使用 Runner V2,则默认情况下,Dataflow 将使用 Java 8 SDK 容器,无论用户使用哪个 Java 版本。如需解决 Java 11 问题,您可以通过提供流水线选项`--worker_harness_container_image=gcr.io/cloud-dataflow/v1beta3/beam_java11_sdk:2.29.0` 替换默认 SDK 映像。如需了解详情,请参阅 Apache Beam 问题跟踪器

2.28.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2022 年 2 月 22 日弃用。

2.27.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2022 年 1 月 7 日弃用。

此版本增加了对 JDK 11 的支持。

2.26.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 12 月 11 日弃用。

2.25.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 10 月 23 日弃用。

2.24.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 9 月 18 日弃用。

已知问题:如果您使用已重置的计时器,而不是使用已设置且仅触发一次的计时器,则不应升级到 2.24.0。如果计时器触发但在执行之前被重置,则水印保全可能会发生泄露,导致流水线作业卡滞。如需了解详情,请参阅 Apache Beam 问题跟踪器
2.23.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 7 月 29 日弃用。

2.22.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 6 月 8 日弃用。

2.21.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 5 月 27 日弃用。

2.20.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 4 月 15 日弃用。

2.19.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 2 月 4 日弃用。

2.18.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 1 月 23 日弃用。

2.17.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2021 年 1 月 6 日弃用。

2.16.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 10 月 7 日弃用。

2.15.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 8 月 23 日弃用。

已知问题
  • 由于已知问题,使用架构功能(包括 SQL 转换)的 Dataflow 用户不应升级到 2.15.0。如需了解详情,请参阅 Apache Beam 问题跟踪器
2.14.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 8 月 1 日弃用。

2.13.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 6 月 6 日弃用。

此版本新增了对 JDK 9 及更高版本的实验性支持。如需了解详情,请参阅 Apache Beam 问题跟踪器

2.12.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 4 月 25 日弃用。

已知问题
  • Dataflow 运行程序的日志记录配置错误可能会导致所有日志丢失。如需解决此问题,请将 slf4j-jdk14 添加至您的运行时依赖项中。
2.11.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2020 年 3 月 1 日起已弃用。

已知问题
  • Dataflow 运行程序的日志记录配置错误可能会导致所有日志丢失。如需解决此问题,请将 slf4j-jdk14 添加至您的运行时依赖项中。
2.10.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2020 年 2 月 11 日起已弃用。

已知问题
  • SDK 2.10.0 依赖于 gcsio 客户端库 1.9.13 版本,后者存在以下已知问题:

    如需解决这些问题,请升级到 SDK 2.11.0,或将 gcsio 客户端库版本替换为 1.9.16 或更高版本。

  • Dataflow 运行程序的日志记录配置错误可能会导致所有日志丢失。如需解决此问题,请将 slf4j-jdk14 添加至您的运行时依赖项中。
2.9.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 12 月 13 日起已弃用。

已知问题
  • 如果您启用了 Streaming Engine(Beta 版)实验,请勿因为已知问题而升级到 SDK 2.9.0。如果您选择使用 SDK 2.9.0,就必须同时设置 enable_conscrypt_security_provider 实验性标志来启用 Conscrypt,而这样做会发生已知的稳定性问题。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.8.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 10 月 25 日起已弃用。

已知问题
  • 由于 Conscrypt 库的一个问题,流水线可能会卡住。如果您在 Stackdriver Logging 中看到错误,并且 Logging 中提供的堆栈跟踪记录包含 Conscrypt 相关调用,则表示您可能受到了这个问题的影响。要解决此问题,请升级到 SDK 2.9.0 或更高版本。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.7.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 10 月 3 日起已弃用。

已知问题
  • 由于 Conscrypt 库的一个问题,流水线可能会卡住。如果您在 Stackdriver Logging 中看到错误,并且 Logging 中提供的堆栈跟踪记录包含 Conscrypt 相关调用,则表示您可能受到了这个问题的影响。要解决此问题,请升级到 SDK 2.9.0 或更高版本。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.6.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 8 月 8 日起已弃用。

已知问题
  • 由于 Conscrypt 库的一个问题,流水线可能会卡住。如果您在 Stackdriver Logging 中看到错误,并且 Logging 中提供的堆栈跟踪记录包含 Conscrypt 相关调用,则表示您可能受到了这个问题的影响。要解决此问题,请升级到 SDK 2.9.0 或更高版本。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.5.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 6 月 6 日起已弃用。

已知问题
  • 由于 Conscrypt 库的一个问题,流水线可能会卡住。如果您在 Stackdriver Logging 中看到错误,并且 Logging 中提供的堆栈跟踪记录包含 Conscrypt 相关调用,则表示您可能受到了这个问题的影响。要解决此问题,请升级到 SDK 2.9.0 或更高版本。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.4.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.3.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.2.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.1.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.0.0 已停用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。

Python

SDK 版本 状态 可获得支持的内容 详情
2.55.1 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2025 年 4 月 8 日弃用。

2.55.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2025 年 3 月 25 日弃用。

已知问题:跨语言流水线中的 WriteToJson 转换失败并显示错误。如需解决此问题,请升级到 Apache Beam 2.55.1。如需了解详情,请参阅问题 #30776:Beam YAML WriteToJson 失败

2.54.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2025 年 2 月 14 日弃用。

2.53.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2025 年 1 月 4 日弃用。

2.52.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2024 年 11 月 17 日弃用。

2.51.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2024 年 10 月 12 日弃用。

2.50.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2014 年 8 月 30 日弃用。

2.49.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2024 年 7 月 17 日弃用。

2.48.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2023 年 5 月 31 日弃用。

2.47.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2024 年 5 月 10 日弃用。

2.46.0 受支持 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

此版本将于 2024 年 9 月 10 日弃用。由于在后续版本中发现了已知问题,此版本的支持时间范围已延长。

2.45.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2024 年 2 月 15 日弃用。

2.44.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2024 年 1 月 13 日弃用。

2.43.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2023 年 11 月 17 日弃用。

2.42.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2023 年 10 月 17 日弃用。

2.41.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2023 年 8 月 23 日弃用。

2.40.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、ml.inference(不包括 PytorchModelHandlerKeyedTensor 和 SklearnModelHandlerPandas)、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2023 年 6 月 27 日弃用。

2.39.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2023 年 5 月 25 日弃用。

2.38.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2023 年 4 月 20 日弃用。

2.37.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2023 年 3 月 4 日弃用。

已知问题
  • 使用 WriteToBigQuery 并将 ignore_unknown_columns 参数设置为 true 时,参数值会被忽略。此问题在 2.38.0 版中已得到解决。如需了解详情,请参阅 BEAM-14039
2.36.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2023 年 2 月 7 日弃用。

已知问题
  • 使用 WriteToBigQuery 并将 ignore_unknown_columns 参数设置为 true 时,参数值会被忽略。此问题在 2.38.0 版中已得到解决。如需了解详情,请参阅 BEAM-14039
2.35.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:textio、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub
apache_beam.io.jdbc 下的连接器:ReadFromJdbc、WriteToJdbc。

已于 2022 年 12 月 29 日弃用。

2.34.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints、sql
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2022 年 11 月 11 日弃用。

2.33.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2022 年 10 月 7 日弃用。

2.32.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2022 年 8 月 25 日弃用。

2.31.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem、filesystems、fileio
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2022 年 7 月 8 日弃用。

2.30.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2022 年 6 月 10 日弃用。

2.29.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2022 年 4 月 29 日弃用。

2.28.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2022 年 2 月 22 日弃用。

2.27.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2022 年 1 月 7 日弃用。

2.26.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2021 年 12 月 11 日弃用。

2.25.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2021 年 10 月 23 日弃用。

2.24.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2021 年 9 月 18 日弃用。此外,Apache Beam SDK 2.24.0 版本是最后支持 Python 2 和 Python 3.5 的版本。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.23.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2021 年 7 月 29 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.22.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

已于 2021 年 6 月 8 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.21.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

已于 2021 年 5 月 27 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.20.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

已于 2021 年 4 月 15 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.19.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

已于 2021 年 2 月 4 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.18.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

已于 2021 年 1 月 23 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.17.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

已于 2021 年 1 月 6 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.16.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
已于 2020 年 10 月 7 日弃用。
2.15.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
已于 2020 年 8 月 23 日弃用。
2.14.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

已于 2020 年 8 月 1 日弃用。

已知问题
  • 此版本中新增的 MongoDB 来源有一个已知问题,这个问题可能导致数据丢失。如需了解详情,请参阅 BEAM-7866
2.13.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
自 2020 年 6 月 6 日起已弃用。
2.12.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
已自 2020 年 4 月 25 日起弃用。
2.11.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:submodules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
自 2020 年 3 月 1 日起已弃用。
2.10.0 已弃用 自 2020 年 2 月 11 日起已弃用。
2.9.0 已弃用 自 2019 年 12 月 13 日起已弃用。
2.8.0 已弃用 自 2019 年 10 月 25 日起已弃用。
2.7.0 已弃用

自 2019 年 10 月 3 日起已弃用。

2.6.0 已弃用 自 2019 年 8 月 8 日起已弃用。
2.5.0 已弃用 自 2019 年 6 月 6 日起已弃用。
2.4.0 已弃用 已自 2019 年 3 月 20 日起弃用。
2.3.0 已弃用 已自 2019 年 1 月 30 日起弃用。
2.2.0 已弃用 已自 2018 年 12 月 2 日起弃用。
2.1.1
2.1.0
已弃用 已自 2018 年 8 月 23 日起弃用。
2.0.0 已弃用 已自 2018 年 5 月 17 日起弃用。

Go

SDK 版本 状态 可获得支持的内容 详情
2.55.1 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2025 年 4 月 8 日弃用。
2.55.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2025 年 3 月 25 日弃用。
2.54.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2025 年 2 月 14 日弃用。
2.53.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2025 年 1 月 4 日弃用。
2.52.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2024 年 11 月 17 日弃用。
2.51.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2024 年 10 月 12 日弃用。
2.50.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2014 年 8 月 30 日弃用。
2.49.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2024 年 7 月 17 日弃用。
2.48.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2023 年 5 月 31 日弃用。
2.47.0 受支持 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
此版本将于 2024 年 5 月 10 日弃用。
2.46.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
已于 2024 年 3 月 10 日弃用。
2.45.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
已于 2024 年 2 月 15 日弃用。
2.44.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
已于 2024 年 1 月 13 日弃用。
2.43.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
已于 2023 年 11 月 17 日弃用。
2.42.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
已于 2023 年 10 月 17 日弃用。
2.41.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
已于 2023 年 8 月 23 日弃用。
2.40.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
已于 2023 年 6 月 27 日弃用。
2.39.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/xlang
已于 2023 年 5 月 25 日弃用。
2.38.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/pubsubio
- beam/io/xlang
已于 2023 年 4 月 20 日弃用。
2.37.0 已弃用 以下目录中的软件包:
- Core Beam Go SDK 软件包
- beam/transforms
- beam/io/textio
- beam/io/xlang
已于 2023 年 3 月 4 日弃用。

Dataflow 2.x SDK

以下各表介绍了 Dataflow 2.x SDK(包括 Dataflow Java SDK 和 Dataflow Python SDK)的支持状态:

Java

如需了解变更信息,请参阅 Java 版 Dataflow SDK 2.x 版本说明

SDK 版本 状态 详情
2.5.0 已弃用

自 2019 年 6 月 6 日起已弃用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.4.0 已停用

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.3.0 已停用

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.2.0 已停用

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.1.0 已停用

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.0.0 已停用

自 2020 年 8 月 12 日起已停用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本已停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
停用

已自 2018 年 2 月 28 日起停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gcloud storage 命令更新内容编码标头和文件名。

Python

如需了解变更信息,请参阅 Python 版 Dataflow SDK 2.x 版本说明

SDK 版本 状态 详情
2.5.0 已弃用 自 2019 年 6 月 6 日起已弃用。
2.4.0 已弃用 已自 2019 年 3 月 20 日起弃用。
2.3.0 已弃用 已自 2019 年 1 月 30 日起弃用。
2.2.0 已弃用 已自 2018 年 12 月 2 日起弃用。
2.1.1 已弃用 已自 2018 年 8 月 23 日起弃用。
修复了与 Python six 软件包的兼容性问题。
如需了解详情,请参阅版本说明
2.1.0 已弃用 已自 2018 年 8 月 23 日起弃用。
此版本与 Python six 1.11.0 软件包存在兼容性问题。
如需了解详情,请参阅版本说明
2.0.0 已弃用 已自 2018 年 5 月 17 日起弃用。
此版本与 Python six 1.11.0 软件包存在兼容性问题。
如需了解详情,请参阅版本说明
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
停用 自 2018 年 1 月 29 日起已停用。
0.2.7 及更低版本 停用 自 2017 年 3 月 23 日起已停用。