本页面列出了 Apache Beam SDK 和 Dataflow SDK 版本的支持状态:
Apache Beam 2.x SDK
Apache Beam 是一个社区主导的开源项目。Google 是该社区的成员之一,不过我们并不拥有该项目,也不控制其发布流程。我们可能会代表 Dataflow 客户开启 Bug 工单或提交补丁程序至 Apache Beam 代码库,但无法按客户要求创建 Apache Beam 的修补程序或正式版本。如需详细了解版本政策,请参阅 Apache Beam 政策页面。
Dataflow 支持下列 SDK 版本的特定 Apache Beam SDK 组件。这些组件已经过 Dataflow 的全面测试。实验性功能不受支持。
请参阅 Apache Beam 版本说明,了解变更信息。
注意:我们已停止支持开发 SDK 版本(Java 版标记为 -SNAPSHOT
,Python 版标记为 .dev
)。
以下各表介绍了 Apache Beam 2.x SDK 的支持状态:
Java
SDK 版本 | 状态 | 可获得支持的内容 | 详细信息 |
---|---|---|---|
2.27.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java 模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2022 年 1 月 7 日弃用。 此版本增加了对 JDK 11 的支持。 |
2.26.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java 模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 12 月 11 日弃用。 |
2.25.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java 模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 10 月 23 日弃用。 |
2.24.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java 模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 9 月 18 日弃用。 已知问题:如果您使用已重置的计数器,而不是使用已设置且仅触发一次的计时器,则不应升级到 2.24.0。如果计时器触发但在执行之前被重置,则水印保全可能会发生泄露,导致流水线作业卡滞。如需了解详情,请参阅 Apache Beam 问题跟踪器。 |
2.23.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java 模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 7 月 29 日弃用。 |
2.22.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java 模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 6 月 8 日弃用。 |
2.21.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 5 月 27 日弃用。 |
2.20.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 4 月 15 日弃用。 |
2.19.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 2 月 4 日弃用。 |
2.18.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 1 月 23 日弃用。 |
2.17.0 | 支持 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
此版本将于 2021 年 1 月 6 日弃用。 |
2.16.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
已于 2020 年 10 月 7 日弃用。 |
2.15.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
已于 2020 年 8 月 23 日弃用。 已知问题:
|
2.14.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
已于 2020 年 8 月 1 日弃用。 |
2.13.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
已于 2020 年 6 月 6 日弃用。 此版本新增了对 JDK 9 或更高版本的实验性支持。如需了解详情,请参阅 Apache Beam 问题跟踪器。 |
2.12.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
已于 2020 年 4 月 25 日弃用。 已知问题:
|
2.11.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
自 2020 年 3 月 1 日起已弃用。 已知问题:
|
2.10.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
自 2020 年 2 月 11 日起已弃用。 已知问题:
|
2.9.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
自 2019 年 12 月 13 日起已弃用。 已知问题:
|
2.8.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
自 2019 年 10 月 25 日起已弃用。 已知问题:
|
2.7.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
自 2019 年 10 月 3 日起已弃用。 已知问题:
|
2.6.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
自 2019 年 8 月 8 日起已弃用。 已知问题:
|
2.5.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management org.apache.beam:beam-sdks-java-io-kafka |
自 2019 年 6 月 6 日起已弃用。 已知问题:
|
2.4.0 | 已弃用 | org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management |
已自 2019 年 3 月 20 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.3.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management |
已自 2019 年 1 月 30 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.2.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management |
已自 2018 年 12 月 2 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.1.0 | 已弃用 |
org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management |
已自 2018 年 8 月 23 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.0.0 | 已弃用 | org.apache.beam:beam-sdks-java-core org.apache.beam:beam-sdks-java-io-google-cloud-platform org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core org.apache.beam:beam-sdks-java-extensions-protobuf org.apache.beam:beam-runners-direct-java org.apache.beam:beam-runners-google-cloud-dataflow-java org.apache.beam:beam-model-pipeline org.apache.beam:beam-runners-core-construction-java org.apache.beam:beam-model-job-management |
已自 2018 年 5 月 17 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
Python
SDK 版本 | 状态 | 可获得支持的内容 | 详细信息 |
---|---|---|---|
2.27.0 | 支持 | 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub |
此版本将于 2022 年 1 月 7 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.26.0 | 支持 | 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub |
此版本将于 2021 年 12 月 11 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.25.0 | 支持 | 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub |
此版本将于 2021 年 10 月 23 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.24.0 | 支持 | 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub |
此版本将于 2021 年 9 月 18 日弃用。此版本也是支持 Python 2 和 Python 3.5 的最后一个 Apache Beam SDK 版本。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.23.0 | 支持 | 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub |
此版本将于 2021 年 7 月 29 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.22.0 | 支持 | 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub |
此版本将于 2021 年 6 月 8 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.21.0 | 支持 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
此版本将于 2021 年 5 月 27 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.20.0 | 支持 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
此版本将于 2021 年 4 月 15 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.19.0 | 支持 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
此版本将于 2021 年 2 月 4 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.18.0 | 支持 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
此版本将于 2021 年 1 月 23 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.17.0 | 支持 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
此版本将于 2021 年 1 月 6 日弃用。 Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。 |
2.16.0 | 已弃用 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
已于 2020 年 10 月 7 日弃用。 |
2.15.0 | 已弃用 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
已于 2020 年 8 月 23 日弃用。 |
2.14.0 | 已弃用 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
已于 2020 年 8 月 1 日弃用。 已知问题:
|
2.13.0 | 已弃用 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
自 2019 年 6 月 6 日起已弃用。 |
2.12.0 | 已弃用 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
已自 2020 年 4 月 25 日起弃用。 |
2.11.0 | 已弃用 |
模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints 模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem 模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器 |
自 2020 年 3 月 1 日起已弃用。 |
2.10.0 | 已弃用 | 自 2020 年 2 月 11 日起已弃用。 | |
2.9.0 | 已弃用 | 自 2019 年 12 月 13 日起已弃用。 | |
2.8.0 | 已弃用 | 自 2019 年 10 月 25 日起已弃用。 | |
2.7.0 | 已弃用 |
自 2019 年 10 月 3 日起已弃用。 |
|
2.6.0 | 已弃用 | 自 2019 年 8 月 8 日起已弃用。 | |
2.5.0 | 已弃用 | 自 2019 年 6 月 6 日起已弃用。 | |
2.4.0 | 已弃用 | 已自 2019 年 3 月 20 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 | |
2.3.0 | 已弃用 |
已自 2019 年 1 月 30 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 |
|
2.2.0 | 已弃用 |
已自 2018 年 12 月 2 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 |
|
2.1.1 2.1.0 |
已弃用 |
已自 2018 年 8 月 23 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 |
|
2.0.0 | 已弃用 |
已自 2018 年 5 月 17 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 |
Dataflow 2.x SDK
注意:我们已停止支持开发 SDK 版本(Java 版标记为 -SNAPSHOT
,Python 版标记为 .dev
)。
以下各表介绍了 Dataflow 2.x SDK 的支持状态:
Java
如需了解变更信息,请参阅 Java 版 Dataflow SDK 2.x 版本说明。
SDK 版本 | 状态 | 详情 |
---|---|---|
2.5.0 | 已弃用 |
自 2019 年 6 月 6 日起已弃用。 已知问题:
|
2.4.0 | 已弃用 |
已自 2019 年 3 月 20 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.3.0 | 已弃用 |
已自 2019 年 1 月 30 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.2.0 | 已弃用 |
已自 2018 年 12 月 2 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.1.0 | 已弃用 |
已自 2018 年 8 月 23 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.0.0 | 已弃用 |
已自 2018 年 5 月 17 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 已知问题:
|
2.0.0-beta3 2.0.0-beta2 2.0.0-beta1 |
停用 |
已自 2018 年 2 月 28 日起停用。 已知问题:
|
Python
如需了解变更信息,请参阅 Python 版 Dataflow SDK 2.x 版本说明。
SDK 版本 | 状态 | 详情 |
---|---|---|
2.5.0 | 已弃用 | 自 2019 年 6 月 6 日起已弃用。 |
2.4.0 | 已弃用 |
已自 2019 年 3 月 20 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 |
2.3.0 | 已弃用 |
已自 2019 年 1 月 30 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 |
2.2.0 | 已弃用 |
已自 2018 年 12 月 2 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 |
2.1.1 | 已弃用 |
已自 2018 年 8 月 23 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 修复了与 Python six 软件包的兼容性问题。如需了解详情,请参阅版本说明。 |
2.1.0 | 已弃用 |
已自 2018 年 8 月 23 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 此版本与 Python six 1.11.0 软件包存在兼容性问题。如需了解详情,请参阅版本说明。 |
2.0.0 | 已弃用 |
已自 2018 年 5 月 17 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。 此版本与 Python six 1.11.0 软件包存在兼容性问题。如需了解详情,请参阅版本说明。 |
0.6.0 0.5.5 0.5.1 0.4.4 0.4.3 0.4.2 0.4.1 0.4.0 |
停用 | 自 2018 年 1 月 29 日起已停用。 |
0.2.7 及更低版本 | 停用 | 自 2017 年 3 月 23 日起已停用。 |
Dataflow 1.x SDK
下表介绍了 Java 版 Dataflow 1.x SDK 的支持状态。如需了解变更信息,请参阅 Java 版 Dataflow SDK 1.x 版本说明。
SDK 版本 | 状态 | 详情 |
---|---|---|
1.9.1 1.9.0 |
不支持 | 自 2018 年 10 月 16 日起已停止支持。 |
1.8.1 1.8.0 |
不支持 | 自 2018 年 4 月 9 日起已停止支持。 |
1.7.0 |
不支持 | 自 2018 年 3 月 12 日起已停止支持。 |
1.6.1 1.6.0 |
不支持 | 自 2018 年 1 月 22 日起已停止支持。 |
1.5.1 1.5.0 1.4.0 1.3.0 |
不支持 | 自 2017 年 10 月 1 日起已停止支持。 |
1.2.1 1.2.0 1.1.0 1.0.0 |
不支持 | 自 2017 年 2 月 26 日起已停止支持。 |
1.0.0 之前的版本(包括 0.4.* 和 0.3.*) | 不支持 |