SDK 版本支持状态

本页面列出了 Apache Beam SDK 和 Dataflow SDK 版本的支持状态:

Apache Beam 2.x SDK

Apache Beam 是一个社区主导的开源项目。Google 是该社区的成员之一,不过我们并不拥有该项目,也不控制其发布流程。我们可能会代表 Dataflow 客户开启 Bug 工单或提交补丁程序至 Apache Beam 代码库,但无法按客户要求创建 Apache Beam 的修补程序或正式版本。如需详细了解版本政策,请参阅 Apache Beam 政策页面。

Dataflow 支持下列 SDK 版本的特定 Apache Beam SDK 组件。这些组件已经过 Dataflow 的全面测试。实验性功能不受支持。

请参阅 Apache Beam 版本说明,了解变更信息。

注意:我们已停止支持开发 SDK 版本(Java 版标记为 -SNAPSHOT,Python 版标记为 .dev)。

以下各表介绍了 Apache Beam 2.x SDK 的支持状态:

Java

SDK 版本 状态 可获得支持的内容 详细信息
2.28.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2022 年 2 月 22 日弃用。

2.27.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2022 年 1 月 7 日弃用。

此版本增加了对 JDK 11 的支持。

2.26.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 12 月 11 日弃用。

2.25.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 10 月 23 日弃用。

2.24.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 9 月 18 日弃用。

已知问题:如果您使用已重置的计数器,而不是使用已设置且仅触发一次的计时器,则不应升级到 2.24.0。如果计时器触发但在执行之前被重置,则水印保全可能会发生泄露,导致流水线作业卡滞。如需了解详情,请参阅 Apache Beam 问题跟踪器
2.23.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 7 月 29 日弃用。

2.22.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
模块 org.apache.beam:beam-runners-google-cloud-dataflow-java 下的 Google Cloud I/O 连接器:bigquery、bigtable、datastore、healthcare、pubsub、spanner
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 6 月 8 日弃用。

2.21.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 5 月 27 日弃用。

2.20.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 4 月 15 日弃用。

2.19.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 2 月 4 日弃用。

2.18.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 1 月 23 日弃用。

2.17.0 支持 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

此版本将于 2021 年 1 月 6 日弃用。

2.16.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 10 月 7 日弃用。

2.15.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 8 月 23 日弃用。

已知问题
  • 由于已知问题,使用架构功能(包括 SQL 转换)的 Dataflow 用户不应升级到 2.15.0。如需了解详情,请参阅 Apache Beam 问题跟踪器
2.14.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 8 月 1 日弃用。

2.13.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 6 月 6 日弃用。

此版本新增了对 JDK 9 或更高版本的实验性支持。如需了解详情,请参阅 Apache Beam 问题跟踪器

2.12.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

已于 2020 年 4 月 25 日弃用。

已知问题
  • Dataflow 运行程序的日志记录配置错误可能会导致所有日志丢失。如需解决此问题,请将 slf4j-jdk14 添加至您的运行时依赖项中。
2.11.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2020 年 3 月 1 日起已弃用。

已知问题
  • Dataflow 运行程序的日志记录配置错误可能会导致所有日志丢失。如需解决此问题,请将 slf4j-jdk14 添加至您的运行时依赖项中。
2.10.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2020 年 2 月 11 日起已弃用。

已知问题
  • SDK 2.10.0 依赖于 gcsio 客户端库 1.9.13 版本,后者存在以下已知问题:

    如需解决这些问题,请升级到 SDK 2.11.0,或将 gcsio 客户端库版本替换为 1.9.16 或更高版本。

  • Dataflow 运行程序的日志记录配置错误可能会导致所有日志丢失。如需解决此问题,请将 slf4j-jdk14 添加至您的运行时依赖项中。
2.9.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 12 月 13 日起已弃用。

已知问题
  • 由于已知问题,启用 Streaming Engine(测试版)实验的用户不应升级到 SDK 2.9.0。如果您选择使用 SDK 2.9.0,就必须同时设置 enable_conscrypt_security_provider 实验性标志来启用 Conscrypt,而这样做会发生已知的稳定性问题。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.8.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 10 月 25 日起已弃用。

已知问题
  • 由于 Conscrypt 库的一个问题,流水线可能会发生卡滞。如果您在 Stackdriver Logging 中看到错误,并且 Logging 中提供的堆栈跟踪记录包含 Conscrypt 相关调用,则表示您可能受到了这个问题的影响。要解决此问题,请升级到 SDK 2.9.0 或更高版本。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.7.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 10 月 3 日起已弃用。

已知问题
  • 由于 Conscrypt 库的一个问题,流水线可能会发生卡滞。如果您在 Stackdriver Logging 中看到错误,并且 Logging 中提供的堆栈跟踪记录包含 Conscrypt 相关调用,则表示您可能受到了这个问题的影响。要解决此问题,请升级到 SDK 2.9.0 或更高版本。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.6.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 8 月 8 日起已弃用。

已知问题
  • 由于 Conscrypt 库的一个问题,流水线可能会发生卡滞。如果您在 Stackdriver Logging 中看到错误,并且 Logging 中提供的堆栈跟踪记录包含 Conscrypt 相关调用,则表示您可能受到了这个问题的影响。要解决此问题,请升级到 SDK 2.9.0 或更高版本。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.5.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management
org.apache.beam:beam-sdks-java-io-kafka

自 2019 年 6 月 6 日起已弃用。

已知问题
  • 由于 Conscrypt 库的一个问题,流水线可能会发生卡滞。如果您在 Stackdriver Logging 中看到错误,并且 Logging 中提供的堆栈跟踪记录包含 Conscrypt 相关调用,则表示您可能受到了这个问题的影响。要解决此问题,请升级到 SDK 2.9.0 或更高版本。
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.4.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

已自 2019 年 3 月 20 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.3.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

已自 2019 年 1 月 30 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.2.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

已自 2018 年 12 月 2 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.1.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

已自 2018 年 8 月 23 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.0.0 已弃用 org.apache.beam:beam-sdks-java-core
org.apache.beam:beam-sdks-java-io-google-cloud-platform
org.apache.beam:beam-sdks-java-extensions-google-cloud-platform-core
org.apache.beam:beam-sdks-java-extensions-protobuf
org.apache.beam:beam-runners-direct-java
org.apache.beam:beam-runners-google-cloud-dataflow-java
org.apache.beam:beam-model-pipeline
org.apache.beam:beam-runners-core-construction-java
org.apache.beam:beam-model-job-management

已自 2018 年 5 月 17 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Apache Beam Java SDK 2.9.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。

Python

SDK 版本 状态 可获得支持的内容 详细信息
2.28.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

此版本将于 2022 年 2 月 22 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.27.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

此版本将于 2022 年 1 月 7 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.26.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、dataframe(预览版)、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

此版本将于 2021 年 12 月 11 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.25.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

此版本将于 2021 年 10 月 23 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.24.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

此版本将于 2021 年 9 月 18 日弃用。此版本也是支持 Python 2 和 Python 3.5 的最后一个 Apache Beam SDK 版本。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.23.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

此版本将于 2021 年 7 月 29 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.22.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器:bigquery、datastore、pubsub

此版本将于 2021 年 6 月 8 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.21.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

此版本将于 2021 年 5 月 27 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.20.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

此版本将于 2021 年 4 月 15 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.19.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

此版本将于 2021 年 2 月 4 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.18.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

此版本将于 2021 年 1 月 23 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.17.0 支持 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

此版本将于 2021 年 1 月 6 日弃用。

Dataflow 不再支持使用 Python 2 的流水线。如需了解详情,请访问 Google Cloud 上的 Python 2 支持页面。

2.16.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
已于 2020 年 10 月 7 日弃用。
2.15.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
已于 2020 年 8 月 23 日弃用。
2.14.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器

已于 2020 年 8 月 1 日弃用。

已知问题
  • 此版本中新增的 MongoDB 来源有一个已知问题,这个问题可能导致数据丢失。如需了解详情,请参阅 BEAM-7866
2.13.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
自 2019 年 6 月 6 日起已弃用。
2.12.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
已自 2020 年 4 月 25 日起弃用。
2.11.0 已弃用 模块 apache_beam 下的核心 Python SDK 库:sub-modules coders、metrics、options、portability、runners.dataflow、runners.direct、transforms、typehints
模块 apache_beam.io 下的基于文件的来源和接收器及相关模块:texacy、avroio、parquetio、tfrecordio、gcsfilesystem、localfilesystem
模块 apache_beam.io.gcp 下的 Google Cloud I/O 连接器
自 2020 年 3 月 1 日起已弃用。
2.10.0 已弃用 自 2020 年 2 月 11 日起已弃用。
2.9.0 已弃用 自 2019 年 12 月 13 日起已弃用。
2.8.0 已弃用 自 2019 年 10 月 25 日起已弃用。
2.7.0 已弃用

自 2019 年 10 月 3 日起已弃用。

2.6.0 已弃用 自 2019 年 8 月 8 日起已弃用。
2.5.0 已弃用 自 2019 年 6 月 6 日起已弃用。
2.4.0 已弃用 已自 2019 年 3 月 20 日起弃用。 由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
2.3.0 已弃用 已自 2019 年 1 月 30 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
2.2.0 已弃用 已自 2018 年 12 月 2 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
2.1.1
2.1.0
已弃用 已自 2018 年 8 月 23 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
2.0.0 已弃用 已自 2018 年 5 月 17 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

Dataflow 2.x SDK

注意:我们已停止支持开发 SDK 版本(Java 版标记为 -SNAPSHOT,Python 版标记为 .dev)。

以下各表介绍了 Dataflow 2.x SDK 的支持状态:

Java

如需了解变更信息,请参阅 Java 版 Dataflow SDK 2.x 版本说明

SDK 版本 状态 详情
2.5.0 已弃用

自 2019 年 6 月 6 日起已弃用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.4.0 已弃用

已自 2019 年 3 月 20 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.3.0 已弃用

已自 2019 年 1 月 30 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.2.0 已弃用

已自 2018 年 12 月 2 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.1.0 已弃用

已自 2018 年 8 月 23 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.0.0 已弃用

已自 2018 年 5 月 17 日起弃用。

由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。
2.0.0-beta3
2.0.0-beta2
2.0.0-beta1
停用

已自 2018 年 2 月 28 日起停用。

已知问题
  • 在特定情况下,Dataflow Java SDK 2.5.0 及更低版本的用户在读取 Cloud Storage 中的文件时,可能会遇到数据重复情况。符合以下所有条件时,就可能会发生重复情况:
    • 您正在读取内容编码设置为 gzip 的文件,并且这些文件由 Cloud Storage 进行动态解压缩转码
    • 解压缩后的文件大于 2.14 GB。
    • 读取 2.14 GB 的数据后,输入流会出错(并重新创建)。
    解决方法是不要设置 content-encoding 标头,并使用适当的扩展名(例如,对于 gzip 文件使用 gz)将压缩文件存储在 Cloud Storage 中。对于现有文件,您可以使用 gsutil 工具更新内容编码标头和文件名。

Python

如需了解变更信息,请参阅 Python 版 Dataflow SDK 2.x 版本说明

SDK 版本 状态 详情
2.5.0 已弃用 自 2019 年 6 月 6 日起已弃用。
2.4.0 已弃用 已自 2019 年 3 月 20 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
2.3.0 已弃用 已自 2019 年 1 月 30 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
2.2.0 已弃用 已自 2018 年 12 月 2 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
2.1.1 已弃用 已自 2018 年 8 月 23 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
修复了与 Python six 软件包的兼容性问题。
如需了解详情,请参阅版本说明
2.1.0 已弃用 已自 2018 年 8 月 23 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
此版本与 Python six 1.11.0 软件包存在兼容性问题。
如需了解详情,请参阅版本说明
2.0.0 已弃用 已自 2018 年 5 月 17 日起弃用。
由于我们已停止支持 JSON-RPC 和全球 HTTP 批处理端点,因此此版本将于 2020 年 8 月 12 日停用。
此版本与 Python six 1.11.0 软件包存在兼容性问题。
如需了解详情,请参阅版本说明
0.6.0
0.5.5
0.5.1
0.4.4
0.4.3
0.4.2
0.4.1
0.4.0
停用 自 2018 年 1 月 29 日起已停用。
0.2.7 及更低版本 停用 自 2017 年 3 月 23 日起已停用。

Dataflow 1.x SDK

下表介绍了 Java 版 Dataflow 1.x SDK 的支持状态。如需了解变更信息,请参阅 Java 版 Dataflow SDK 1.x 版本说明

SDK 版本 状态 详情
1.9.1
1.9.0
不支持 自 2018 年 10 月 16 日起已停止支持。
1.8.1
1.8.0
不支持 自 2018 年 4 月 9 日起已停止支持。
1.7.0
不支持 自 2018 年 3 月 12 日起已停止支持。
1.6.1
1.6.0
不支持 自 2018 年 1 月 22 日起已停止支持。
1.5.1
1.5.0
1.4.0
1.3.0
不支持 自 2017 年 10 月 1 日起已停止支持。
1.2.1
1.2.0
1.1.0
1.0.0
不支持 自 2017 年 2 月 26 日起已停止支持。
1.0.0 之前的版本(包括 0.4.* 和 0.3.*) 不支持