Cloud Composer 版本列表

Cloud Composer 会构建 Docker 映像,以用于将原始 Airflow 版本与其他常用的二进制文件和 Python 库进行捆绑。这些 Docker 映像与每个 Cloud Composer 服务版本一起进行版本控制。

受支持的 Cloud Composer 版本

新环境

下表列出了 Cloud Composer 支持用于创建环境的 Apache Airflow 和 Python 版本。

此外,该表还提供了每个版本的预安装 PyPI 软件包、已反向移植的修复以及自定义设置。

版本 Airflow 版本 受支持的 Python 版本 随附的 PyPI 软件包 自定义设置 发布日期 备注
composer-1.6.1-airflow-1.10.1 1.10.1 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 4 月 4 日
composer-1.6.1-airflow-1.10.0 1.10.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 4 月 4 日
composer-1.6.1-airflow-1.9.0 1.9.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 4 月 4 日 默认版本

早期环境

下表列出了早期 Cloud Composer 版本支持用于现有环境的 Apache Airflow 和 Python 版本。

版本 Airflow 版本 受支持的 Python 版本 随附的 PyPI 软件包 自定义设置 发布日期 备注
composer-1.6.0-airflow-1.10.1 1.10.1 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 4 月 3 日
composer-1.6.0-airflow-1.10.0 1.10.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 4 月 3 日
composer-1.6.0-airflow-1.9.0 1.9.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 4 月 3 日
composer-1.5.2-airflow-1.10.1 1.10.1 2、3 与 composer-1.5.0-airflow-1.9.0 相同与 composer-1.5.0-airflow-1.9.0 相同 2019 年 3 月 11 日
composer-1.5.2-airflow-1.10.0 1.10.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 3 月 11 日
composer-1.5.2-airflow-1.9.0 1.9.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 3 月 11 日
composer-1.5.1-airflow-1.10.1 1.10.1 2、3 与 composer-1.5.0-airflow-1.9.0 相同与 composer-1.5.0-airflow-1.9.0 相同 2019 年 3 月 7 日 已于 2019 年 3 月 11 日回滚
composer-1.5.1-airflow-1.10.0 1.10.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 3 月 7 日 已于 2019 年 3 月 11 日回滚
composer-1.5.1-airflow-1.9.0 1.9.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 3 月 7 日 已于 2019 年 3 月 11 日回滚
composer-1.5.0-airflow-1.10.1 1.10.1 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 2 月 6 日
composer-1.5.0-airflow-1.10.0 1.10.0 2、3 与 composer-1.5.0-airflow-1.9.0 相同 与 composer-1.5.0-airflow-1.9.0 相同 2019 年 2 月 6 日
composer-1.5.0-airflow-1.9.0 1.9.0 2、3 click==6.7、redis==2.10.6、celery[redis]、flower、google-api-python-client、google-cloud-bigquery、google-cloud-container、google-cloud-logging、google-cloud-storage、iso8601、kubernetes、protobuf、sendgrid、tensorflow 和 pipdeptree
- Airflow 的可选依赖项:mysql、password、postgres、gcp_api 和 crypto
- Python 2:google-cloud-dataflow>=2.5.0、tensorflow-transform
- Python 3:virtualenv
- 反向移植了用于解决 CVE-2018-20244 漏洞(即 Apache Airflow 发生 Stored XSS)的修复
- 反向移植了用于解决 DataflowJavaOperator 和 DataflowPythonOperator 的 GCP 连接中断问题的修复
2019 年 2 月 6 日 默认版本
composer-1.4.2-airflow-1.10.0 1.10.0 2、3 与 composer-1.3.0-airflow-1.9.0 相同 与 composer-1.3.0-airflow-1.9.0 相同 2019 年 1 月 10 日
composer-1.4.2-airflow-1.9.0 1.9.0 2、3 与 composer-1.3.0-airflow-1.9.0 相同 与 composer-1.3.0-airflow-1.9.0 相同 2019 年 1 月 10 日
composer-1.4.1-airflow-1.10.0 1.10.0 2、3 与 composer-1.3.0-airflow-1.9.0 相同 与 composer-1.3.0-airflow-1.9.0 相同 2018 年 12 月 17 日
composer-1.4.1-airflow-1.9.0 1.9.0 2、3 与 composer-1.3.0-airflow-1.9.0 相同 与 composer-1.3.0-airflow-1.9.0 相同 2018 年 12 月 17 日
composer-1.4.0-airflow-1.10.0 1.10.0 2、3 与 composer-1.3.0-airflow-1.9.0 相同 在 composer-1.3.0-airflow-1.10.0 基础之上,添加了 googleapiclient set_user_agent 补丁程序 2018 年 11 月 26 日
composer-1.4.0-airflow-1.9.0 1.9.0 2、3 与 composer-1.3.0-airflow-1.9.0 相同 与 composer-1.3.0-airflow-1.9.0 相同 2018 年 11 月 26 日
composer-1.3.0-airflow-1.10.0 1.10.0 2、3 与 composer-1.3.0-airflow-1.9.0 相同 - 添加了在 Airflow 网页界面中显示环境名称的功能
- 添加了架构补丁程序,以使 Airflow 1.10.0 能够在未设置 explicit_defaults_for_timestamp=ON 的情况下适用于 MySQL
- 反向移植了 GKEPodOperator
- 反向移植了对 GCP 相关操作器的多项改进
- 对 BashTaskRunner 进行了稳定性修复
2018 年 10 月 24 日
composer-1.3.0-airflow-1.9.0 1.9.0 2、3 urllib3==1.23、requests==2.19.1、celery[redis]、flower、google-api-python-client、google-cloud-bigquery、google-cloud-container、google-cloud-logging、google-cloud-storage、iso8601、kubernetes、protobuf、sendgrid 和 tensorflow 在 composer-1.2.0-airflow-1.9.0 基础之上,添加了在 Airflow 网页界面中显示环境名称的功能 2018 年 10 月 24 日
composer-1.2.0-airflow-1.9.0 1.9.0 2、3 与 composer-1.0.0-airflow-1.9.0 相同 与 composer-1.1.1-airflow-1.9.0 相同 2018 年 10 月 2 日 - Python 2.7.13、Python 3.6.6
- 将调度器重启行为更新为基于时间重启(10 分钟)
composer-1.1.1-airflow-1.9.0 1.9.0 2 与 composer-1.0.0-airflow-1.9.0 相同 在 composer-1.1.0-airflow-1.9.0 基础之上,放宽了 celeryd 并发配置 2018 年 9 月 17 日
composer-1.1.0-airflow-1.9.0 1.9.0 2 与 composer-1.0.0-airflow-1.9.0 相同 在 composer-1.0.0-airflow-1.9.0 基础之上进行了以下更新:
- 反向移植了 DataprocClusterCreateOperator 的网络/子网/标记支持
- 反向移植了 GkePodOperator
- 反向移植了用于解决 Dataflow 作业不匹配问题的修复
2018 年 8 月 17 日 Airflow 调度器运行状况检查现在需要启用 Stackdriver Logging
composer-1.0.0-airflow-1.9.0 1.9.0 2 google-cloud-bigquery、google-cloud-dataflow、google-cloud-storage、pandas、 pandas-gbq、tensorflow、tensorflow-transform 和 sendgrid - 反向移植了用于解决 KubernetesPodOperator 和 JDBC/DBAPI 自动提交问题的修复
- 在 bigquery_hook 中添加了 PARQUET 源代码
- 添加了 Dataflow 多区域支持
- 修复了 Airflow Web 服务器的 Airflow 文档链接
- 修复了 Airflow Web 服务器因 statsd 异常进入崩溃循环的问题

不受支持的 Cloud Composer 版本

以下 Cloud Dataproc 版本目前暂不受支持。Cloud Composer 不会为使用这些版本创建的环境提供更新和支持。

  • 测试版 composer-0.*.*-airflow-*.*.*

虽然您可以继续运行使用不受支持的版本创建的环境,但我们建议将您的环境迁移到一个受支持的版本。

如需了解版本弃用方面的信息,请参阅 Cloud Composer 版本控制

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
Cloud Composer