已屏蔽的 Airflow 配置

本页面列出了与 Cloud Composer 环境映像版本关联的 Apache Airflow 配置值,这些值已被屏蔽且无法替换。

节和配置 备注
api-* API 配置节已被屏蔽。
celery-* Cloud Composer 会将 Airflow 配置为使用 Celery Executor。在 composer-0.5.x-airflow-1.9.0 中,Celery 配置节已被屏蔽。

composer-1.0.0-airflow-1.9.0 中,以下 celery 属性已被屏蔽:celery-celery_app_namecelery-worker_log_server_portcelery-broker_urlcelery-celery_result_backendcelery-default_queuecelery-celery_config_options

composer-1.3.0-airflow-1.10.0 中,以下 celery 属性已被屏蔽:celery-celery_app_namecelery-worker_log_server_portcelery-broker_urlcelery-celery_result_backendcelery-result_backendcelery-default_queuecelery-celery_config_options

composer-1.4.2-airflow-1.10.0 中,以下 celery 属性已被屏蔽:celery-celery_app_namecelery-worker_log_server_portcelery-broker_urlcelery-celery_result_backendcelery-result_backendcelery-default_queue

工作器 pod 可能需要重启才能使 celery 相关配置生效。

cli-* CLI 配置节已被屏蔽。
core-airflow_home
core-base_log_folder
core-dag_concurrency DAG 并发设置会自动根据节点数进行扩缩。自 composer-1.1.1-airflow-1.9.0 起,此属性是可更新的。
core-dags_folder 为允许 Cloud Composer 上传 DAG,DAG 文件夹必须保留在 Google Cloud Storage 存储分区中。
core-donot_pickle pickle 操作会带来安全风险,已被停用。
core-enable_xcom_pickling pickle 操作会带来安全风险,已被停用。
core-encrypt_s3_logs 不可更改。如需进行 Cloud Storage 日志记录,此为必填项。
core-executor Cloud Composer 会将 Airflow 配置为使用 Celery Executor。
core-fernet_key Cloud Composer 尚不支持此配置,因为它可能导致 Airflow 数据库加密回读错误。
core-logging_config_class 不可替换。日志文件夹必须保留在 Cloud Storage 存储分区中。
core-max_active_runs_per_dag 每个 DAG 的最大活跃运行数会自动根据节点数量进行扩缩。自 composer-1.1.1-airflow-1.9.0 起,此属性是可更新的。
core-parallelism 最大并行数量会自动根据节点数进行扩缩。自 composer-1.1.1-airflow-1.9.0 起,此属性是可更新的。
core-plugins_folder 为了能够通过 Cloud Composer 上传插件,DAG 文件夹必须保留在 Cloud Storage 存储分区中。
core-remote_base_log_folder 日志文件夹必须保留在 Cloud Storage 存储分区中。
core-remote_log_conn_id 不可更改。如需进行 Cloud Storage 日志记录,此为必填项。
core-security 安全性由您的 Cloud Composer 环境管理。
core-sql_alchemy_conn 更改 sql alchemy 设置可能会导致与数据库的连接中断。
core-sql_alchemy_pool_recycle 更改 sql alchemy 设置可能会导致与数据库的连接中断。
core-sql_alchemy_pool_size 更改 sql alchemy 设置可能会导致与数据库的连接中断。
core-task_log_reader
smtp-smtp_password
scheduler-authenticate Cloud Composer 会配置 Airflow 调度器。以下调度器属性可以更新:catchup_by_defaultdag_dir_list_intervalmax_tis_per_querymin_file_process_intervalscheduler_zombie_task_threshold 以及所有以 statsd 开头的属性 (statsd_*)。
scheduler-auth_backend
scheduler-child_process_log_directory
scheduler-job_heartbeat_sec
scheduler-max_threads composer-1.1.1-airflow-1.9.0 起,此属性可更新。
scheduler-print_stats_interval
scheduler-run_duration
scheduler-scheduler_heartbeat_sec
webserver-access_logfile Cloud Composer 会配置 Airflow Web 服务器。以下 Web 服务器属性可以更新:dag_default_viewdag_orientationdemo_modeexpose_confighide_paused_dags_by_defaultpage_size
webserver-authenticate
webserver-auth_backend
webserver-base_url
webserver-error_logfile
webserver-filter_by_owner
webserver-log_fetch_timeout_sec
webserver-owner_mode
webserver-secret_key
webserver-web_server_host
webserver-web_server_port
webserver-web_server_ssl_cert
webserver-web_server_ssl_key
webserver-web_server_worker_timeout
webserver-worker_refresh_batch_size
webserver-worker_refresh_interval 自 composer-1.7.1-airflow-1.10.2 起,此属性可更新。当 webserver-async_dagbag_loader 为 True 时,建议使用 3600 值。
webserver-workers 自 composer-1.7.2-airflow-1.10.2 起,此属性可更新。如果您的环境包含大约 1000 个或更多 DAG 文件,建议使用 1 值。

后续步骤