已屏蔽的 Airflow 配置

本页面列出了与 Cloud Composer 环境映像版本关联的 Apache Airflow 配置值,这些值已被屏蔽且无法替换。

composer-*-airflow-1.9.0

节和配置 备注
api-* API 配置节已被列入黑名单。
celery-* Cloud Composer 会将 Airflow 配置为使用 Celery 执行程序。在 composer-0.5.x-airflow-1.9.0 中,Celery 配置节已被列入黑名单。

自 composer-1.0.0-airflow-1.9.0 起,以下 celery 属性已被列入黑名单:celery-celery_app_namecelery-worker_log_server_portcelery-broker_urlcelery-celery_result_backendcelery-default_queuecelery-celery_config_options

cli-* CLI 配置节已被列入黑名单。
core-airflow_home
core-base_log_folder
core-dag_concurrency DAG 并发设置会自动根据节点数进行扩缩。自 composer-1.1.1-airflow-1.9.0 起,此属性是可更新的。
core-dags_folder 为允许 Cloud Composer 上传 DAG,DAG 文件夹必须保留在 Google Cloud Storage 存储分区中。
core-donot_pickle pickle 操作会带来安全风险,已被停用。
core-enable_xcom_pickling pickle 操作会带来安全风险,已被停用。
core-encrypt_s3_logs 不可更改。要进行 Cloud Storage 日志记录,此为必需项。
core-executor Cloud Composer 会将 Airflow 配置为使用 Celery 执行程序。
core-fernet_key Cloud Composer 尚不支持此配置,因为它可能导致 Airflow 数据库加密回读错误。
core-logging_config_class 不可替换。日志文件夹必须保留在 Cloud Storage 存储分区中。
core-max_active_runs_per_dag 每个 DAG 的最大活跃运行数会自动根据节点数量进行扩缩。自 composer-1.1.1-airflow-1.9.0 起,此属性是可更新的。
core-parallelism 最大并行数量会自动根据节点数进行扩缩。自 composer-1.1.1-airflow-1.9.0 起,此属性是可更新的。
core-plugins_folder 为了能够通过 Cloud Composer 上传插件,DAG 文件夹必须保留在 Cloud Storage 存储分区中。
core-remote_base_log_folder 日志文件夹必须保留在 Cloud Storage 存储分区中。
core-remote_log_conn_id 不可更改。要进行 Cloud Storage 日志记录,此为必需项。
core-sql_alchemy_conn 更改 sql alchemy 设置可能会导致与数据库的连接中断。
core-sql_alchemy_pool_recycle 更改 sql alchemy 设置可能会导致与数据库的连接中断。
core-sql_alchemy_pool_size 更改 sql alchemy 设置可能会导致与数据库的连接中断。
core-task_log_reader
smtp-smtp_password
scheduler-authenticate Cloud Composer 会配置 Airflow 调度器。以下调度器属性是可更新的:catchup_by_defaultdag_dir_list_intervalmax_tis_per_querymin_file_process_intervalscheduler_zombie_task_threshold 以及以 statsd (statsd_*) 开头的所有属性。
scheduler-child_process_log_directory
scheduler-job_heartbeat_sec
scheduler-max_threads 自 composer-1.1.1-airflow-1.9.0 起,此属性是可更新的。
scheduler-print_stats_interval
scheduler-run_duration
scheduler-scheduler_heartbeat_sec
webserver-access_logfile Cloud Composer 会配置 Airflow Web 服务器。以下 Web 服务器属性是可更新的:dag_default_viewdag_orientationdemo_modeexpose_confighide_paused_dags_by_defaultpage_size
webserver-authenticate
webserver-base_url
webserver-error_logfile
webserver-filter_by_owner
webserver-log_fetch_timeout_sec
webserver-owner_mode
webserver-secret_key
webserver-web_server_host
webserver-web_server_port
webserver-web_server_ssl_cert
webserver-web_server_ssl_key
webserver-web_server_worker_timeout
webserver-worker_refresh_batch_size
webserver-worker_refresh_interval
webserver-workers

后续步骤

此页内容是否有用?请给出您的反馈和评价:

发送以下问题的反馈:

此网页
Cloud Composer