封鎖的 Airflow 設定

本頁面列出與 Cloud Composer 環境映像檔版本相關聯且無法覆寫的遭封鎖 Apache Airflow 設定值。

composer-*-airflow-1.9.0

區段和設定 附註
api-* API 設定區段已列入黑名單。
celery-* Cloud Composer 會將 Airflow 設為使用 Celery Executor。在 composer-0.5.x-airflow-1.9.0 中,Celery 設定區段已列入黑名單。

自 composer-1.0.0-airflow-1.9.0 起,下列 Celery 屬性已列入黑名單:celery-celery_app_namecelery-worker_log_server_portcelery-broker_urlcelery-celery_result_backendcelery-default_queuecelery-celery_config_options

cli-* CLI 設定區段已列入黑名單。
core-airflow_home
core-base_log_folder
core-dag_concurrency DAG 並行數會根據節點數自動擴充。自 composer-1.1.1-airflow-1.9.0 起,這項屬性已變為可更新。
core-dags_folder 如要讓 Cloud Composer 更新 DAG,DAG 資料夾必須保留在 Google Cloud Storage 值區中。
core-donot_pickle 透過 Pickle 模組處理會帶來安全性風險,且這項功能已遭停用。
core-enable_xcom_pickling 透過 Pickle 模組處理會帶來安全性風險,且這項功能已遭停用。
core-encrypt_s3_logs 無法變更。Cloud Storage 記錄需要這項設定。
core-executor Cloud Composer 會將 Airflow 設為使用 Celery Executor。
core-fernet_key 可能會導致 Airflow 資料庫加密讀回錯誤,因此目前未受 Cloud Composer 支援。
core-logging_config_class 覆寫無效。記錄資料夾必須保留在 Google Cloud Storage 值區中。
core-max_active_runs_per_dag 每個 DAG 的有效執行數上限會根據節點數量自動擴充。自 composer-1.1.1-airflow-1.9.0 起,這項屬性已變為可更新。
core-parallelism 平行處理數會根據節點數自動擴充。自 composer-1.1.1-airflow-1.9.0 起,這項屬性已變為可更新。
core-plugins_folder 如要能夠透過 Cloud Composer 上傳外掛程式,DAG 資料夾必須保留在 Google Cloud Storage 值區中。
core-remote_base_log_folder 記錄資料夾必須保留在 Google Cloud Storage 值區中。
core-remote_log_conn_id 無法變更。Cloud Storage 記錄需要這項設定。
core-sql_alchemy_conn 變更 sql alchemy 設定可能會導致資料庫連線中斷。
core-sql_alchemy_pool_recycle 變更 sql alchemy 設定可能會導致資料庫連線中斷。
core-sql_alchemy_pool_size 變更 sql alchemy 設定可能會導致資料庫連線中斷。
core-task_log_reader
smtp-smtp_password
scheduler-authenticate Cloud Composer 會設定 Airflow 排程器。下列排程器屬性是可更新的:catchup_by_defaultdag_dir_list_intervalmax_tis_per_querymin_file_process_intervalscheduler_zombie_task_threshold 和開頭為 statsd 的所有屬性 (statsd_*)。
scheduler-child_process_log_directory
scheduler-job_heartbeat_sec
scheduler-max_threads 自 composer-1.1.1-airflow-1.9.0 起,這項屬性已變為可更新。
scheduler-print_stats_interval
scheduler-run_duration
scheduler-scheduler_heartbeat_sec
webserver-access_logfile Cloud Composer 會設定 Airflow 網路伺服器。下列網路伺服器屬性是可更新的:dag_default_viewdag_orientationdemo_modeexpose_confighide_paused_dags_by_defaultpage_size
webserver-authenticate
webserver-base_url
webserver-error_logfile
webserver-filter_by_owner
webserver-log_fetch_timeout_sec
webserver-owner_mode
webserver-secret_key
webserver-web_server_host
webserver-web_server_port
webserver-web_server_ssl_cert
webserver-web_server_ssl_key
webserver-web_server_worker_timeout
webserver-worker_refresh_batch_size
webserver-worker_refresh_interval
webserver-workers

後續步驟

本頁內容對您是否有任何幫助?請提供意見:

傳送您對下列選項的寶貴意見...

這個網頁
Cloud Composer