ブロックされている Airflow 構成

このページでは、ブロックされていてオーバーライドできない Cloud Composer 環境イメージのバージョンに関連付けられた Apache Airflow 構成値の一覧を示しています。

セクションと構成 備考
api-* API 構成セクションがブロックされています。
celery-* Cloud Composer が、Celery Executor を使用するように Airflow を構成しています。composer-0.5.x-airflow-1.9.0 では、Celery 構成セクションがブロックされています。

composer-1.0.0-airflow-1.9.0 では、次の celery プロパティがブロックされています。celery-celery_app_namecelery-worker_log_server_portcelery-broker_urlcelery-celery_result_backendcelery-default_queuecelery-celery_config_options

composer-1.3.0-airflow-1.10.0 では、次の celery プロパティがブロックされています。celery-celery_app_namecelery-worker_log_server_portcelery-broker_urlcelery-celery_result_backendcelery-result_backendcelery-default_queuecelery-celery_config_options

composer-1.4.2-airflow-1.10.0 では、次の celery プロパティがブロックされています。celery-celery_app_namecelery-worker_log_server_portcelery-broker_urlcelery-celery_result_backendcelery-result_backendcelery-default_queue

ワーカー Pod では、celery に関連する構成を有効にするために、再起動する必要が生じる場合があります。

cli-* CLI 構成セクションがブロックされています。
core-airflow_home
core-base_log_folder
core-dag_concurrency DAG の同時実行はノード数に合わせて自動的にスケーリングされます。composer-1.1.1-airflow-1.9.0 以降、このプロパティは更新できます。
core-dags_folder Cloud Composer が DAG をアップロードできるようにするには、DAG フォルダは Google Cloud Storage バケット内に残す必要があります。
core-donot_pickle pickle 化はセキュリティ上のリスクをもたらすため、無効にされています。
core-enable_xcom_pickling pickle 化はセキュリティ上のリスクをもたらすため、無効にされています。
core-encrypt_s3_logs 変更できません。Cloud Storage のロギングに必要です。
core-executor Cloud Composer が Celery Executor を使用するように Airflow を構成しています。
core-fernet_key Airflow データベースで暗号化リードバック エラーを引き起こす場合があるため、Cloud Composer ではまだサポートされていません。
core-logging_config_class オーバーライドしても効果はありません。ログフォルダは Cloud Storage バケット内に残す必要があります。
core-max_active_runs_per_dag DAG あたりの最大の有効実行数がノード数に合わせて自動的にスケーリングされます。composer-1.1.1-airflow-1.9.0 以降、このプロパティは更新できます。
core-parallelism 並列処理はノード数に合わせて自動的にスケーリングされます。composer-1.1.1-airflow-1.9.0 以降、このプロパティは更新できます。
core-plugins_folder Cloud Composer を介してプラグインをアップロードするには、DAG フォルダは Cloud Storage バケット内に残す必要があります。
core-remote_base_log_folder ログフォルダは Cloud Storage バケット内に残す必要があります。
core-remote_log_conn_id 変更できません。Cloud Storage のロギングに必要です。
core-security セキュリティは Cloud Composer 環境によって管理されています。
core-sql_alchemy_conn SQL Alchemy の設定を変更すると、データベースへの接続が切断される可能性があります。
core-sql_alchemy_pool_recycle SQL Alchemy の設定を変更すると、データベースへの接続が切断される可能性があります。
core-sql_alchemy_pool_size SQL Alchemy の設定を変更すると、データベースへの接続が切断される可能性があります。
core-task_log_reader
smtp-smtp_password
scheduler-authenticate Cloud Composer により Airflow スケジューラが構成されます。次のスケジューラのプロパティは更新可能です。catchup_by_defaultdag_dir_list_intervalmax_tis_per_querymin_file_process_intervalscheduler_zombie_task_threshold、および statsdstatsd_*)で始まるすべてのプロパティ。
scheduler-auth_backend
scheduler-child_process_log_directory
scheduler-job_heartbeat_sec
scheduler-max_threads composer-1.1.1-airflow-1.9.0 以降、このプロパティは更新可能です。
scheduler-print_stats_interval
scheduler-run_duration
scheduler-scheduler_heartbeat_sec
webserver-access_logfile Cloud Composer により Airflow ウェブサーバーが構成されます。次のウェブサーバーのプロパティは更新可能です。dag_default_viewdag_orientationdemo_modeexpose_confighide_paused_dags_by_default、および page_size
webserver-authenticate
webserver-auth_backend
webserver-base_url
webserver-error_logfile
webserver-filter_by_owner
webserver-log_fetch_timeout_sec
webserver-owner_mode
webserver-secret_key
webserver-web_server_host
webserver-web_server_port
webserver-web_server_ssl_cert
webserver-web_server_ssl_key
webserver-web_server_worker_timeout
webserver-worker_refresh_batch_size
webserver-worker_refresh_interval composer-1.7.1-airflow-1.10.2 以降、このプロパティは更新可能です。webserver-async_dagbag_loader が True の場合、推奨値は 3600 です。
webserver-workers composer-1.7.2-airflow-1.10.2 以降、このプロパティは更新可能です。環境に約 1,000 個以上の DAG ファイルが含まれている場合、推奨値は 1 です。

次のステップ