Configurations Airflow bloquées

Cette page répertorie les valeurs de configuration Apache Airflow associées à une version d'image de l'environnement Cloud Composer. Ces valeurs sont bloquées et ne peuvent pas être remplacées.

Section et configuration Remarques
api-* La section de configuration de l'API est bloquée.
celery-* Cloud Composer configure Airflow pour l'utilisation avec l'exécuteur Celery. Dans composer-0.5.x-airflow-1.9.0, la section de configuration de Celery est bloquée.

Dans composer-1.0.0-airflow-1.9.0, les propriétés Celery suivantes sont bloquées : celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-default_queue, celery-celery_config_options.

Dans composer-1.3.0-airflow-1.10.0, les propriétés Celery suivantes sont bloquées : celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-result_backend, celery-default_queue, celery-celery_config_options.

Dans composer-1.4.2-airflow-1.10.0, les propriétés Celery suivantes sont bloquées : celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-result_backend, celery-default_queue.

Le redémarrage des groupes de nœuds de calcul peut être nécessaire pour que les configurations liées à Celery prennent effet.

cli-* La section de configuration de la CLI est bloquée.
core-airflow_home
core-base_log_folder
core-dag_concurrency La simultanéité DAG évolue automatiquement en fonction du nombre de nœuds. Depuis composer-1.1.1-airflow-1.9.0, cette propriété peut être modifiée.
core-dags_folder Pour autoriser Cloud Composer à importer des DAG, le dossier dédié aux DAG doit rester dans le bucket Google Cloud Storage.
core-donot_pickle Le pickling entraîne des risques liés à la sécurité et a été désactivé.
core-enable_xcom_pickling Le pickling entraîne des risques liés à la sécurité et a été désactivé.
core-encrypt_s3_logs Cette option ne peut pas être modifiée. Nécessaire à la journalisation Cloud Storage.
core-executor Cloud Composer configure Airflow pour l'utilisation avec l'exécuteur Celery.
core-fernet_key Pas encore compatible avec Cloud Composer, car cela peut entraîner une erreur de relecture du chiffrement de la base de données Airflow.
core-logging_config_class Le remplacement des valeurs n'a aucun effet. Le dossier des journaux doit rester dans le bucket Cloud Storage.
core-max_active_runs_per_dag Le nombre maximal d'exécutions actives par DAG évolue automatiquement en fonction du nombre de nœuds. Depuis composer-1.1.1-airflow-1.9.0, cette propriété peut être modifiée.
core-parallelism Le parallélisme évolue automatiquement en fonction du nombre de nœuds. Depuis composer-1.1.1-airflow-1.9.0, cette propriété peut être modifiée.
core-plugins_folder Pour pouvoir télécharger des plug-ins via Cloud Composer, le dossier dédié aux dags doit rester dans le bucket Cloud Storage.
core-remote_base_log_folder Le dossier des journaux doit rester dans le bucket Cloud Storage.
core-remote_log_conn_id Cette option ne peut pas être modifiée. Nécessaire à la journalisation Cloud Storage.
core-security La sécurité est gérée par votre environnement Cloud Composer.
core-sql_alchemy_conn La modification des paramètres d'Alchemy SQL peut interrompre la connexion à la base de données.
core-sql_alchemy_pool_recycle La modification des paramètres d'Alchemy SQL peut interrompre la connexion à la base de données.
core-sql_alchemy_pool_size La modification des paramètres d'Alchemy SQL peut interrompre la connexion à la base de données.
core-task_log_reader
smtp-smtp_password
scheduler-authenticate Cloud Composer configure le planificateur Airflow. Les propriétés suivantes du programmeur peuvent être mises à jour : catchup_by_default, dag_dir_list_interval, max_tis_per_query, min_file_process_interval, scheduler_zombie_task_threshold, ainsi que toutes les propriétés commençant par statsd (statsd_*).
scheduler-auth_backend
scheduler-child_process_log_directory
scheduler-job_heartbeat_sec
scheduler-max_threads Depuis composer-1.1.1-airflow-1.9.0, cette propriété peut être mise à jour.
scheduler-print_stats_interval
scheduler-run_duration
scheduler-scheduler_heartbeat_sec
webserver-access_logfile Cloud Composer configure le serveur Web Airflow. Les propriétés suivantes du serveur Web peuvent être mises à jour : dag_default_view, dag_orientation, demo_mode, expose_config, hide_paused_dags_by_default et page_size.
webserver-authenticate
webserver-auth_backend
webserver-base_url
webserver-error_logfile
webserver-filter_by_owner
webserver-log_fetch_timeout_sec
webserver-owner_mode
webserver-secret_key
webserver-web_server_host
webserver-web_server_port
webserver-web_server_ssl_cert
webserver-web_server_ssl_key
webserver-web_server_worker_timeout
webserver-worker_refresh_batch_size
webserver-worker_refresh_interval Depuis composer-1.7.1-airflow-1.10.2, cette propriété peut être mise à jour. La valeur recommandée est 3600 lorsque webserver-async_dagbag_loader a la valeur True.
webserver-workers Depuis composer-1.7.2-airflow-1.10.2, cette propriété peut être mise à jour. Si votre environnement contient environ 1 000 fichiers DAG ou plus, la valeur recommandée est 1.

Étapes suivantes