Cette page répertorie les valeurs de configuration Apache Airflow associées à une version d'image de l'environnement Cloud Composer. Ces valeurs sont bloquées et ne peuvent pas être remplacées.
| Section et configuration | Remarques |
|---|---|
| api-* | La section de configuration de l'API est bloquée. |
| celery-* | Cloud Composer configure Airflow pour l'utilisation avec l'exécuteur Celery. Dans composer-0.5.x-airflow-1.9.0, la section de configuration de Celery est bloquée. Dans composer-1.0.0-airflow-1.9.0, les propriétés Celery suivantes sont bloquées : Dans composer-1.3.0-airflow-1.10.0, les propriétés Celery suivantes sont bloquées : Dans composer-1.4.2-airflow-1.10.0, les propriétés Celery suivantes sont bloquées : Le redémarrage des groupes de nœuds de calcul peut être nécessaire pour que les configurations liées à Celery prennent effet. |
| cli-* | La section de configuration de la CLI est bloquée. |
| core-airflow_home | |
| core-base_log_folder | |
| core-dag_concurrency | La simultanéité DAG évolue automatiquement en fonction du nombre de nœuds. Depuis composer-1.1.1-airflow-1.9.0, cette propriété peut être modifiée. |
| core-dags_folder | Pour autoriser Cloud Composer à importer des DAG, le dossier dédié aux DAG doit rester dans le bucket Google Cloud Storage. |
| core-donot_pickle | Le pickling entraîne des risques liés à la sécurité et a été désactivé. |
| core-enable_xcom_pickling | Le pickling entraîne des risques liés à la sécurité et a été désactivé. |
| core-encrypt_s3_logs | Cette option ne peut pas être modifiée. Nécessaire à la journalisation Cloud Storage. |
| core-executor | Cloud Composer configure Airflow pour l'utilisation avec l'exécuteur Celery. |
| core-fernet_key | Pas encore compatible avec Cloud Composer, car cela peut entraîner une erreur de relecture du chiffrement de la base de données Airflow. |
| core-logging_config_class | Le remplacement des valeurs n'a aucun effet. Le dossier des journaux doit rester dans le bucket Cloud Storage. |
| core-max_active_runs_per_dag | Le nombre maximal d'exécutions actives par DAG évolue automatiquement en fonction du nombre de nœuds. Depuis composer-1.1.1-airflow-1.9.0, cette propriété peut être modifiée. |
| core-parallelism | Le parallélisme évolue automatiquement en fonction du nombre de nœuds. Depuis composer-1.1.1-airflow-1.9.0, cette propriété peut être modifiée. |
| core-plugins_folder | Pour pouvoir télécharger des plug-ins via Cloud Composer, le dossier dédié aux dags doit rester dans le bucket Cloud Storage. |
| core-remote_base_log_folder | Le dossier des journaux doit rester dans le bucket Cloud Storage. |
| core-remote_log_conn_id | Cette option ne peut pas être modifiée. Nécessaire à la journalisation Cloud Storage. |
| core-security | La sécurité est gérée par votre environnement Cloud Composer. |
| core-sql_alchemy_conn | La modification des paramètres d'Alchemy SQL peut interrompre la connexion à la base de données. |
| core-sql_alchemy_pool_recycle | La modification des paramètres d'Alchemy SQL peut interrompre la connexion à la base de données. |
| core-sql_alchemy_pool_size | La modification des paramètres d'Alchemy SQL peut interrompre la connexion à la base de données. |
| core-task_log_reader | |
| smtp-smtp_password | Vous pouvez définir un mot de passe SMTP de manière plus sécurisée. |
| scheduler-authenticate | Cloud Composer configure le planificateur Airflow. Les propriétés suivantes du programmeur peuvent être mises à jour : catchup_by_default, dag_dir_list_interval, max_tis_per_query, min_file_process_interval, scheduler_zombie_task_threshold, ainsi que toutes les propriétés commençant par statsd (statsd_*). |
| scheduler-auth_backend | |
| scheduler-child_process_log_directory | |
| scheduler-job_heartbeat_sec | |
| scheduler-max_threads | Depuis composer-1.1.1-airflow-1.9.0, cette propriété peut être mise à jour. |
| scheduler-print_stats_interval | |
| scheduler-run_duration | |
| scheduler-scheduler_heartbeat_sec | |
| webserver-access_logfile | Cloud Composer configure le serveur Web Airflow. Les propriétés suivantes du serveur Web peuvent être mises à jour : dag_default_view, dag_orientation, demo_mode, expose_config, hide_paused_dags_by_default et page_size. |
| webserver-authenticate | |
| webserver-auth_backend | |
| webserver-base_url | |
| webserver-error_logfile | |
| webserver-filter_by_owner | |
| webserver-log_fetch_timeout_sec | |
| webserver-owner_mode | |
| webserver-secret_key | |
| webserver-web_server_host | |
| webserver-web_server_port | |
| webserver-web_server_ssl_cert | |
| webserver-web_server_ssl_key | |
| webserver-web_server_worker_timeout | |
| webserver-worker_refresh_batch_size | |
| webserver-worker_refresh_interval | Depuis composer-1.7.1-airflow-1.10.2, cette propriété peut être mise à jour. La valeur recommandée est 3600 lorsque webserver-async_dagbag_loader a la valeur True. |
| webserver-workers | Depuis composer-1.7.2-airflow-1.10.2, cette propriété peut être mise à jour. Si votre environnement contient environ 1 000 fichiers DAG ou plus, la valeur recommandée est 1. |
Étape suivante
- Créez des environnements Cloud Composer
- Mettez à jour et supprimez des environnements Cloud Composer