Configuraciones de Airflow bloqueadas

En esta página, se detallan los valores de configuración de Apache Airflow asociados con una versión con imágenes del entorno de Cloud Composer que están bloqueados y no pueden anularse.

Sección y configuración Notas
api-* La sección de configuración de la API está bloqueada.
celery-* Cloud Composer configura Airflow para usar el ejecutor de Celery. En composer-0.5.x-airflow-1.9.0, la sección de configuración de Celery está bloqueada.

En composer-1.0.0-airflow-1.9.0, se bloquean las siguientes propiedades de celery: celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-default_queue, celery-celery_config_options.

En composer-1.3.0-airflow-1.10.0, se bloquean las siguientes propiedades de celery: celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-result_backend, celery-default_queue, celery-celery_config_options.

En composer-1.4.2-airflow-1.10.0, se bloquean las siguientes propiedades de celery: celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-result_backend, celery-default_queue.

Es posible que los pods de los trabajadores deban reiniciarse para que se apliquen las configuraciones relacionadas con celery.

cli-* La sección de configuración de la CLI está bloqueada.
core-airflow_home
core-base_log_folder
core-dag_concurrency La simultaneidad de DAG se ajusta automáticamente a la cantidad de nodos. Como composer-1.1.1-airflow-1.9.0, esta propiedad se puede actualizar.
core-dags_folder Para permitir que Cloud Composer suba DAG, la carpeta de dags debe permanecer en el bucket de Google Cloud Storage.
core-donot_pickle La selección plantea riesgos de seguridad y se inhabilitó.
core-enable_xcom_pickling La selección plantea riesgos de seguridad y se inhabilitó.
core-encrypt_s3_logs No se puede modificar. Obligatorio para el registro de Cloud Storage.
core-executor Cloud Composer configura Airflow para usar el ejecutor de Celery.
core-fernet_key Aún no se admite en Cloud Composer, ya que puede provocar un error de lectura de encriptación de la base de datos de Airflow.
core-logging_config_class La anulación no tiene efecto. La carpeta de registros debe permanecer en el bucket de Cloud Storage.
core-max_active_runs_per_dag La cantidad máxima de ejecuciones activas por DAG se ajusta automáticamente con la cantidad de nodos. Como composer-1.1.1-airflow-1.9.0, esta propiedad se puede actualizar.
core-parallelism La paralelización se ajusta automáticamente a la cantidad de nodos. Como composer-1.1.1-airflow-1.9.0, esta propiedad se puede actualizar.
core-plugins_folder Para poder subir complementos a través de Cloud Composer, la carpeta de dags debe permanecer en el bucket de Cloud Storage.
core-remote_base_log_folder La carpeta de registros debe permanecer en el bucket de Cloud Storage.
core-remote_log_conn_id No se puede modificar. Obligatorio para el registro de Cloud Storage.
core-security Tu entorno de Cloud Composer administra la seguridad.
core-sql_alchemy_conn Cambiar la configuración de alquimia de SQL puede interrumpir la conexión con la base de datos.
core-sql_alchemy_pool_recycle Cambiar la configuración de alquimia de SQL puede interrumpir la conexión con la base de datos.
core-sql_alchemy_pool_size Cambiar la configuración de alquimia de SQL puede interrumpir la conexión con la base de datos.
core-task_log_reader
smtp-smtp_password Puedes establecer una contraseña de SMTP de forma más segura.
scheduler-authenticate Cloud Composer configura el programador de Airflow. Las siguientes propiedades del programador son actualizables: catchup_by_default, dag_dir_list_interval, max_tis_per_query, min_file_process_interval, scheduler_zombie_task_threshold y todas las propiedades que comienzan con statsd (statsd_*).
scheduler-auth_backend
scheduler-child_process_log_directory
scheduler-job_heartbeat_sec
scheduler-max_threads Como composer-1.1.1-airflow-1.9.0, esta propiedad se puede actualizar.
scheduler-print_stats_interval
scheduler-run_duration
scheduler-scheduler_heartbeat_sec
webserver-access_logfile Cloud Composer configura el servidor web de Airflow. Las siguientes propiedades del servidor web se pueden actualizar: dag_default_view, dag_orientation, demo_mode, expose_config, hide_paused_dags_by_default y page_size.
webserver-authenticate
webserver-auth_backend
webserver-base_url
webserver-error_logfile
webserver-filter_by_owner
webserver-log_fetch_timeout_sec
webserver-owner_mode
webserver-secret_key
webserver-web_server_host
webserver-web_server_port
webserver-web_server_ssl_cert
webserver-web_server_ssl_key
webserver-web_server_worker_timeout
webserver-worker_refresh_batch_size
webserver-worker_refresh_interval Como composer-1.7.1-airflow-1.10.2, esta propiedad se puede actualizar. El valor recomendado es 3600 cuando webserver-async_dagbag_loader es True.
webserver-workers Como composer-1.7.2-airflow-1.10.2, esta propiedad se puede actualizar. Si el entorno contiene aproximadamente 1,000 archivos de DAG o más, el valor recomendado es 1.

¿Qué sigue?