Blockierte Airflow-Konfigurationen

Auf dieser Seite werden die blockierten und nicht überschreibbaren Apache Airflow-Konfigurationswerte aufgelistet, die der Image-Version einer Cloud Composer-Umgebung zugeordnet sind.

Abschnitt und Konfiguration Hinweise
api-* Der Abschnitt für die API-Konfiguration ist blockiert.
celery-* Cloud Composer konfiguriert Airflow für die Verwendung von Celery Executor. In composer-0.5.x-airflow-1.9.0 ist der Konfigurationsabschnitt für Celery blockiert.

In composer-1.0.0-airflow-1.9.0 sind folgende Celery-Attribute blockiert: celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-default_queue und celery-celery_config_options.

In composer-1.3.0-airflow-1.10.0 sind folgende Celery-Attribute blockiert: celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-result_backend, celery-default_queue und celery-celery_config_options.

In composer-1.4.2-airflow-1.10.0 sind folgende Celery-Attribute blockiert: celery-celery_app_name, celery-worker_log_server_port, celery-broker_url, celery-celery_result_backend, celery-result_backend und celery-default_queue.

Damit Celery-Konfigurationen wirksam werden, müssen Worker-Pods möglicherweise neu gestartet werden.

cli-* Der Abschnitt für die Befehlszeilenkonfiguration ist blockiert.
core-airflow_home
core-base_log_folder
core-dag_concurrency Die DAG-Gleichzeitigkeit wird automatisch auf die Anzahl der Knoten skaliert. Seit Version composer-1.1.1-airflow-1.9.0 ist dieses Attribut aktualisierbar.
core-dags_folder Damit Cloud Composer DAGs hochladen kann, muss der Ordner "dags" im Google Cloud Storage-Bucket verbleiben.
core-donot_pickle Pickling birgt Sicherheitsrisiken und wurde deaktiviert.
core-enable_xcom_pickling Pickling birgt Sicherheitsrisiken und wurde deaktiviert.
core-encrypt_s3_logs Kann nicht geändert werden. Für Cloud Storage-Logging erforderlich.
core-executor Cloud Composer konfiguriert Airflow für die Verwendung von Celery Executor.
core-fernet_key In Cloud Composer noch nicht unterstützt, da dies zu einem Fehler beim Zurücklesen der Airflow-Datenbankverschlüsselung führen kann.
core-logging_config_class Überschreiben hat keine Auswirkungen. Der Logs-Ordner muss im Cloud Storage-Bucket verbleiben.
core-max_active_runs_per_dag Die maximale Anzahl aktiver Ausführungen pro DAG wird automatisch auf die Anzahl der Knoten skaliert. Seit Version composer-1.1.1-airflow-1.9.0 ist dieses Attribut aktualisierbar.
core-parallelism Die Gleichzeitigkeit wird automatisch auf die Anzahl der Knoten skaliert. Seit Version composer-1.1.1-airflow-1.9.0 ist dieses Attribut aktualisierbar.
core-plugins_folder Damit Sie über Cloud Composer DAGs hochladen können, muss der Ordner "dags" im Google Cloud Storage-Bucket verbleiben.
core-remote_base_log_folder Der Logs-Ordner muss im Cloud Storage-Bucket verbleiben.
core-remote_log_conn_id Kann nicht geändert werden. Für Cloud Storage-Logging erforderlich.
core-security Die Sicherheit wird von Ihrer Cloud Composer-Umgebung verwaltet.
core-sql_alchemy_conn Durch Ändern der Einstellungen von SQL Alchemy kann die Verbindung zur Datenbank unterbrochen werden.
core-sql_alchemy_pool_recycle Durch Ändern der Einstellungen von SQL Alchemy kann die Verbindung zur Datenbank unterbrochen werden.
core-sql_alchemy_pool_size Durch Ändern der Einstellungen von SQL Alchemy kann die Verbindung zur Datenbank unterbrochen werden.
core-task_log_reader
smtp-smtp_password Sie können ein SMTP-Passwort auf sicherere Weise einrichten.
scheduler-authenticate Cloud Composer konfiguriert den Airflow-Planer. Die folgenden Planerattribute können aktualisiert werden: catchup_by_default, dag_dir_list_interval, max_tis_per_query, min_file_process_interval und scheduler_zombie_task_threshold sowie alle Attribute, die mit statsd beginnen (statsd_*).
scheduler-auth_backend
scheduler-child_process_log_directory
scheduler-job_heartbeat_sec
scheduler-max_threads Dieses Attribut kann ab composer-1.1.1-airflow-1.9.0 aktualisiert werden.
scheduler-print_stats_interval
scheduler-run_duration
scheduler-scheduler_heartbeat_sec
webserver-access_logfile Cloud Composer konfiguriert den Airflow-Webserver. Die folgenden Webserverattribute können aktualisiert werden: dag_default_view, dag_orientation, demo_mode, expose_config, hide_paused_dags_by_default und page_size.
webserver-authenticate
webserver-auth_backend
webserver-base_url
webserver-error_logfile
webserver-filter_by_owner
webserver-log_fetch_timeout_sec
webserver-owner_mode
webserver-secret_key
webserver-web_server_host
webserver-web_server_port
webserver-web_server_ssl_cert
webserver-web_server_ssl_key
webserver-web_server_worker_timeout
webserver-worker_refresh_batch_size
webserver-worker_refresh_interval Dieses Attribut kann ab composer-1.7.1-airflow-1.10.2 aktualisiert werden. Der empfohlene Wert ist 3600, wenn webserver-async_dagbag_loader True ist.
webserver-workers Dieses Attribut kann ab composer-1.7.2-airflow-1.10.2 aktualisiert werden. Wenn Ihre Umgebung etwa 1000 DAG-Dateien oder mehr enthält, beträgt der empfohlene Wert 1.

Nächste Schritte