Auf die Airflow-Datenbank zugreifen

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird erläutert, wie Sie eine Verbindung zu einer Cloud SQL-Instanz herstellen, die die Airflow-Datenbank Ihrer Cloud Composer-Umgebung ausführt und wie Sie SQL-Abfragen ausführen.

Sie können beispielsweise Abfragen direkt in der Airflow-Datenbank ausführen, Datenbanksicherungen erstellen, Statistiken basierend auf dem Datenbankinhalt erfassen oder andere benutzerdefinierte Informationen aus der Datenbank abrufen.

Hinweise

SQL-Abfrage für die Airflow-Datenbank ausführen

So stellen Sie eine Verbindung zur Airflow-Datenbank her:

  1. Erstellen Sie einen DAG mit einem oder mehreren SQLExecuteQueryOperator-Operatoren. Für den Einstieg können Sie die Beispiel-DAG verwenden.

  2. Geben Sie im Parameter sql des Operators Ihre SQL-Abfrage an.

  3. Laden Sie diesen DAG in Ihre Umgebung hoch.

  4. Lösen Sie die DAG aus. Das kann beispielsweise manuell erfolgen oder Sie warten, bis sie nach Zeitplan ausgeführt wird.

Beispiel-DAG:

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Weitere Informationen zur Verwendung von SQLExecuteQueryOperator finden Sie in der Airflow-Dokumentation im How-to Guide for Postgres using SQLExecuteQueryOperator.

Inhalt der Datenbank in einer Dumpdatei sichern und in einen Bucket übertragen

Nächste Schritte