Auf die Airflow-Datenbank zugreifen

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Auf dieser Seite wird erläutert, wie Sie eine Verbindung zu einer Cloud SQL-Instanz herstellen, die die Airflow-Datenbank Ihrer Cloud Composer-Umgebung ausführt und wie Sie SQL-Abfragen ausführen.

Sie können beispielsweise Abfragen direkt in der Airflow-Datenbank ausführen, Datenbanksicherungen erstellen, Statistiken basierend auf dem Datenbankinhalt erfassen oder andere benutzerdefinierte Informationen aus der Datenbank abrufen.

Hinweise

SQL-Abfrage in der Airflow-Datenbank ausführen

So stellen Sie eine Verbindung zur Airflow-Datenbank her:

  1. Erstellen Sie eine DAG mit einem oder mehreren PostgresOperator-Operatoren. Sie können den Beispiel-DAG verwenden, um loszulegen.

  2. Geben Sie im Parameter sql des Operators die SQL-Abfrage an.

  3. Laden Sie diesen DAG in Ihre Umgebung hoch.

  4. Sie können den DAG beispielsweise manuell auslösen oder warten, bis er nach einem Zeitplan ausgeführt wird.

Beispiel-DAG:

import datetime
import os

import airflow
from airflow.providers.postgres.operators.postgres import PostgresOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2024, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    PostgresOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        postgres_conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Inhalt der Datenbank in einer Dumpdatei sichern und in einen Bucket übertragen

Nächste Schritte