Accedere al database Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega come connettersi a un'istanza Cloud SQL che esegue il database Airflow del tuo ambiente Cloud Composer ed eseguire query SQL.

Ad esempio, potresti voler eseguire query direttamente sul database Airflow, eseguire il backup del database, raccogliere statistiche in base ai contenuti del database o recuperare altre informazioni personalizzate dal database.

Prima di iniziare

Esegui una query SQL sul database Airflow

Per connetterti al database Airflow:

  1. Crea un DAG con uno o più operatori PostgresOperator. Per iniziare, puoi utilizzare il DAG di esempio.

  2. Nel parametro sql dell'operatore, specifica la query SQL.

  3. Carica questo DAG nel tuo ambiente.

  4. Ad esempio, puoi attivare il DAG manualmente o attendere che venga eseguito in base a una pianificazione.

DAG di esempio:

import datetime
import os

import airflow
from airflow.providers.postgres.operators.postgres import PostgresOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2024, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    PostgresOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        postgres_conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Esegui il dump dei contenuti del database e trasferiscili in un bucket

Passaggi successivi