Accedere al database Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Questa pagina spiega come connettersi a un'istanza Cloud SQL che esegue il database Airflow del tuo ambiente Cloud Composer ed eseguire query SQL.

Ad esempio, potresti voler eseguire query direttamente sul database Airflow, eseguire il backup del database, raccogliere statistiche in base ai contenuti del database o recuperare altre informazioni personalizzate dal database.

Prima di iniziare

Esegui una query SQL sul database Airflow

Per connetterti al database Airflow:

  1. Crea un DAG con uno o più operatori SQLExecuteQueryOperator. Per iniziare, puoi utilizzare il DAG di esempio.

  2. Nel parametro sql dell'operatore, specifica la query SQL.

  3. Carica questo DAG nel tuo ambiente.

  4. Ad esempio, puoi attivare il DAG manualmente o attendere che venga eseguito in base a una pianificazione.

DAG di esempio:

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Per ulteriori informazioni sull'utilizzo di SQLExecuteQueryOperator, consulta la guida dettagliata per Postgres che utilizza SQLExecuteQueryOperator nella documentazione di Airflow.

Esegui il dump dei contenuti del database e trasferiscili in un bucket

Passaggi successivi