Acessar o banco de dados do Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Nesta página, você verá como se conectar a uma instância do Cloud SQL que executa o banco de dados do Airflow do ambiente do Cloud Composer e executar consultas SQL.

Por exemplo, talvez você queira executar consultas diretamente no banco de dados do Airflow, fazer backups de bancos de dados, coletar estatísticas com base no conteúdo do banco de dados ou recuperar outras informações personalizadas do banco de dados.

Antes de começar

Executar uma consulta SQL no banco de dados do Airflow

Para se conectar ao banco de dados do Airflow:

  1. Crie um DAG com um ou mais operadores SQLExecuteQueryOperator. Para começar, use o DAG de exemplo.

  2. No parâmetro sql do operador, especifique sua consulta SQL.

  3. Faça upload desse DAG para o ambiente.

  4. Acione o DAG. Por exemplo, você pode fazer isso manualmente ou esperar até que ele seja executado em uma programação.

Exemplo de DAG:

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Para mais informações sobre como usar o SQLExecuteQueryOperator, consulte o guia de instruções para Postgres usando SQLExecuteQueryOperator na documentação do Airflow.

Despejar conteúdo do banco de dados e transferi-lo para um bucket

A seguir