Aceda à base de dados do Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Esta página explica como estabelecer ligação a uma instância do Cloud SQL que executa a base de dados do Airflow do seu ambiente do Cloud Composer e executar consultas SQL.

Por exemplo, pode querer executar consultas diretamente na base de dados do Airflow, fazer cópias de segurança da base de dados, recolher estatísticas com base no conteúdo da base de dados ou obter quaisquer outras informações personalizadas da base de dados.

Antes de começar

Execute uma consulta SQL na base de dados do Airflow

Para se ligar à base de dados do Airflow:

  1. Crie um DAG com um ou mais operadores SQLExecuteQueryOperator. Para começar, pode usar o DAG de exemplo.

  2. No parâmetro sql do operador, especifique a sua consulta SQL.

  3. Carregue este DAG para o seu ambiente.

  4. Acione o DAG. Por exemplo, pode fazê-lo manualmente ou aguardar até que seja executado de acordo com um horário.

Exemplo de DAG:

import datetime
import os

import airflow
from airflow.providers.common.sql.operators.sql import SQLExecuteQueryOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2025, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    SQLExecuteQueryOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Para mais informações sobre a utilização do SQLExecuteQueryOperator, consulte o guia de instruções para o Postgres com o SQLExecuteQueryOperator na documentação do Airflow.

Despeje o conteúdo da base de dados e transfira-o para um contentor

O que se segue?