Accéder à la base de données Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Cette page explique comment se connecter à une instance Cloud SQL qui exécute la base de données Airflow de votre environnement Cloud Composer et exécuter des requêtes SQL.

Par exemple, vous pouvez exécuter des requêtes directement sur la base de données Airflow, effectuer des sauvegardes de la base de données, collecter des statistiques en fonction du contenu de la base de données ou récupérer d'autres informations personnalisées de la base de données.

Avant de commencer

Exécuter une requête SQL sur la base de données Airflow

Pour vous connecter à la base de données Airflow:

  1. Créez un DAG avec un ou plusieurs opérateurs PostgresOperator. Pour commencer, vous pouvez utiliser l'exemple de DAG.

  2. Dans le paramètre sql de l'opérateur, spécifiez votre requête SQL.

  3. Importez ce DAG dans votre environnement.

  4. Vous pouvez déclencher le DAG manuellement ou attendre qu'il s'exécute selon un calendrier.

Exemple de DAG:

import datetime
import os

import airflow
from airflow.providers.postgres.operators.postgres import PostgresOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2024, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    PostgresOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        postgres_conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Vider le contenu de la base de données et le transférer dans un bucket

Étape suivante