Mengakses database Airflow

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

Halaman ini menjelaskan cara terhubung ke instance Cloud SQL yang menjalankan database Airflow dari lingkungan Cloud Composer Anda dan menjalankan kueri SQL.

Misalnya, Anda mungkin ingin menjalankan kueri langsung di database Airflow, membuat cadangan database, mengumpulkan statistik berdasarkan konten database, atau mengambil informasi kustom lainnya dari database.

Sebelum memulai

Menjalankan kueri SQL di database Airflow

Untuk terhubung ke database Airflow:

  1. Buat DAG dengan satu atau beberapa operator PostgresOperator. Untuk memulai, Anda dapat menggunakan contoh DAG.

  2. Di parameter sql operator, tentukan kueri SQL Anda.

  3. Upload DAG ini ke lingkungan Anda.

  4. Memicu DAG, misalnya, Anda dapat melakukannya secara manual atau menunggu hingga berjalan sesuai jadwal.

Contoh DAG:

import datetime
import os

import airflow
from airflow.providers.postgres.operators.postgres import PostgresOperator

SQL_DATABASE = os.environ["SQL_DATABASE"]

with airflow.DAG(
    "airflow_db_connection_example",
    start_date=datetime.datetime(2024, 1, 1),
    schedule_interval=None,
    catchup=False) as dag:

    PostgresOperator(
        task_id="run_airflow_db_query",
        dag=dag,
        postgres_conn_id="airflow_db",
        database=SQL_DATABASE,
        sql="SELECT * FROM dag LIMIT 10;",
    )

Membuat dump konten database dan mentransfernya ke bucket

Langkah selanjutnya