Menjalankan DAG Analisis Data di Google Cloud menggunakan data dari Azure

Cloud Composer 1 | Cloud Composer 2

Tutorial ini adalah modifikasi dari Menjalankan DAG Analisis Data di Google Cloud yang menunjukkan cara menghubungkan lingkungan Cloud Composer Anda ke Microsoft Azure untuk memanfaatkan data yang disimpan di sana. Panduan ini menunjukkan cara menggunakan Cloud Composer untuk membuat DAG Apache Airflow. DAG menggabungkan data dari set data publik BigQuery dan file CSV yang disimpan di Azure Blob Storage, lalu menjalankan tugas batch Dataproc Serverless untuk memproses data yang digabungkan.

Set data publik BigQuery dalam tutorial ini adalah ghcn_d, database terintegrasi yang berisi ringkasan iklim di seluruh dunia. File CSV berisi informasi tentang tanggal dan nama hari libur AS dari 1997 hingga 2021.

Pertanyaan yang ingin kita jawab menggunakan DAG adalah: "Seberapa hangat di Chicago pada hari Thanksgiving selama 25 tahun terakhir?"

Catatan: Tutorial ini menggunakan Airflow 2.

Tujuan

• Membuat lingkungan Cloud Composer di konfigurasi default
• Membuat blob di Azure
• Membuat set data BigQuery kosong
• Membuat bucket Cloud Storage baru
• Buat dan jalankan DAG yang mencakup tugas-tugas berikut:
  • Memuat set data eksternal dari Azure Blob Storage ke Cloud Storage
  • Memuat set data eksternal dari Cloud Storage ke BigQuery
  • Menggabungkan dua set data di BigQuery
  • Menjalankan tugas PySpark analisis data

Sebelum memulai

Mengaktifkan API

Mengaktifkan API berikut:

Konsol

Aktifkan API Dataproc, Cloud Composer, BigQuery, Cloud Storage.

Mengaktifkan API

gcloud

Aktifkan API Dataproc, Cloud Composer, BigQuery, Cloud Storage:

gcloud services enable dataproc.googleapis.com  composer.googleapis.com  bigquery.googleapis.com  storage.googleapis.com

Memberikan izin

Berikan peran dan izin berikut ke akun pengguna Anda:

• Memberikan peran untuk mengelola lingkungan Cloud Composer dan bucket lingkungan.

• Berikan peran BigQuery Data Owner (roles/bigquery.dataOwner) untuk membuat set data BigQuery.

• Berikan peran Storage Admin (roles/storage.admin) untuk membuat bucket Cloud Storage.

Membuat dan menyiapkan lingkungan Cloud Composer

1. Buat lingkungan Cloud Composer dengan parameter default:

   • Pilih wilayah yang berbasis di AS.
   • Pilih versi Cloud Composer terbaru.
   Catatan: Bagian BigQuery dalam tutorial ini harus dijalankan di multiregion US. Sebaiknya pilih region AS untuk lingkungan Cloud Composer Anda guna mengurangi biaya dan latensi. Namun, tutorialnya tetap dapat dijalankan jika lingkungan Cloud Composer Anda berada di region lain.

2. Berikan peran berikut ke akun layanan yang digunakan di lingkungan Cloud Composer Anda agar pekerja Airflow dapat menjalankan tugas DAG:

   • BigQuery User (roles/bigquery.user)
   • Pemilik Data BigQuery (roles/bigquery.dataOwner)
   • Service Account User (roles/iam.serviceAccountUser)
   • Editor Dataproc (roles/dataproc.editor)
   • Pekerja Dataproc (roles/dataproc.worker)

Membuat dan mengubah resource terkait di Google Cloud

1. Instal paket PyPI apache-airflow-providers-microsoft-azure di lingkungan Cloud Composer Anda.

2. Buat set data BigQuery kosong dengan parameter berikut:

   • Name: holiday_weather
   • Region: US

3. Buat bucket Cloud Storage baru di multiregion US.

4. Jalankan perintah berikut untuk mengaktifkan akses Google pribadi pada subnet default di region tempat Anda ingin menjalankan Dataproc Serverless untuk memenuhi persyaratan jaringan. Sebaiknya gunakan region yang sama dengan lingkungan Cloud Composer Anda.

   gcloud compute networks subnets update default \
       --region DATAPROC_SERVERLESS_REGION \
       --enable-private-ip-google-access
   

Perhatian: Set data BigQuery kosong harus berada di region AS untuk memenuhi persyaratan kolokasi untuk mentransfer set data publik BigQuery ghcn_d.

Membuat resource terkait di Azure

1. Buat akun penyimpanan dengan setelan default.

2. Dapatkan kunci akses dan string koneksi untuk akun penyimpanan Anda.

3. Buat penampung dengan opsi default di akun penyimpanan yang baru Anda buat.

4. Berikan peran Storage Blob Delegator untuk container yang dibuat di langkah sebelumnya.

5. Upload holidays.csv untuk membuat blob blok dengan opsi default di portal Azure.

6. Buat token SAS untuk blob blok yang Anda buat pada langkah sebelumnya di portal Azure.

   • Metode penandatanganan: Kunci delegasi pengguna
   • Izin: Baca
   • Alamat IP yang diizinkan: Tidak ada
   • Protokol yang diizinkan: Khusus HTTPS

Catatan: Token SAS adalah cara yang aman dan terdokumentasi untuk mengakses akun penyimpanan Azure Anda. Namun, keduanya sensitif terhadap waktu dan masing-masing memiliki tanggal habis masa berlaku. Pilih tanggal habis masa berlaku yang sesuai.

Terhubung ke Azure dari Cloud Composer

Catatan: Sebaiknya simpan semua kredensial untuk koneksi di Secret Manager. Jika Anda berencana menggunakan tutorial ini untuk tujuan produksi, pertimbangkan untuk mengonfigurasi Secret Manager untuk lingkungan Anda. Untuk mengetahui informasi selengkapnya, lihat Mengonfigurasi Secret Manager untuk lingkungan Anda.

Tambahkan koneksi Microsoft Azure Anda menggunakan UI Airflow:

1. Buka Admin > Connections.

2. Buat koneksi baru dengan konfigurasi berikut:

   • ID Koneksi: azure_blob_connection
   • Jenis Koneksi: Azure Blob Storage
   • Blob Storage Login: nama akun penyimpanan Anda
   • Blob Storage Key: kunci akses untuk akun penyimpanan Anda
   • String Koneksi Akun Blob Storage: string koneksi akun penyimpanan Anda
   • Token SAS: token SAS yang dihasilkan dari blob Anda

Pemrosesan data menggunakan Dataproc Serverless

Mempelajari contoh PySpark Job

Kode yang ditampilkan di bawah ini adalah contoh tugas PySpark yang mengonversi suhu dari sepersepuluh derajat dalam Celsius ke derajat Celsius. Tugas ini mengonversi data suhu dari set data ke dalam format yang berbeda.

import sys

from py4j.protocol import Py4JJavaError
from pyspark.sql import SparkSession
from pyspark.sql.functions import col

if __name__ == "__main__":
    BUCKET_NAME = sys.argv[1]
    READ_TABLE = sys.argv[2]
    WRITE_TABLE = sys.argv[3]

    # Create a SparkSession, viewable via the Spark UI
    spark = SparkSession.builder.appName("data_processing").getOrCreate()

    # Load data into dataframe if READ_TABLE exists
    try:
        df = spark.read.format("bigquery").load(READ_TABLE)
    except Py4JJavaError as e:
        raise Exception(f"Error reading {READ_TABLE}") from e

    # Convert temperature from tenths of a degree in celsius to degrees celsius
    df = df.withColumn("value", col("value") / 10)
    # Display sample of rows
    df.show(n=20)

    # Write results to GCS
    if "--dry-run" in sys.argv:
        print("Data will not be uploaded to BigQuery")
    else:
        # Set GCS temp location
        temp_path = BUCKET_NAME

        # Saving the data to BigQuery using the "indirect path" method and the spark-bigquery connector
        # Uses the "overwrite" SaveMode to ensure DAG doesn't fail when being re-run
        # See https://spark.apache.org/docs/latest/sql-data-sources-load-save-functions.html#save-modes
        # for other save mode options
        df.write.format("bigquery").option("temporaryGcsBucket", temp_path).mode(
            "overwrite"
        ).save(WRITE_TABLE)
        print("Data written to BigQuery")

Mengupload file PySpark ke Cloud Storage

Untuk mengupload file PySpark ke Cloud Storage:

1. Simpan data_analytics_process.py ke komputer lokal Anda.

2. Di konsol Google Cloud, buka halaman Browser Cloud Storage:

   Buka browser Cloud Storage

3. Klik nama bucket yang Anda buat sebelumnya.

4. Di tab Objects untuk bucket, klik tombol Upload files, pilih data_analytics_process.py di dialog yang muncul, lalu klik Open.

DAG analisis data

Mempelajari contoh DAG

DAG menggunakan beberapa operator untuk mengubah dan menyatukan data:

• AzureBlobStorageToGCSOperator mentransfer file holidays.csv dari blob blok Azure ke bucket Cloud Storage.

• GCSToBigQueryOperator menyerap file holidays.csv dari Cloud Storage ke tabel baru dalam set data holidays_weather BigQuery yang Anda buat sebelumnya.

• DataprocCreateBatchOperator membuat dan menjalankan tugas batch PySpark menggunakan Dataproc Serverless.

• BigQueryInsertJobOperator menggabungkan data dari holidays.csv pada kolom "Tanggal" dengan data cuaca dari set data publik BigQuery ghcn_d. Tugas BigQueryInsertJobOperator dibuat secara dinamis menggunakan loop for, dan tugas ini berada di TaskGroup agar lebih mudah dibaca di Tampilan Grafik UI Airflow.

Penting: DataprocCreateBatchOperator tersedia dalam paket apache-airflow-providers-google versi 6.2.0 dan yang lebih baru. Versi yang diperlukan untuk paket ini sudah diinstal sebelumnya di lingkungan Anda mulai dari Cloud Composer versi 1.17.10 dan 2.0.3.

import datetime

from airflow import models
from airflow.providers.google.cloud.operators import dataproc
from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator
from airflow.providers.google.cloud.transfers.gcs_to_bigquery import (
    GCSToBigQueryOperator,
)
from airflow.providers.microsoft.azure.transfers.azure_blob_to_gcs import (
    AzureBlobStorageToGCSOperator,
)
from airflow.utils.task_group import TaskGroup

PROJECT_NAME = "{{var.value.gcp_project}}"
REGION = "{{var.value.gce_region}}"

# BigQuery configs
BQ_DESTINATION_DATASET_NAME = "holiday_weather"
BQ_DESTINATION_TABLE_NAME = "holidays_weather_joined"
BQ_NORMALIZED_TABLE_NAME = "holidays_weather_normalized"

# Dataproc configs
BUCKET_NAME = "{{var.value.gcs_bucket}}"
PYSPARK_JAR = "gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"
PROCESSING_PYTHON_FILE = f"gs://{BUCKET_NAME}/data_analytics_process.py"

# Azure configs
AZURE_BLOB_NAME = "{{var.value.azure_blob_name}}"
AZURE_CONTAINER_NAME = "{{var.value.azure_container_name}}"

BATCH_ID = "data-processing-{{ ts_nodash | lower}}"  # Dataproc serverless only allows lowercase characters
BATCH_CONFIG = {
    "pyspark_batch": {
        "jar_file_uris": [PYSPARK_JAR],
        "main_python_file_uri": PROCESSING_PYTHON_FILE,
        "args": [
            BUCKET_NAME,
            f"{BQ_DESTINATION_DATASET_NAME}.{BQ_DESTINATION_TABLE_NAME}",
            f"{BQ_DESTINATION_DATASET_NAME}.{BQ_NORMALIZED_TABLE_NAME}",
        ],
    },
    "environment_config": {
        "execution_config": {
            "service_account": "{{var.value.dataproc_service_account}}"
        }
    },
}

yesterday = datetime.datetime.combine(
    datetime.datetime.today() - datetime.timedelta(1), datetime.datetime.min.time()
)

default_dag_args = {
    # Setting start date as yesterday starts the DAG immediately when it is
    # detected in the Cloud Storage bucket.
    "start_date": yesterday,
    # To email on failure or retry set 'email' arg to your email and enable
    # emailing here.
    "email_on_failure": False,
    "email_on_retry": False,
}

with models.DAG(
    "azure_to_gcs_dag",
    # Continue to run DAG once per day
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    azure_blob_to_gcs = AzureBlobStorageToGCSOperator(
        task_id="azure_blob_to_gcs",
        # Azure args
        blob_name=AZURE_BLOB_NAME,
        container_name=AZURE_CONTAINER_NAME,
        wasb_conn_id="azure_blob_connection",
        filename=f"https://console.cloud.google.com/storage/browser/{BUCKET_NAME}/",
        # GCP args
        gcp_conn_id="google_cloud_default",
        object_name="holidays.csv",
        bucket_name=BUCKET_NAME,
        gzip=False,
        impersonation_chain=None,
    )

    create_batch = dataproc.DataprocCreateBatchOperator(
        task_id="create_batch",
        project_id=PROJECT_NAME,
        region=REGION,
        batch=BATCH_CONFIG,
        batch_id=BATCH_ID,
    )

    load_external_dataset = GCSToBigQueryOperator(
        task_id="run_bq_external_ingestion",
        bucket=BUCKET_NAME,
        source_objects=["holidays.csv"],
        destination_project_dataset_table=f"{BQ_DESTINATION_DATASET_NAME}.holidays",
        source_format="CSV",
        schema_fields=[
            {"name": "Date", "type": "DATE"},
            {"name": "Holiday", "type": "STRING"},
        ],
        skip_leading_rows=1,
        write_disposition="WRITE_TRUNCATE",
    )

    with TaskGroup("join_bq_datasets") as bq_join_group:
        for year in range(1997, 2022):
            BQ_DATASET_NAME = f"bigquery-public-data.ghcn_d.ghcnd_{str(year)}"
            BQ_DESTINATION_TABLE_NAME = "holidays_weather_joined"
            # Specifically query a Chicago weather station
            WEATHER_HOLIDAYS_JOIN_QUERY = f"""
            SELECT Holidays.Date, Holiday, id, element, value
            FROM `{PROJECT_NAME}.holiday_weather.holidays` AS Holidays
            JOIN (SELECT id, date, element, value FROM {BQ_DATASET_NAME} AS Table
            WHERE Table.element="TMAX" AND Table.id="USW00094846") AS Weather
            ON Holidays.Date = Weather.Date;
            """

            # For demo purposes we are using WRITE_APPEND
            # but if you run the DAG repeatedly it will continue to append
            # Your use case may be different, see the Job docs
            # https://cloud.google.com/bigquery/docs/reference/rest/v2/Job
            # for alternative values for the writeDisposition
            # or consider using partitioned tables
            # https://cloud.google.com/bigquery/docs/partitioned-tables
            bq_join_holidays_weather_data = BigQueryInsertJobOperator(
                task_id=f"bq_join_holidays_weather_data_{str(year)}",
                configuration={
                    "query": {
                        "query": WEATHER_HOLIDAYS_JOIN_QUERY,
                        "useLegacySql": False,
                        "destinationTable": {
                            "projectId": PROJECT_NAME,
                            "datasetId": BQ_DESTINATION_DATASET_NAME,
                            "tableId": BQ_DESTINATION_TABLE_NAME,
                        },
                        "writeDisposition": "WRITE_APPEND",
                    }
                },
                location="US",
            )

        azure_blob_to_gcs >> load_external_dataset >> bq_join_group >> create_batch

Menggunakan UI Airflow untuk menambahkan variabel

Di Airflow, variabel adalah cara universal untuk menyimpan dan mengambil setelan atau konfigurasi arbitrer sebagai penyimpanan nilai kunci sederhana. DAG ini menggunakan variabel Airflow untuk menyimpan nilai umum. Untuk menambahkannya ke lingkungan Anda:

1. Akses UI Airflow dari konsol Cloud Composer.

2. Buka Admin > Variabel.

3. Tambahkan variabel berikut:

   • gcp_project: project ID Anda.

   • gcs_bucket: nama bucket yang Anda buat sebelumnya (tanpa awalan gs://).

   • gce_region: region tempat Anda menginginkan tugas Dataproc yang memenuhi persyaratan jaringan Dataproc Serverless. Ini adalah wilayah tempat Anda sebelumnya mengaktifkan akses Google pribadi.

   • dataproc_service_account: akun layanan untuk lingkungan Cloud Composer Anda. Anda dapat menemukan akun layanan ini di tab konfigurasi lingkungan untuk lingkungan Cloud Composer Anda.

   • azure_blob_name: nama blob yang Anda buat sebelumnya.

   • azure_container_name: nama container yang Anda buat sebelumnya.

Mengupload DAG ke bucket lingkungan Anda

Cloud Composer menjadwalkan DAG yang berada di folder /dags di bucket lingkungan Anda. Untuk mengupload DAG menggunakan Konsol Google Cloud:

1. Di komputer lokal Anda, simpan azureblobstoretogcsoperator_tutorial.py.

2. Di konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

3. Di daftar lingkungan, di kolom folder DAG, klik link DAG. Folder DAG lingkungan Anda akan terbuka.

4. Klik Upload files.

5. Pilih azureblobstoretogcsoperator_tutorial.py di komputer lokal Anda, lalu klik Open.

Picu DAG

1. Di lingkungan Cloud Composer, klik tab DAG.

2. Klik ID DAG azure_blob_to_gcs_dag.

3. Klik Trigger DAG.

4. Tunggu sekitar lima hingga sepuluh menit hingga Anda melihat centang hijau yang menunjukkan tugas telah berhasil diselesaikan.

Memvalidasi keberhasilan DAG

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Penjelajah, klik nama project Anda.

3. Klik holidays_weather_joined.

4. Klik pratinjau untuk melihat tabel yang dihasilkan. Perhatikan bahwa angka dalam kolom nilai berada dalam sepersepuluh derajat Celsius.

5. Klik holidays_weather_normalized.

6. Klik pratinjau untuk melihat tabel yang dihasilkan. Perhatikan bahwa angka-angka dalam kolom nilai dalam derajat Celsius.

Pembersihan

Hapus setiap resource yang Anda buat untuk tutorial ini:

• Hapus container yang Anda buat di Azure.

• Hapus bucket Cloud Storage yang Anda buat untuk tutorial ini.

• Hapus set data BigQuery.

• Menghapus lingkungan Cloud Composer, termasuk menghapus bucket lingkungan secara manual.

Langkah selanjutnya

• Jalankan DAG Analisis Data di Google Cloud.
• Jalankan DAG Analisis Data di AWS.