Menjalankan DAG analisis data di Google Cloud menggunakan data dari AWS

Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3

Catatan: Halaman ini belum direvisi untuk Cloud Composer 3 dan menampilkan untuk Cloud Composer 2.

Tutorial ini adalah modifikasi dari Menjalankan DAG Analisis Data di Google Cloud yang menunjukkan cara menghubungkan lingkungan Cloud Composer ke Amazon Layanan Web untuk memanfaatkan data yang disimpan di sana. Ini menunjukkan cara menggunakan Cloud Composer untuk membuat DAG Apache Airflow. Tujuan DAG menggabungkan data dari {i>dataset<i} publik BigQuery dan file CSV yang disimpan di Bucket Amazon Web Services (AWS) S3 lalu menjalankan tugas batch Dataproc Serverless untuk memproses penautan layanan otomatis dan data skalabel.

{i>Dataset<i} publik BigQuery dalam tutorial ini adalah ghcn_d, database terintegrasi yang berisi ringkasan iklim di seluruh dunia. File CSV berisi informasi tentang tanggal dan nama hari libur AS dari tahun 1997 hingga 2021.

Pertanyaan yang ingin kita jawab menggunakan DAG adalah: "Seberapa hangat hari ini di Chicago pada Thanksgiving selama 25 tahun terakhir?"

Tujuan

• Membuat lingkungan Cloud Composer dalam konfigurasi default
• Membuat bucket di AWS S3
• Membuat set data BigQuery kosong
• Membuat bucket Cloud Storage baru
• Buat dan jalankan DAG yang mencakup tugas berikut:
  • Memuat set data eksternal dari S3 ke Cloud Storage
  • Muat set data eksternal dari Cloud Storage ke BigQuery
  • Menggabungkan dua set data di BigQuery
  • Menjalankan tugas PySpark analisis data

Sebelum memulai

Kelola izin di AWS

1. Buat akun AWS.

2. Ikuti "Membuat kebijakan dengan bagian editor visual" dari Membuat Tutorial AWS Kebijakan IAM untuk membuat kebijakan IAM yang disesuaikan untuk AWS S3 dengan konfigurasi berikut:

   • Layanan: S3
   • ListAllMyBuckets (s3:ListAllMyBuckets), untuk melihat bucket S3 Anda
   • CreateBucket (s3:CreateBucket), untuk membuat bucket
   • PutBucketOwnershipControls (s3:PutBucketOwnershipControls), untuk membuat bucket
   • ListBucket (s3:ListBucket), untuk memberikan izin guna mencantumkan objek di bucket S3
   • PutObject (s3:PutObject), untuk mengupload file ke bucket
   • GetBucketVersioning (s3:GetBucketVersioning), untuk menghapus objek dalam bucket
   • DeleteObject (s3:DeleteObject), untuk menghapus objek di dalam bucket
   • ListBucketVersions (s3:ListBucketVersions), untuk menghapus bucket
   • DeleteBucket (s3:DeleteBucket), untuk menghapus bucket
   • Materi: Pilih "Apa pun" di samping "bucket" dan "objek" untuk diberikan izin akses untuk semua sumber daya dari jenis tersebut.
   • Tag: Tidak ada
   • Nama: TutorialPolicy

   Lihat daftar tindakan yang didukung di Amazon S3 untuk informasi selengkapnya tentang setiap konfigurasi yang ditemukan di atas.

3. Tambahkan kebijakan IAM TutorialPolicy ke identitas Anda

Perhatian: Memilih "Apa pun" untuk "bucket" dan "objek" akan memberikan izin kepada berbagai sumber daya di S3. Untuk mempersempit cakupan kebijakan ini, Anda dapat membatasi izin ke bucket dan objek tertentu setelah Anda membuatnya nanti dalam tutorial.

Mengaktifkan API

Mengaktifkan API berikut:

Konsol

Aktifkan API Dataproc, Cloud Composer, BigQuery, Cloud Storage.

Mengaktifkan API

gcloud

Aktifkan API Dataproc, Cloud Composer, BigQuery, Cloud Storage:

gcloud services enable dataproc.googleapis.com  composer.googleapis.com  bigquery.googleapis.com  storage.googleapis.com

Memberikan izin

Berikan peran dan izin berikut ke akun pengguna Anda:

• Berikan peran untuk mengelola lingkungan dan bucket lingkungan Cloud Composer.

• Berikan peran BigQuery Data Owner (roles/bigquery.dataOwner) untuk membuat set data BigQuery.

• Berikan peran Storage Admin (roles/storage.admin) untuk membuat bucket Cloud Storage.

Membuat dan menyiapkan lingkungan Cloud Composer

1. Membuat lingkungan Cloud Composer dengan default parameter:

   • Pilih wilayah yang berbasis di AS.
   • Pilih versi Cloud Composer terbaru.
   Catatan: Bagian BigQuery dari tutorial ini harus dijalankan di US multi-region. Sebaiknya pilih wilayah AS untuk lingkungan Cloud Composer untuk mengurangi biaya dan latensi, tetapi masih dapat berjalan jika lingkungan Cloud Composer Anda berada wilayah lain.

2. Berikan peran berikut ke akun layanan yang digunakan di lingkungan Cloud Composer agar pekerja Airflow dapat berhasil menjalankan tugas DAG:

   • Pengguna BigQuery (roles/bigquery.user)
   • Pemilik Data BigQuery (roles/bigquery.dataOwner)
   • Service Account User (roles/iam.serviceAccountUser)
   • Editor Dataproc (roles/dataproc.editor)
   • Pekerja Dataproc (roles/dataproc.worker)

Membuat dan mengubah resource terkait di Google Cloud

1. Menginstal apache-airflow-providers-amazon paket PyPI di lingkungan Cloud Composer.

2. Membuat set data BigQuery kosong dengan parameter berikut:

   • Nama: holiday_weather
   • Region: US

3. Membuat bucket Cloud Storage baru di multiregion US.

4. Jalankan perintah berikut untuk mengaktifkan akses Google pribadi di subnet default di region tempat Anda ingin menjalankan Dataproc Serverless untuk memenuhi persyaratan jaringan. Rab sebaiknya gunakan region yang sama dengan Cloud Composer Anda lingkungan fleksibel App Engine.

   gcloud compute networks subnets update default \
       --region DATAPROC_SERVERLESS_REGION \
       --enable-private-ip-google-access
   

Perhatian: Set data BigQuery kosong harus berada di region AS agar memenuhi persyaratan kolokasi untuk mentransfer set data publik BigQuery ghcn_d.

Membuat resource terkait di AWS

Membuat bucket S3 dengan setelan default di wilayah pilihan Anda.

Menghubungkan ke AWS dari Cloud Composer

Catatan: Sebaiknya simpan semua kredensial untuk koneksi di Secret Manager. Jika Anda berencana menggunakan tutorial ini untuk produksi, pertimbangkan untuk mengkonfigurasi Secret Manager untuk lingkungan Anda. Untuk informasi selengkapnya, lihat Mengonfigurasi Secret Manager untuk lingkungan Anda.

1. Mendapatkan ID kunci akses AWS dan kunci akses secret Anda

2. Tambahkan AWS S3 Anda koneksi menggunakan UI Airflow:

   1. Buka Admin &gt; Koneksi.

   2. Buat koneksi baru dengan konfigurasi berikut:

      • ID Koneksi: aws_s3_connection
      • Jenis Koneksi: Amazon S3
      • Tambahan: {"aws_access_key_id":"your_aws_access_key_id", "aws_secret_access_key": "your_aws_secret_access_key"}

Pemrosesan data menggunakan Dataproc Serverless

Mempelajari contoh PySpark Job

Kode yang ditampilkan di bawah ini adalah contoh tugas PySpark yang mengonversi suhu dari sepersepuluh derajat dalam Celsius ke derajat Celsius. Lowongan ini melakukan konversi data suhu dari {i>dataset <i}ke dalam format yang berbeda.

import sys


from py4j.protocol import Py4JJavaError
from pyspark.sql import SparkSession
from pyspark.sql.functions import col


if __name__ == "__main__":
    BUCKET_NAME = sys.argv[1]
    READ_TABLE = sys.argv[2]
    WRITE_TABLE = sys.argv[3]

    # Create a SparkSession, viewable via the Spark UI
    spark = SparkSession.builder.appName("data_processing").getOrCreate()

    # Load data into dataframe if READ_TABLE exists
    try:
        df = spark.read.format("bigquery").load(READ_TABLE)
    except Py4JJavaError as e:
        raise Exception(f"Error reading {READ_TABLE}") from e

    # Convert temperature from tenths of a degree in celsius to degrees celsius
    df = df.withColumn("value", col("value") / 10)
    # Display sample of rows
    df.show(n=20)

    # Write results to GCS
    if "--dry-run" in sys.argv:
        print("Data will not be uploaded to BigQuery")
    else:
        # Set GCS temp location
        temp_path = BUCKET_NAME

        # Saving the data to BigQuery using the "indirect path" method and the spark-bigquery connector
        # Uses the "overwrite" SaveMode to ensure DAG doesn't fail when being re-run
        # See https://spark.apache.org/docs/latest/sql-data-sources-load-save-functions.html#save-modes
        # for other save mode options
        df.write.format("bigquery").option("temporaryGcsBucket", temp_path).mode(
            "overwrite"
        ).save(WRITE_TABLE)
        print("Data written to BigQuery")

Mengupload file PySpark ke Cloud Storage

Untuk mengupload file PySpark ke Cloud Storage:

1. Simpan data_analytics_process.py ke komputer lokal Anda.

2. Di konsol Google Cloud, buka halaman browser Cloud Storage:

   Buka browser Cloud Storage

3. Klik nama bucket yang Anda buat sebelumnya.

4. Di tab Objects untuk bucket, klik tombol Upload files, pilih data_analytics_process.py di dialog yang muncul, lalu klik Buka.

Mengupload file CSV ke AWS S3

Untuk mengupload file holidays.csv:

1. Hemat holidays.csv di komputer lokal Anda.
2. Ikuti Panduan AWS untuk mengupload file ke bucket Anda.

DAG analisis data

Mempelajari contoh DAG

DAG menggunakan beberapa operator untuk mengubah dan menyatukan data:

• Tujuan S3ToGCSOperator mentransfer file holidays.csv dari AWS S3 ke bucket Cloud Storage Anda.

• Tujuan GCSToBigQueryOperator menyerap file holidays.csv dari Cloud Storage ke tabel baru di BigQuery holidays_weather set data yang Anda buat sebelumnya.

• Tujuan DataprocCreateBatchOperator membuat dan menjalankan tugas batch PySpark menggunakan Dataproc Serverless.

• Tujuan BigQueryInsertJobOperator menggabungkan data dari holidays.csv pada "Tanggal" kolom dengan data cuaca dari {i>dataset<i} publik BigQuery ghcn_d. Tugas BigQueryInsertJobOperator dihasilkan secara dinamis menggunakan loop for, dan tugas-tugas ini berada dalam TaskGroup untuk keterbacaan yang lebih baik dalam Tampilan Grafik UI Airflow.

Penting: DataprocCreateBatchOperator tersedia di Paket apache-airflow-providers-google versi 6.2.0 dan yang lebih baru. Tujuan versi yang diperlukan dari paket ini sudah diinstal lebih dulu di lingkungan Anda mulai dari Cloud Composer versi 1.17.10 dan 2.0.3.

import datetime

from airflow import models
from airflow.providers.google.cloud.operators import dataproc
from airflow.providers.google.cloud.operators.bigquery import BigQueryInsertJobOperator
from airflow.providers.google.cloud.transfers.gcs_to_bigquery import (
    GCSToBigQueryOperator,
)
from airflow.providers.google.cloud.transfers.s3_to_gcs import S3ToGCSOperator
from airflow.utils.task_group import TaskGroup

PROJECT_NAME = "{{var.value.gcp_project}}"
REGION = "{{var.value.gce_region}}"

# BigQuery configs
BQ_DESTINATION_DATASET_NAME = "holiday_weather"
BQ_DESTINATION_TABLE_NAME = "holidays_weather_joined"
BQ_NORMALIZED_TABLE_NAME = "holidays_weather_normalized"

# Dataproc configs
BUCKET_NAME = "{{var.value.gcs_bucket}}"
PYSPARK_JAR = "gs://spark-lib/bigquery/spark-bigquery-latest_2.12.jar"
PROCESSING_PYTHON_FILE = f"gs://{BUCKET_NAME}/data_analytics_process.py"

# S3 configs
S3_BUCKET_NAME = "{{var.value.s3_bucket}}"

BATCH_ID = "data-processing-{{ ts_nodash | lower}}"  # Dataproc serverless only allows lowercase characters
BATCH_CONFIG = {
    "pyspark_batch": {
        "jar_file_uris": [PYSPARK_JAR],
        "main_python_file_uri": PROCESSING_PYTHON_FILE,
        "args": [
            BUCKET_NAME,
            f"{BQ_DESTINATION_DATASET_NAME}.{BQ_DESTINATION_TABLE_NAME}",
            f"{BQ_DESTINATION_DATASET_NAME}.{BQ_NORMALIZED_TABLE_NAME}",
        ],
    },
    "environment_config": {
        "execution_config": {
            "service_account": "{{var.value.dataproc_service_account}}"
        }
    },
}

yesterday = datetime.datetime.combine(
    datetime.datetime.today() - datetime.timedelta(1), datetime.datetime.min.time()
)

default_dag_args = {
    # Setting start date as yesterday starts the DAG immediately when it is
    # detected in the Cloud Storage bucket.
    "start_date": yesterday,
    # To email on failure or retry set 'email' arg to your email and enable
    # emailing here.
    "email_on_failure": False,
    "email_on_retry": False,
}

with models.DAG(
    "s3_to_gcs_dag",
    # Continue to run DAG once per day
    schedule_interval=datetime.timedelta(days=1),
    default_args=default_dag_args,
) as dag:
    s3_to_gcs_op = S3ToGCSOperator(
        task_id="s3_to_gcs",
        bucket=S3_BUCKET_NAME,
        gcp_conn_id="google_cloud_default",
        aws_conn_id="aws_s3_connection",
        dest_gcs=f"gs://{BUCKET_NAME}",
    )

    create_batch = dataproc.DataprocCreateBatchOperator(
        task_id="create_batch",
        project_id=PROJECT_NAME,
        region=REGION,
        batch=BATCH_CONFIG,
        batch_id=BATCH_ID,
    )

    load_external_dataset = GCSToBigQueryOperator(
        task_id="run_bq_external_ingestion",
        bucket=BUCKET_NAME,
        source_objects=["holidays.csv"],
        destination_project_dataset_table=f"{BQ_DESTINATION_DATASET_NAME}.holidays",
        source_format="CSV",
        schema_fields=[
            {"name": "Date", "type": "DATE"},
            {"name": "Holiday", "type": "STRING"},
        ],
        skip_leading_rows=1,
        write_disposition="WRITE_TRUNCATE",
    )

    with TaskGroup("join_bq_datasets") as bq_join_group:
        for year in range(1997, 2022):
            BQ_DATASET_NAME = f"bigquery-public-data.ghcn_d.ghcnd_{str(year)}"
            BQ_DESTINATION_TABLE_NAME = "holidays_weather_joined"
            # Specifically query a Chicago weather station
            WEATHER_HOLIDAYS_JOIN_QUERY = f"""
            SELECT Holidays.Date, Holiday, id, element, value
            FROM `{PROJECT_NAME}.holiday_weather.holidays` AS Holidays
            JOIN (SELECT id, date, element, value FROM {BQ_DATASET_NAME} AS Table
            WHERE Table.element="TMAX" AND Table.id="USW00094846") AS Weather
            ON Holidays.Date = Weather.Date;
            """

            # For demo purposes we are using WRITE_APPEND
            # but if you run the DAG repeatedly it will continue to append
            # Your use case may be different, see the Job docs
            # https://cloud.google.com/bigquery/docs/reference/rest/v2/Job
            # for alternative values for the writeDisposition
            # or consider using partitioned tables
            # https://cloud.google.com/bigquery/docs/partitioned-tables
            bq_join_holidays_weather_data = BigQueryInsertJobOperator(
                task_id=f"bq_join_holidays_weather_data_{str(year)}",
                configuration={
                    "query": {
                        "query": WEATHER_HOLIDAYS_JOIN_QUERY,
                        "useLegacySql": False,
                        "destinationTable": {
                            "projectId": PROJECT_NAME,
                            "datasetId": BQ_DESTINATION_DATASET_NAME,
                            "tableId": BQ_DESTINATION_TABLE_NAME,
                        },
                        "writeDisposition": "WRITE_APPEND",
                    }
                },
                location="US",
            )

        s3_to_gcs_op >> load_external_dataset >> bq_join_group >> create_batch

Menggunakan UI Airflow untuk menambahkan variabel

Di Airflow, variabel adalah cara universal untuk menyimpan dan mengambil pengaturan arbitrer atau konfigurasi sebagai penyimpanan nilai kunci sederhana. DAG ini menggunakan variabel Airflow untuk menyimpan nilai umum. Untuk menambahkannya ke lingkungan Anda:

1. Akses UI Airflow dari konsol Cloud Composer.

2. Buka Admin &gt; Variabel.

3. Tambahkan variabel berikut:

   • s3_bucket: nama bucket S3 yang Anda buat sebelumnya.

   • gcp_project: project ID Anda.

   • gcs_bucket: nama bucket yang Anda buat sebelumnya (tanpa awalan gs://).

   • gce_region: wilayah tempat Anda ingin Tugas Dataproc yang memenuhi Persyaratan jaringan Serverless Dataproc. Ini adalah wilayah tempat Anda mengaktifkan akses Google pribadi sebelumnya.

   • dataproc_service_account: akun layanan untuk lingkungan Cloud Composer. Anda dapat menemukan layanan ini akun di tab konfigurasi lingkungan untuk lingkungan Cloud Composer.

Mengupload DAG ke bucket lingkungan Anda

Cloud Composer menjadwalkan DAG yang berada di /dags folder di bucket lingkungan Anda. Untuk mengupload DAG menggunakan metode Konsol Google Cloud:

1. Di komputer lokal Anda, simpan s3togcsoperator_tutorial.py.

2. Di Konsol Google Cloud, buka halaman Environments.

   Buka Lingkungan

3. Dalam daftar lingkungan, di kolom folder DAG, klik link DAGs. Folder DAG lingkungan Anda akan terbuka.

4. Klik Upload files.

5. Pilih s3togcsoperator_tutorial.py di komputer lokal Anda, lalu klik Buka.

Memicu DAG

1. Di lingkungan Cloud Composer, klik tab DAGs.

2. Klik ID DAG s3_to_gcs_dag.

3. Klik Pemicu DAG.

4. Tunggu sekitar lima sampai sepuluh menit hingga Anda melihat tanda centang hijau yang menunjukkan tugas telah berhasil diselesaikan.

Memvalidasi keberhasilan DAG

1. Di Konsol Google Cloud, buka halaman BigQuery.

   Buka BigQuery

2. Di panel Explorer, klik nama project Anda.

3. Klik holidays_weather_joined.

4. Klik pratinjau untuk melihat tabel yang dihasilkan. Perhatikan bahwa angka dalam dalam sepersepuluh derajat Celsius.

5. Klik holidays_weather_normalized.

6. Klik pratinjau untuk melihat tabel yang dihasilkan. Perhatikan bahwa angka dalam kolom nilai dalam derajat Celsius.

Pembersihan

Hapus masing-masing resource yang Anda buat untuk tutorial ini:

• Hapus file holidays.csv di bucket AWS S3 Anda.

• Menghapus bucket AWS S3 yang Anda buat.

• Hapus bucket Cloud Storage yang Anda yang dibuat untuk tutorial ini.

• Hapus set data BigQuery.

• Menghapus lingkungan Cloud Composer, termasuk menghapus bucket lingkungan secara manual.

Langkah selanjutnya

• Jalankan DAG Analisis Data di Google Cloud.
• Jalankan DAG Analisis Data di Azure.