Cloud Composer 1 | Cloud Composer 2 | Cloud Composer 3
Tutorial ini adalah modifikasi dari Menjalankan DAG Analisis Data di Google Cloud yang menunjukkan cara menghubungkan lingkungan Cloud Composer ke Amazon Web Services untuk memanfaatkan data yang tersimpan di sana. Panduan ini menunjukkan cara menggunakan Cloud Composer untuk membuat DAG Apache Airflow. DAG menggabungkan data dari set data publik BigQuery dan file CSV yang disimpan di bucket Amazon Web Services (AWS) S3, lalu menjalankan tugas batch Dataproc Serverless untuk memproses data yang digabungkan.
Set data publik BigQuery dalam tutorial ini adalah ghcn_d, yakni database terintegrasi yang berisi ringkasan iklim di seluruh dunia. File CSV berisi informasi tentang tanggal dan nama hari libur AS dari 1997 hingga 2021.
Pertanyaan yang ingin kita jawab menggunakan DAG adalah: "Seberapa hangat di Chicago pada Thanksgiving selama 25 tahun terakhir?"
Tujuan
- Membuat lingkungan Cloud Composer dalam konfigurasi default
- Membuat bucket di AWS S3
- Membuat set data BigQuery kosong
- Membuat bucket Cloud Storage baru
- Buat dan jalankan DAG yang mencakup tugas berikut:
- Memuat set data eksternal dari S3 ke Cloud Storage
- Memuat set data eksternal dari Cloud Storage ke BigQuery
- Menggabungkan dua set data di BigQuery
- Menjalankan tugas PySpark analisis data
Sebelum memulai
Kelola izin di AWS
Ikuti "Membuat kebijakan dengan bagian editor visual" di Tutorial Membuat Kebijakan IAM AWS untuk membuat kebijakan IAM yang disesuaikan untuk AWS S3 dengan konfigurasi berikut:
- Layanan: S3
- ListAllMyBuckets (
s3:ListAllMyBuckets
), untuk melihat bucket S3 Anda - CreateBucket (
s3:CreateBucket
), untuk membuat bucket - PutBucketOwnershipControls (
s3:PutBucketOwnershipControls
), untuk membuat bucket - ListBucket (
s3:ListBucket
), untuk memberikan izin guna mencantumkan objek di bucket S3 - PutObject (
s3:PutObject
), untuk mengupload file ke bucket - GetBucketVersioning (
s3:GetBucketVersioning
), untuk menghapus objek dalam bucket - DeleteObject (
s3:DeleteObject
), untuk menghapus objek di dalam bucket - ListBucketVersions (
s3:ListBucketVersions
), untuk menghapus bucket - DeleteBucket (
s3:DeleteBucket
), untuk menghapus bucket - Resource: Pilih "Apa pun" di samping "bucket" dan "objek" untuk memberikan izin ke semua resource jenis tersebut.
- Tag: Tidak ada
- Nama: TutorialPolicy
Lihat daftar tindakan yang didukung di Amazon S3 untuk mengetahui informasi selengkapnya tentang setiap konfigurasi yang ditemukan di atas.
Mengaktifkan API
Mengaktifkan API berikut:
Konsol
Enable the Dataproc, Cloud Composer, BigQuery, Cloud Storage APIs.
gcloud
Enable the Dataproc, Cloud Composer, BigQuery, Cloud Storage APIs:
gcloud services enable dataproc.googleapis.comcomposer.googleapis.com bigquery.googleapis.com storage.googleapis.com
Memberikan izin
Berikan peran dan izin berikut ke akun pengguna Anda:
Berikan peran untuk mengelola lingkungan dan bucket lingkungan Cloud Composer.
Berikan peran BigQuery Data Owner (
roles/bigquery.dataOwner
) untuk membuat set data BigQuery.Berikan peran Storage Admin (
roles/storage.admin
) untuk membuat bucket Cloud Storage.
Membuat dan menyiapkan lingkungan Cloud Composer
Buat lingkungan Cloud Composer dengan parameter default:
- Pilih wilayah yang berbasis di AS.
- Pilih versi Cloud Composer terbaru.
Berikan peran berikut ke akun layanan yang digunakan di lingkungan Cloud Composer agar pekerja Airflow dapat menjalankan tugas DAG dengan sukses:
- Pengguna BigQuery (
roles/bigquery.user
) - Pemilik Data BigQuery (
roles/bigquery.dataOwner
) - Service Account User (
roles/iam.serviceAccountUser
) - Editor Dataproc (
roles/dataproc.editor
) - Pekerja Dataproc (
roles/dataproc.worker
)
- Pengguna BigQuery (
Membuat dan mengubah resource terkait di Google Cloud
Instal paket PyPI
apache-airflow-providers-amazon
di lingkungan Cloud Composer Anda.Buat set data BigQuery kosong dengan parameter berikut:
- Name:
holiday_weather
- Region:
US
- Name:
Buat bucket Cloud Storage baru di multiregion
US
.Jalankan perintah berikut untuk mengaktifkan akses Google pribadi pada subnet default di region tempat Anda ingin menjalankan Dataproc Serverless untuk memenuhi persyaratan jaringan. Sebaiknya gunakan region yang sama dengan lingkungan Cloud Composer Anda.
gcloud compute networks subnets update default \ --region DATAPROC_SERVERLESS_REGION \ --enable-private-ip-google-access
Membuat resource terkait di AWS
Buat bucket S3 dengan setelan default di region pilihan Anda.
Menghubungkan ke AWS dari Cloud Composer
- Mendapatkan ID kunci akses AWS dan kunci akses secret Anda
Tambahkan koneksi AWS S3 menggunakan UI Airflow:
- Buka Admin > Koneksi.
Buat koneksi baru dengan konfigurasi berikut:
- ID Koneksi:
aws_s3_connection
- Jenis Koneksi:
Amazon S3
- Tambahan:
{"aws_access_key_id":"your_aws_access_key_id", "aws_secret_access_key": "your_aws_secret_access_key"}
- ID Koneksi:
Pemrosesan data menggunakan Dataproc Serverless
Mempelajari contoh PySpark Job
Kode yang ditampilkan di bawah ini adalah contoh tugas PySpark yang mengonversi suhu dari sepuluh derajat dalam Celsius menjadi derajat Celsius. Tugas ini mengonversi data suhu dari set data ke dalam format yang berbeda.
Mengupload file PySpark ke Cloud Storage
Untuk mengupload file PySpark ke Cloud Storage:
Simpan data_analytics_process.py ke komputer lokal Anda.
Di konsol Google Cloud, buka halaman browser Cloud Storage:
Klik nama bucket yang Anda buat sebelumnya.
Di tab Objects untuk bucket, klik tombol Upload files, pilih
data_analytics_process.py
pada dialog yang muncul, lalu klik Open.
Mengupload file CSV ke AWS S3
Untuk mengupload file holidays.csv
:
- Hemat
holidays.csv
di komputer lokal Anda. - Ikuti panduan AWS untuk mengupload file ke bucket Anda.
DAG analisis data
Mempelajari contoh DAG
DAG menggunakan beberapa operator untuk mengubah dan menyatukan data:
S3ToGCSOperator
mentransfer file holidays.csv dari bucket AWS S3 Anda ke bucket Cloud Storage Anda.GCSToBigQueryOperator
menyerap file holidays.csv dari Cloud Storage ke tabel baru dalam set dataholidays_weather
BigQuery yang Anda buat sebelumnya.DataprocCreateBatchOperator
membuat dan menjalankan tugas batch PySpark menggunakan Dataproc Serverless.BigQueryInsertJobOperator
menggabungkan data dari holidays.csv di kolom "Tanggal" dengan data cuaca dari set data publik BigQuery ghcn_d. TugasBigQueryInsertJobOperator
dibuat secara dinamis menggunakan for loop, dan tugas ini berada dalamTaskGroup
agar lebih mudah dibaca di Tampilan Grafik UI Airflow.
Menggunakan UI Airflow untuk menambahkan variabel
Di Airflow, variabel adalah cara universal untuk menyimpan dan mengambil setelan atau konfigurasi arbitrer sebagai penyimpanan nilai kunci sederhana. DAG ini menggunakan variabel Airflow untuk menyimpan nilai umum. Untuk menambahkannya ke lingkungan Anda:
Buka Admin > Variabel.
Tambahkan variabel berikut:
s3_bucket
: nama bucket S3 yang Anda buat sebelumnya.gcp_project
: project ID Anda.gcs_bucket
: nama bucket yang Anda buat sebelumnya (tanpa awalangs://
).gce_region
: region tempat Anda ingin tugas Dataproc yang memenuhi persyaratan jaringan Serverless Dataproc. Ini adalah wilayah tempat Anda mengaktifkan akses Google pribadi sebelumnya.dataproc_service_account
: akun layanan untuk lingkungan Cloud Composer Anda. Anda dapat menemukan akun layanan ini di tab konfigurasi lingkungan untuk lingkungan Cloud Composer.
Mengupload DAG ke bucket lingkungan Anda
Cloud Composer menjadwalkan DAG yang ada di folder /dags
di bucket lingkungan Anda. Untuk mengupload DAG menggunakan
Konsol Google Cloud:
Di komputer lokal Anda, simpan s3togcsoperator_tutorial.py.
Di Konsol Google Cloud, buka halaman Environments.
Dalam daftar lingkungan, di kolom DAG folder, klik link DAGs. Folder DAG lingkungan Anda akan terbuka.
Klik Upload files.
Pilih
s3togcsoperator_tutorial.py
di komputer lokal Anda, lalu klik Open.
Memicu DAG
Di lingkungan Cloud Composer, klik tab DAGs.
Klik ID DAG
s3_to_gcs_dag
.Klik Pemicu DAG.
Tunggu sekitar lima hingga sepuluh menit hingga Anda melihat centang hijau yang menunjukkan tugas telah berhasil diselesaikan.
Memvalidasi keberhasilan DAG
Di Konsol Google Cloud, buka halaman BigQuery.
Di panel Explorer, klik nama project Anda.
Klik
holidays_weather_joined
.Klik pratinjau untuk melihat tabel yang dihasilkan. Perhatikan bahwa angka dalam kolom nilai dalam sepersepuluh derajat Celsius.
Klik
holidays_weather_normalized
.Klik pratinjau untuk melihat tabel yang dihasilkan. Perhatikan bahwa angka dalam kolom nilai dalam derajat Celsius.
Pembersihan
Hapus masing-masing resource yang Anda buat untuk tutorial ini:
Hapus file
holidays.csv
di bucket AWS S3 Anda.Hapus bucket AWS S3 yang Anda buat.
Menghapus bucket Cloud Storage yang Anda buat untuk tutorial ini.
Menghapus lingkungan Cloud Composer, termasuk menghapus bucket lingkungan secara manual.