Langkah 4: Siapkan komponen
Halaman ini menjelaskan langkah keempat untuk men-deploy Cortex Framework Data Foundation, inti dari Cortex Framework. Pada langkah ini, Anda akan menyiapkanGoogle Cloud Service yang diperlukan untuk di-deploy.
Di bagian ini, Anda akan mengaktifkan layanan Google Cloud berikut dalam projectGoogle Cloud :
- Set data dan instance BigQuery
- Cloud Build API
- Bucket Cloud Storage
- Akun Layanan (opsional)
- Cloud Resource Manager API
Aktifkan Google Cloud Layanan ini menggunakan Cloud Shell:
Salin dan tempel perintah berikut:
gcloud config set project SOURCE_PROJECT gcloud services enable bigquery.googleapis.com \ cloudbuild.googleapis.com \ composer.googleapis.com \ storage-component.googleapis.com \ cloudresourcemanager.googleapis.com \ dataflow.googleapis.com
Ganti
SOURCE_PROJECT
dengan project ID sumber Anda.Pastikan layanan Google Cloud diaktifkan jika Anda mendapatkan pesan berhasil.
Opsional. Anda dapat mengaktifkan layanan Google Cloud berikut di ProjectGoogle Cloud :
- Cloud Composer untuk pemrosesan Change Data Capture (CDC), penyederhanaan hierarki (khusus SAP), dan replikasi data (khusus Non-SAP) melalui Directed Acyclic Graphs (DAG). Untuk menyiapkan instance, lihat dokumentasi Cloud Composer.
- Looker untuk terhubung ke template pelaporan.
- Set data tertaut Analytics Hub digunakan untuk beberapa sumber eksternal, seperti DAG Cuaca. Anda dapat memilih untuk mengisi struktur ini dengan sumber lain yang tersedia sesuai pilihan Anda untuk skenario lanjutan.
- Dataflow: Alat integrasi untuk banyak set data Pemasaran seperti Google Ads.
- Dataplex: Digunakan untuk membuat Mesh Data. Untuk informasi selengkapnya, lihat Panduan Pengguna Data Mesh.
Memberikan izin kepada pengguna yang menjalankan
Untuk menjalankan deployment di project tempat Cloud Build dipicu, berikan izin berikut kepada pengguna yang menjalankan:
- Service Usage Consumer
- Storage Object Viewer untuk bucket default Cloud Build atau bucket untuk log
- Object Writer ke bucket output
- Cloud Build Editor
- Project Viewer atau Storage Object Viewer
Untuk informasi selengkapnya tentang cara memberikan izin ini, lihat dokumentasi berikut:
- Izin untuk menjalankan Cloud Build.
- Izin ke penyimpanan untuk Akun Build.
- Izin untuk akun layanan Cloud Build.
- Melihat log dari Build.
Mengonfigurasi akun Cloud Build
Cloud Build menggunakan akun layanan untuk menjalankan build atas nama Anda. Berikan izin akun layanan Cloud Build untuk men-deploy Cortex Framework dengan langkah-langkah berikut.
Untuk memberikan izin akun layanan Cloud Build guna men-deploy Cortex Framework, gunakan perintah berikut.
Temukan akun layanan Cloud Build default dengan membuka Cloud Shell dan menjalankan perintah berikut:
gcloud builds get-default-service-account --project PROJECT_ID
Menerima respons yang diformat sebagai:
# Response one `serviceAccountEmail: projects/PROJECT_NUMBER/serviceAccounts/PROJECT_NUMBER-compute@` # Response two `serviceAccountEmail: projects/PROJECT_NUMBER/serviceAccounts/PROJECT_NUMBER@cloudbuild.`
Respons akan mengganti
PROJECT_NUMBER
dengan nomor project Anda. Salah satu email akun layanan sebelumnya adalah akun layanan Cloud Build default Anda.Identifikasi akun layanan ini di IAM dengan melihat akun
@
atau akun@cloudbuild.
di IAM.Berikan izin berikut ke akun layanan Cloud Build di project sumber (dan project target jika di-deploy ke target terpisah) melalui konsol atau Google Cloud CLI:
- Akun Layanan Cloud Build (
roles/cloudbuild.builds.builder
) - (
roles/iam.serviceAccountUser
) Pengguna Akun Layanan - BigQuery Data Editor (
roles/bigquery.dataEditor
) BigQuery Job User (
roles/bigquery.jobUser
)
Konsol
Di konsol Google Cloud, buka halaman IAM.
Pilih project sumber Anda.
Klik
Berikan akses.Tambahkan akun layanan Cloud Build default dari langkah sebelumnya sebagai akun utama baru.
Dari menu drop-down Pilih peran, telusuri Cloud Build Service Account, lalu klik Cloud Build Service Account.
Ulangi langkah sebelumnya untuk menambahkan izin lainnya: Service Account User, BigQuery Data Editor, dan BigQuery Job User.
Klik Simpan.
Pastikan akun layanan dan peran yang sesuai tercantum di halaman IAM. Anda berhasil memberikan peran IAM.
gcloud
Gunakan perintah berikut untuk memberikan peran ke akun layanan Cloud Build:
gcloud projects add-iam-policy-binding SOURCE_PROJECT \ --member="serviceAccount:CLOUD_BUILD_SA" \ --role="roles/cloudbuild.builds.builder" gcloud projects add-iam-policy-binding SOURCE_PROJECT \ --member="serviceAccount:CLOUD_BUILD_SA" \ --role="roles/iam.serviceAccountUser" gcloud projects add-iam-policy-binding SOURCE_PROJECT \ --member="serviceAccount:CLOUD_BUILD_SA" \ --role="roles/bigquery.dataEditor" gcloud projects add-iam-policy-binding SOURCE_PROJECT \ --member="serviceAccount:CLOUD_BUILD_SA" \ --role="roles/bigquery.jobUser"
Ganti nilai placeholder dalam perintah dengan nilai berikut:
SOURCE_PROJECT
dengan ID project Sumber.CLOUD_BUILD_SA
dengan akun layanan default Cloud Build.
Untuk mengetahui informasi selengkapnya, lihat Memberikan peran ke akun layanan Cloud Build menggunakan halaman IAM dan Menetapkan dan mengelola kebijakan IAM di bucket.
- Akun Layanan Cloud Build (
Langkah opsional
Untuk penyesuaian deployment yang lebih baik, pertimbangkan untuk mengikuti langkah-langkah opsional berikut:
- Data Mesh: Jika Anda perlu mengubah nilai default untuk Data Mesh guna menerapkan fitur di luar deskripsi, lihat konsep Data Mesh dan panduan pengguna Data Mesh.
- Akun Layanan untuk deployment: Jika Anda perlu meningkatkan keamanan, menyederhanakan deployment, dan meningkatkan auditabilitas, lihat Membuat Akun Layanan untuk deployment.
Membuat bucket Storage untuk menyimpan file terkait DAG
Bucket penyimpanan diperlukan untuk menyimpan skrip DAG pemrosesan dan file sementara lainnya yang dibuat selama deployment. Skrip ini harus dipindahkan secara manual ke instance Cloud Composer atau Apache Airflow setelah deployment.
Anda dapat membuat bucket penyimpanan dari Google Cloud CLI atau konsol Google Cloud dengan langkah-langkah berikut.
Konsol
Buka Cloud Storage.
Buat bucket di region yang sama dengan set data BigQuery Anda.
Pilih bucket yang dibuat.
Buka tab
Permissions
.Berikan izin
Storage Object Creator
ke ID pengguna yang menjalankan perintah Build atau ke Akun layanan yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Menetapkan kondisi baru pada bucket: Konsol.
gcloud
Buat bucket dari Cloud Shell dengan perintah berikut:
gcloud storage buckets create gs://DAG_BUCKET_NAME -l REGION/MULTI_REGION
Ganti kode berikut:
DAG_BUCKET_NAME
dengan nama untuk bucket baru.REGION/MULTI_REGION
dengan region yang sama dengan set data BigQuery Anda.
Gunakan perintah berikut untuk menetapkan izin
Storage Object Creator
ke akun layanan:gsutil iam ch serviceAccount:CLOUD_BUILD_SA:roles/storage.objectCreator gs://DAG_BUCKET_NAME
Ganti kode berikut:
CLOUD_BUILD_SA
dengan akun layanan default Cloud Build.DAG_BUCKET_NAME
dengan nama untuk bucket baru.
Membuat bucket Storage untuk log
Anda dapat membuat bucket tertentu untuk proses Cloud Build guna menyimpan log. Hal ini berguna jika Anda ingin membatasi data yang dapat disimpan dalam log ke region tertentu. Anda dapat membuat bucket penyimpanan untuk log dari Google Cloud CLI atau Konsol Google Cloud.
Konsol
Untuk membuat bucket tertentu bagi log, ikuti langkah-langkah berikut:
Buka Cloud Storage.
Buat bucket di region yang sama dengan tempat deployment akan berjalan.
Pilih bucket yang dibuat.
Buka tab
Permissions
.Berikan izin
Storage Object Admin
ke ID pengguna yang menjalankan perintah Build atau ke Akun layanan yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Menetapkan kondisi baru pada bucket: Konsol.
gcloud
Untuk membuat bucket tertentu bagi log, gunakan perintah berikut.
Buat bucket dari Cloud Shell dengan perintah berikut:
gcloud storage buckets create gs://LOGS_BUCKET_NAME -l REGION/MULTI_REGION
Ganti kode berikut:
REGION/MULTI_REGION
dengan region yang dipilih untuk membuat bucket.LOGS_BUCKET_NAME
dengan nama untuk bucket baru.
Gunakan perintah berikut untuk menetapkan izin
Storage Object Admin
ke akun layanan:gsutil iam ch serviceAccount:CLOUD_BUILD_SA:roles/storage.objectAdmin gs://LOGS_BUCKET_NAME
Ganti kode berikut:
CLOUD_BUILD_SA
dengan akun layanan default Cloud Build.LOGS_BUCKET_NAME
dengan nama untuk bucket baru.
Langkah berikutnya
Setelah Anda menyelesaikan langkah ini, lanjutkan ke langkah-langkah deployment berikut:
- Menetapkan beban kerja.
- Clone repositori.
- Menentukan mekanisme integrasi.
- Menyiapkan komponen (halaman ini).
- Konfigurasi deployment.
- Jalankan deployment.