Langkah 4: Siapkan komponen

Halaman ini menjelaskan langkah keempat untuk men-deploy Cortex Framework Data Foundation, inti dari Cortex Framework. Pada langkah ini, Anda akan menyiapkanGoogle Cloud Service yang diperlukan untuk di-deploy.

Di bagian ini, Anda akan mengaktifkan layanan Google Cloud berikut dalam projectGoogle Cloud :

  • Set data dan instance BigQuery
  • Cloud Build API
  • Bucket Cloud Storage
  • Akun Layanan (opsional)
  • Cloud Resource Manager API

Aktifkan Google Cloud Layanan ini menggunakan Cloud Shell:

  1. Salin dan tempel perintah berikut:

    gcloud config set project SOURCE_PROJECT
    
    gcloud services enable bigquery.googleapis.com \
                          cloudbuild.googleapis.com \
                          composer.googleapis.com \
                          storage-component.googleapis.com \
                          cloudresourcemanager.googleapis.com \
                          dataflow.googleapis.com
    

    Ganti SOURCE_PROJECT dengan project ID sumber Anda.

  2. Pastikan layanan Google Cloud diaktifkan jika Anda mendapatkan pesan berhasil.

Opsional. Anda dapat mengaktifkan layanan Google Cloud berikut di ProjectGoogle Cloud :

  • Cloud Composer untuk pemrosesan Change Data Capture (CDC), penyederhanaan hierarki (khusus SAP), dan replikasi data (khusus Non-SAP) melalui Directed Acyclic Graphs (DAG). Untuk menyiapkan instance, lihat dokumentasi Cloud Composer.
  • Looker untuk terhubung ke template pelaporan.
  • Set data tertaut Analytics Hub digunakan untuk beberapa sumber eksternal, seperti DAG Cuaca. Anda dapat memilih untuk mengisi struktur ini dengan sumber lain yang tersedia sesuai pilihan Anda untuk skenario lanjutan.
  • Dataflow: Alat integrasi untuk banyak set data Pemasaran seperti Google Ads.
  • Dataplex: Digunakan untuk membuat Mesh Data. Untuk informasi selengkapnya, lihat Panduan Pengguna Data Mesh.

Memberikan izin kepada pengguna yang menjalankan

Untuk menjalankan deployment di project tempat Cloud Build dipicu, berikan izin berikut kepada pengguna yang menjalankan:

  • Service Usage Consumer
  • Storage Object Viewer untuk bucket default Cloud Build atau bucket untuk log
  • Object Writer ke bucket output
  • Cloud Build Editor
  • Project Viewer atau Storage Object Viewer

Untuk informasi selengkapnya tentang cara memberikan izin ini, lihat dokumentasi berikut:

Mengonfigurasi akun Cloud Build

Cloud Build menggunakan akun layanan untuk menjalankan build atas nama Anda. Berikan izin akun layanan Cloud Build untuk men-deploy Cortex Framework dengan langkah-langkah berikut.

Untuk memberikan izin akun layanan Cloud Build guna men-deploy Cortex Framework, gunakan perintah berikut.

  1. Temukan akun layanan Cloud Build default dengan membuka Cloud Shell dan menjalankan perintah berikut:

    gcloud builds get-default-service-account --project PROJECT_ID
    
  2. Menerima respons yang diformat sebagai:

    # Response one
    `serviceAccountEmail: projects/PROJECT_NUMBER/serviceAccounts/PROJECT_NUMBER-compute@`
    # Response two
    `serviceAccountEmail: projects/PROJECT_NUMBER/serviceAccounts/PROJECT_NUMBER@cloudbuild.`
    

    Respons akan mengganti PROJECT_NUMBER dengan nomor project Anda. Salah satu email akun layanan sebelumnya adalah akun layanan Cloud Build default Anda.

  3. Identifikasi akun layanan ini di IAM dengan melihat akun @ atau akun @cloudbuild. di IAM.

  4. Berikan izin berikut ke akun layanan Cloud Build di project sumber (dan project target jika di-deploy ke target terpisah) melalui konsol atau Google Cloud CLI:

    • Akun Layanan Cloud Build (roles/cloudbuild.builds.builder)
    • (roles/iam.serviceAccountUser) Pengguna Akun Layanan
    • BigQuery Data Editor (roles/bigquery.dataEditor)
    • BigQuery Job User (roles/bigquery.jobUser)

    Konsol

    1. Di konsol Google Cloud, buka halaman IAM.

      Buka IAM

    2. Pilih project sumber Anda.

    3. Klik Berikan akses.

    4. Tambahkan akun layanan Cloud Build default dari langkah sebelumnya sebagai akun utama baru.

    5. Dari menu drop-down Pilih peran, telusuri Cloud Build Service Account, lalu klik Cloud Build Service Account.

    6. Ulangi langkah sebelumnya untuk menambahkan izin lainnya: Service Account User, BigQuery Data Editor, dan BigQuery Job User.

    7. Klik Simpan.

    8. Pastikan akun layanan dan peran yang sesuai tercantum di halaman IAM. Anda berhasil memberikan peran IAM.

    gcloud

    Gunakan perintah berikut untuk memberikan peran ke akun layanan Cloud Build:

    gcloud projects add-iam-policy-binding SOURCE_PROJECT \
        --member="serviceAccount:CLOUD_BUILD_SA" \
        --role="roles/cloudbuild.builds.builder"
    gcloud projects add-iam-policy-binding SOURCE_PROJECT \
        --member="serviceAccount:CLOUD_BUILD_SA" \
        --role="roles/iam.serviceAccountUser"
    gcloud projects add-iam-policy-binding SOURCE_PROJECT \
        --member="serviceAccount:CLOUD_BUILD_SA" \
        --role="roles/bigquery.dataEditor"
    gcloud projects add-iam-policy-binding SOURCE_PROJECT \
        --member="serviceAccount:CLOUD_BUILD_SA" \
        --role="roles/bigquery.jobUser"
    

    Ganti nilai placeholder dalam perintah dengan nilai berikut:

    • SOURCE_PROJECT dengan ID project Sumber.
    • CLOUD_BUILD_SA dengan akun layanan default Cloud Build.

    Untuk mengetahui informasi selengkapnya, lihat Memberikan peran ke akun layanan Cloud Build menggunakan halaman IAM dan Menetapkan dan mengelola kebijakan IAM di bucket.

Langkah opsional

Untuk penyesuaian deployment yang lebih baik, pertimbangkan untuk mengikuti langkah-langkah opsional berikut:

Bucket penyimpanan diperlukan untuk menyimpan skrip DAG pemrosesan dan file sementara lainnya yang dibuat selama deployment. Skrip ini harus dipindahkan secara manual ke instance Cloud Composer atau Apache Airflow setelah deployment.

Anda dapat membuat bucket penyimpanan dari Google Cloud CLI atau konsol Google Cloud dengan langkah-langkah berikut.

Konsol

  1. Buka Cloud Storage.

    Cloud Storage

  2. Buat bucket di region yang sama dengan set data BigQuery Anda.

  3. Pilih bucket yang dibuat.

  4. Buka tab Permissions.

  5. Berikan izin Storage Object Creator ke ID pengguna yang menjalankan perintah Build atau ke Akun layanan yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Menetapkan kondisi baru pada bucket: Konsol.

gcloud

  1. Buat bucket dari Cloud Shell dengan perintah berikut:

    gcloud storage buckets create gs://DAG_BUCKET_NAME -l REGION/MULTI_REGION
    

    Ganti kode berikut:

    • DAG_BUCKET_NAME dengan nama untuk bucket baru.
    • REGION/MULTI_REGION dengan region yang sama dengan set data BigQuery Anda.
  2. Gunakan perintah berikut untuk menetapkan izin Storage Object Creator ke akun layanan:

    gsutil iam ch serviceAccount:CLOUD_BUILD_SA:roles/storage.objectCreator gs://DAG_BUCKET_NAME
    

    Ganti kode berikut:

    • CLOUD_BUILD_SA dengan akun layanan default Cloud Build.
    • DAG_BUCKET_NAME dengan nama untuk bucket baru.

Membuat bucket Storage untuk log

Anda dapat membuat bucket tertentu untuk proses Cloud Build guna menyimpan log. Hal ini berguna jika Anda ingin membatasi data yang dapat disimpan dalam log ke region tertentu. Anda dapat membuat bucket penyimpanan untuk log dari Google Cloud CLI atau Konsol Google Cloud.

Konsol

Untuk membuat bucket tertentu bagi log, ikuti langkah-langkah berikut:

  1. Buka Cloud Storage.

    Cloud Storage

  2. Buat bucket di region yang sama dengan tempat deployment akan berjalan.

  3. Pilih bucket yang dibuat.

  4. Buka tab Permissions.

  5. Berikan izin Storage Object Admin ke ID pengguna yang menjalankan perintah Build atau ke Akun layanan yang Anda buat. Untuk mengetahui informasi selengkapnya, lihat Menetapkan kondisi baru pada bucket: Konsol.

gcloud

Untuk membuat bucket tertentu bagi log, gunakan perintah berikut.

  1. Buat bucket dari Cloud Shell dengan perintah berikut:

    gcloud storage buckets create gs://LOGS_BUCKET_NAME -l REGION/MULTI_REGION
    

    Ganti kode berikut:

    • REGION/MULTI_REGION dengan region yang dipilih untuk membuat bucket.
    • LOGS_BUCKET_NAME dengan nama untuk bucket baru.
  2. Gunakan perintah berikut untuk menetapkan izin Storage Object Admin ke akun layanan:

    gsutil iam ch serviceAccount:CLOUD_BUILD_SA:roles/storage.objectAdmin gs://LOGS_BUCKET_NAME
    

    Ganti kode berikut:

    • CLOUD_BUILD_SA dengan akun layanan default Cloud Build.
    • LOGS_BUCKET_NAME dengan nama untuk bucket baru.

Langkah berikutnya

Setelah Anda menyelesaikan langkah ini, lanjutkan ke langkah-langkah deployment berikut:

  1. Menetapkan beban kerja.
  2. Clone repositori.
  3. Menentukan mekanisme integrasi.
  4. Menyiapkan komponen (halaman ini).
  5. Konfigurasi deployment.
  6. Jalankan deployment.