Menggunakan Rekomendasi untuk Infrastruktur sebagai Kode

---

Ringkasan

Google Cloud Policy Intelligence membantu perusahaan memahami dan mengelola kebijakan mereka untuk mengurangi risiko. Dengan memberikan visibilitas dan otomatisasi yang lebih besar, pelanggan dapat meningkatkan keamanan tanpa meningkatkan beban kerja mereka.

Pemberi rekomendasi memungkinkan Anda mengambil rekomendasi untuk resource Google Cloud, membantu Anda meningkatkan keamanan cloud, menghemat biaya, dan banyak lagi. Untuk daftar rekomendasi yang didukung, lihat dokumentasi Pemberi rekomendasi. Tutorial ini menjelaskan penggunaan rekomendasi ukuran untuk instance VM dan rekomendasi Identity and Access Management (IAM). Pemberi rekomendasi menggunakan machine learning untuk memberikan rekomendasi kepada administrator guna menghapus akses yang tidak diperlukan ke resource Google Cloud dan mengubah ukuran instance Compute Engine untuk pemanfaatan resource yang lebih efisien.

Setiap rekomendasi mencakup tindakan yang disarankan dan dampaknya. Setelah meninjau rekomendasi untuk dampak yang diidentifikasi serta pertimbangan lain khusus untuk lingkungan Anda, Anda dapat memilih rekomendasi yang ingin diterapkan. Anda dapat menerapkan rekomendasi secara manual dari Google Cloud Console atau menerapkannya secara terprogram dengan mengintegrasikannya ke pipeline Infrastructure as Code (IaC).

IaC memungkinkan Anda mengotomatiskan pembuatan resource Google Cloud.Anda harus terus memperbarui repositori IaC dan merutekan perubahan yang dilakukan ke organisasi Google Cloud melalui IaC. Strategi IaC di organisasi umumnya terbukti bermanfaat jika diimplementasikan dengan tepat dan berfungsi sebagai kebenaran versi tunggal untuk infrastruktur cloud Anda. Menjaga repositori IaC Anda tetap terbaru sangat penting untuk mencegah penyimpangan antara versi infrastruktur yang mencerminkan repositori IaC Anda dan apa yang Anda miliki dalam organisasi.

Rekomendasi IAM

Di antara praktik utama lainnya, praktik yang umum adalah prinsip keamanan hak istimewa terendah dan pertimbangan cermat tentang cara peluncuran dan sinkronisasi perubahan pada organisasi Anda dengan repositori IaC.

Rekomendasi ukuran untuk VM

Rekomendasi ukuran membantu Anda mengurangi biaya dengan memberikan saran untuk mengubah ukuran jenis mesin instance agar menggunakan resource instance dengan lebih efisien

Tutorial ini menjelaskan cara merancang dan mem-build pipeline otomatisasi untuk menerapkan rekomendasi Policy Intelligence secara terprogram. Sebagai bagian dari pipeline otomatisasi ini, Anda akan mempelajari cara memperbarui repositori IaC Anda dengan perubahan yang Anda putuskan untuk organisasi Google Cloud Anda, berdasarkan rekomendasi pengubahan ukuran VM dan binding kebijakan IAM yang disediakan oleh Pemberi Rekomendasi.

Tutorial ini menggunakan Hashicorp Terraform sebagai alat IaC. Namun, pola dan komponen arsitektur yang digunakan dalam pipeline otomatisasi yang dijelaskan ini dapat dimanfaatkan, meskipun Anda menggunakan alat pengelolaan IaC lain, seperti Deployment Manager. Anda harus mengubah codebase open source yang disediakan dengan tutorial ini agar sesuai dengan implementasi IaC tertentu.

Panduan ini ditujukan untuk arsitek, pemilik produk, dan developer yang mungkin bertanggung jawab atas administrasi, keamanan, dan perencanaan infrastruktur Google Cloud mereka.

Arsitektur pipeline otomatisasi

Diagram berikut menunjukkan komponen yang Anda gunakan dalam pipeline otomatisasi ini.

Tugas Cloud Scheduler terjadwal akan menjalankan layanan Recommender Parser. Layanan memanggil Recommender API untuk mengambil rekomendasi Pemberi rekomendasi untuk project yang Anda tentukan. Kemudian, ukuran VM dan rekomendasi IAM ini akan diurai untuk memetakannya ke konfigurasi yang Anda miliki dalam manifes Terraform. Layanan ini memperbarui manifes IaC Anda untuk mencerminkan rekomendasi ini. Kode ini akan menghasilkan permintaan pull dengan perubahan sehingga Anda dapat meninjau update. Setelah Anda meninjau dan menggabungkan permintaan pull, tugas Cloud Build akan meluncurkan perubahan pada infrastruktur Anda di organisasi Google Cloud.

Beberapa layanan tambahan Google Cloud digunakan dalam pipeline untuk tujuan melacak rekomendasi yang diproses, menghasilkan notifikasi saat penyelesaian build, dan menyimpan status Terraform. Anda akan mempelajari lebih lanjut tentang layanan ini selama tutorial ini.

Daftar berikut menjelaskan tujuan komponen dan persyaratan kontrol akses:

Platform Intelligence Recommender

Tujuan: Membuat rekomendasi ukuran keamanan dan VM

Kontrol akses: Akun layanan Google Cloud harus memiliki izin IAM yang diperlukan untuk mengambil rekomendasi menggunakan Recommender API.

Tinjau peran dan izin Pemberi rekomendasi untuk memilih peran yang paling sesuai yang berlaku untuk akun layanan yang Anda gunakan untuk menjalankan layanan pemberi rekomendasi.

• Izin untuk pemberi rekomendasi IAM
• Izin untuk pengubahan ukuran Instance Compute Engine

Cloud Scheduler

Tujuan: Cloud Scheduler memicu layanan Recommender Parser. Dengan Cloud Scheduler, Anda dapat menyiapkan beberapa tugas yang memanggil instance layanan parser sebanyak yang Anda perlukan. Setiap pemanggilan harus meneruskan input berikut

• Daftar project yang rekomendasinya harus diproses
• Jenis Rekomendasi
• Nama repositori IaC

Catatan: Anda mungkin ingin menyiapkan beberapa tugas penjadwal jika memiliki lebih dari satu repositori IaC di perusahaan. Umumnya ini adalah pola umum di perusahaan besar.

Kontrol akses: Buat atau identifikasi akun layanan Google Cloud yang akan digunakan untuk panggilan dari Cloud Scheduler ke layanan Parser Pemberi Rekomendasi.

Berikan peran Cloud Scheduler Service Agent kepada akun layanan agar dapat menjalankan tugas Cloud Scheduler. Selain itu, berikan peran Cloud Run Invoker kepada akun layanan karena akun tersebut memanggil layanan Cloud Run

Lihat dokumentasi tentang cara mengonfigurasi akses terautentikasi untuk tugas penjadwal untuk mengetahui detailnya.

Layanan Cloud Run

Tujuan:: Layanan pemberi rekomendasi-parser adalah tempat semua logika pemrosesan berada. Jalur ini memiliki beberapa rute, yang masing-masingnya memiliki tujuan tertentu:

• Mengurai rekomendasi untuk setiap jenis rekomendasi.
• Memperbarui status rekomendasi yang sedang diproses

Kontrol akses: Gunakan IAM untuk mengelola akses ke layanan ini

Selain itu, tetapkan layanan ke akun layanan khusus. Hal ini memastikan bahwa hanya layanan yang dapat memanggil layanan lain seperti Firestore.

Hashicorp Terraform

Tujuan: Terraform 0.12 merupakan alat IaC.

Builder Cloud Build untuk Terraform digunakan untuk memanggil perintah Terraform dan akun layanan Cloud Build digunakan untuk tujuan tersebut.

Cloud Build

Tujuan: Google Cloud Build mengotomatiskan deployment infrastruktur berdasarkan perubahan yang dibuat pada manifes IaC per rekomendasi kecerdasan kebijakan.

Kontrol akses: Akun layanan Cloud Build harus memiliki kumpulan izin yang tepat untuk berinteraksi dengan resource dalam project pengujian Anda.

Lihat dokumentasi untuk mengonfigurasi akun layanan Cloud Build.

GitHub

Tujuan: Repositori IaC menggunakan GitHub untuk kontrol sumber. Repositori IaC di GitHub terintegrasi dengan Cloud Build. Jika commit dibuat ke cabang master, tugas Cloud Build akan dipicu untuk menjalankan serangkaian tugas yang telah dikonfigurasi sebelumnya.

Access control: Anda harus membuat kunci SSH untuk mengaktifkan akses ke repositori IaC.

Selain itu, Anda perlu membuat Token Akses Pribadi untuk mengirim commit ke GitHub.

Catatan: Kunci SSH dan Token Akses Pribadi diperlukan saat berinteraksi dengan repositori pribadi yang dihosting di GitHub. Jika repositori Anda bersifat publik (tidak direkomendasikan), langkah ini tidak berlaku untuk Anda.

Firestore

Firestore adalah database dokumen NoSQL yang skalabel dan terkelola sepenuhnya, yang digunakan dalam arsitektur ini untuk mempertahankan informasi terkait ID Rekomendasi yang diuraikan oleh layanan Recommender Parser, beserta detail terkait yang berkaitan dengan commit Git.

Detail yang disimpan di Firestore memainkan peran integral dalam feedback loop yang merupakan bagian dari pipeline secara menyeluruh. Setelah mengambil rekomendasi yang dihasilkan oleh Recommender API dan sebelum memproses rekomendasi, layanan akan menandai status rekomendasi menjadi CLAIMED. Setelah rekomendasi berhasil diterapkan, layanan akan mengkueri database untuk mengambil ID rekomendasi yang telah berhasil diterapkan oleh tugas Cloud Build dan mengubah status rekomendasi menjadi SUCCEEDED. Jika Tugas Cloud Build gagal, status rekomendasi diubah menjadi FAILED.

Kontrol akses: Lihat Peran Firestore untuk mengetahui detailnya. Layanan pemberi rekomendasi membaca data dari Firestore dan memerlukan peran roles/datastore.user untuk melakukannya.

Pub/Sub

Tujuan: Cloud Build memublikasikan pesan pada topik Pub/Sub saat status build Anda berubah, seperti saat build dibuat, saat build bertransisi ke status kerja, dan saat build selesai.

Topik Pub/Sub yang menjadi tujuan publikasi pesan Cloud Build disebut cloud-builds, dan topik ini otomatis dibuat saat Anda mengaktifkan Cloud Build API di project.

Kontrol akses: Langganan push dapat dikonfigurasi untuk memberikan header autentikasi agar layanan dapat mengizinkan permintaan. Lihat Menggunakan Langganan Push untuk detail selengkapnya.

Tujuan

• Bangun pipeline otomatisasi untuk
  • Memantau rekomendasi Policy Intelligence platform secara proaktif
  • Mengurai rekomendasi dan menerapkan update ke repositori IaC yang ada
• Pelajari cara menggunakan serangkaian layanan Google Cloud, Hashicorp Terraform dan GitHub untuk membangun pipeline ini.
• Pahami asumsi dan praktik terbaik yang perlu diingat untuk membangun pipeline ini
• Menguji pipeline

Biaya

Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:

• Cloud Run
• Cloud Build
• Compute Engine
• Cloud Storage
• Firestore
• Pub/Sub
• Cloud Scheduler
• Pemberi Rekomendasi

Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda, gunakan kalkulator harga. Pengguna baru Google Cloud mungkin memenuhi syarat untuk mendapatkan uji coba gratis.

Sebelum memulai

Tutorial ini mengasumsikan bahwa Anda memiliki akun GitHub, dan sudah memahami Git, Node.js, Terraform, dan Docker.

Catatan dan Asumsi Rilis

Ada banyak variabilitas dalam penggunaan alat dan manifes IaC.

Tinjau informasi berikut untuk menentukan kesesuaian tutorial ini dengan pipeline IaC Anda dan jenis perubahan yang mungkin diperlukan.

• Pipeline ini menggunakan Terraform ver. 0.12. Perubahan signifikan pada sintaksis konfigurasi HCL atau perubahan pada struktur file status Terraform dapat menyebabkan masalah yang dapat menyebabkan gangguan.
• Pipeline ini mengasumsikan bahwa struktur direktori IaC tidak bertingkat dan bahwa satu repositori IaC mengelola resource dalam satu atau beberapa project Google Cloud.
• Variabel Terraform yang diteruskan sebagai variabel lingkungan, argumen command line tidak didukung. Prototipe ini mengasumsikan konfigurasi deklaratif variabel Terraform dalam file tfvars.
• Pemberi rekomendasi menghasilkan rekomendasi IAM jika subset izin untuk suatu peran tidak digunakan selama 60 hari dan rekomendasi ukuran VM mengikuti pola yang serupa. Untuk keperluan tutorial ini, contoh payload rekomendasi telah disediakan yang dapat digunakan untuk menguji pipeline.
• Loop dalam Terraform tidak didukung dalam rilis ini
• Modul Terraform tidak didukung. Codebase ini bersifat open source dan diasumsikan bahwa Anda akan melakukan peningkatan khusus yang diperlukan pada alur penguraian agar sesuai dengan struktur direktori dan penggunaan modul.

Versi layanan parser pemberi rekomendasi open source saat ini selaras dengan batasan umum rekomendasi IAM berikut:

• Rekomendasi hanya dapat dibuat untuk binding kebijakan IAM yang:
  • Di level project
  • Terkait dengan akun pengguna dan akun layanan yang dikelola pengguna
• Rekomendasi IAM hanya mendukung peran dasar dan peran standar. Peran khusus dan binding kondisional tidak dapat dievaluasi atau direkomendasikan.
• Peran yang direkomendasikan hanya berisi subkumpulan izin peran saat ini. Tidak ada izin baru yang diperkenalkan oleh peran yang direkomendasikan.

Prasyarat

1. Pilih atau buat dua project Google Cloud.

   Buka halaman pemilih project

   • Project build yang menghosting dan menjalankan pipeline otomatisasi.
   • Project pengujian yang menghosting resource Google Cloud yang digunakan untuk menguji pipeline otomatisasi.

2. Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.

3. Dalam project test, aktifkan Recommender dan Compute Engine API.

   Enable the APIs

4. Pada project build, aktifkan Cloud Run, Firestore, Pub/Sub dan Cloud Scheduler, IAM, dan CloudResourceManager API.

   Enable the APIs

Setelah menyelesaikan tutorial ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Lihat Membersihkan untuk detail selengkapnya.

Menyiapkan lingkungan Anda

1. Di Konsol Google Cloud, pilih project build Anda.

2. Di konsol Google Cloud, buka Cloud Shell.

   Buka Cloud Shell

   Di bagian bawah Konsol Google Cloud, sesi Cloud Shell akan terbuka dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk memulai sesi.

   Gunakan Cloud Shell untuk semua perintah terminal dalam tutorial ini.

3. Buat variabel lingkungan untuk menyimpan nomor project untuk project build Anda menggunakan perintah di bawah ini:

   export BUILD_PROJECT_ID=$DEVSHELL_PROJECT_ID
   

4. Buat variabel lingkungan untuk menyimpan nomor project untuk project test Anda . Salin project ID pengujian secara manual dan ganti PROJECT-ID dengannya,

   export TEST_PROJECT_ID=PROJECT-ID
   

5. Anda perlu menetapkan setelan default untuk nilai yang digunakan di seluruh tutorial, seperti region dan zona. Dalam tutorial ini, Anda menggunakan us-central1 sebagai region default dan us-central1-b sebagai zona default.

6. Tetapkan region dan zona default untuk tutorial ini dengan menjalankan perintah berikut:

   gcloud config set compute/zone us-central1-b --project $BUILD_PROJECT_ID
   gcloud config set compute/zone us-central1-b --project $TEST_PROJECT_ID
   

7. Tetapkan project build Anda sebagai project default:

   gcloud config set project $BUILD_PROJECT_ID
   

8. Buat variabel lingkungan bernama BUILD_PROJECT_NUMBER untuk nomor projectbuildAnda

   export BUILD_PROJECT_NUMBER=$(gcloud projects describe $DEVSHELL_PROJECT_ID --format='value(projectNumber)')
   

9. Clone repositori GitHub untuk tutorial ini:

   Catatan: Jalankan semua perintah dalam tutorial ini di Cloud Shell kecuali jika ditentukan lain.

Membuat Bucket untuk Status Terraform

Buat bucket Cloud Storage di project build Anda untuk menyimpan file status Terraform.

gsutil mb -p ${BUILD_PROJECT_ID} -l us-central1 \
 gs://recommender-tf-state-$BUILD_PROJECT_ID

Membuat repositori GitHub

Membuat repositori GitHub yang berfungsi sebagai contoh repositori IaC

1. Membuat repositori GitHub pribadi baru. Repositori IAC-REPO-NAME ini berfungsi sebagai repositori IaC Anda untuk tujuan tutorial ini

2. Pada setps berikut, Anda akan mengirim file dalam sub-direktori sample-iac dari repositori yang di-clone ke akun GitHub Anda.

   1. Di Cloud Shell, salin direktori sample-iac ke direktori utama Anda. Anda akan menggunakan direktori ini untuk membuat repositori lokal baru dan mengirimkannya ke GitHub.

      cp -r recommender-iac-pipeline-nodejs-tutorial/sample-iac $HOME
      

   2. Buka direktori baru

      cd $HOME/sample-iac
      

   3. Lakukan inisialisasi repositori di mesin lokal Anda.

      git init
      

   4. Tambahkan IAC-REPO-NAME sebagai repositori jarak jauh, ganti IAC-REPO-NAME dan GITHUB-ACCOUNT dengan nilai yang sesuai

      git remote add origin https://github.com/GITHUB-ACCOUNT/IAC-REPO-NAME
      

   5. Ganti placeholder dalam file dalam repositori ini dengantestproject ID Anda dan nama bucket Terraform Cloud Storage.

      sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./terraform.tfvars
      
      sed -i "s|__STATE_BUCKET_NAME__|recommender-tf-state-$BUILD_PROJECT_ID|g" ./backend.tf
      

   6. Tambahkan, commit, dan kirim ke GitHub.

      git add .
      git commit -m "First Commit"
      git push origin master
      

   7. Login ke akun GitHub Anda saat diminta.

Membuat kunci SSH untuk repositori Anda

Siapkan autentikasi kunci SSH dengan repositori IaC di GitHub dan upload kunci tersebut ke Cloud Storage.

1. Membuat kunci SSH untuk repositori GitHub Anda.

   1. Membuat pasangan kunci SSH. Ganti [e-mail] dengan alamat email GitHub Anda. Dalam Cloud Shell:

      ssh-keygen -t rsa -b 4096 -m PEM -C "[e-mail]"
      

   2. Saat diminta "Enter a file in which to store the key", tekan Enter. Opsi ini menerima lokasi file default.

   3. Saat diminta memasukkan frasa sandi, tekan Enter.

2. Catat direktori SSH-KEYS-DIR tempat Anda menyimpan kunci SSH yang didownload. Secara default, lokasinya adalah$HOME/.ssh/

3. Salin kunci publik SSH yang Anda buat ke repositori GitHub Anda sebagai Kunci Deploy.

   1. Salin kunci publik SSH yang Anda buat di Cloud Shell. Ganti SSH-KEYS-DIR dengan jalur direktori Anda.

      cat SSH-KEYS-DIR/id_rsa.pub
      

   2. Di akun GitHub Anda, buka repositori IAC-REPO-NAME

   3. Klik Settings > Deploy Keys.

   4. Klik Add Deploy Key dan tempel di kunci publik SSH yang Anda salin. Pilih Judul untuk kunci.

   5. Centang kotak "Izinkan akses tulis"

   6. Klik Simpan.

4. Kembali ke sesi Cloud Shell Anda

5. Buat file known_hosts untuk GitHub. Dalam sesi Cloud Shell Anda, jalankan perintah:

   ssh-keyscan github.com >> ~/.ssh/known_hosts
   

6. Buat bucket Cloud Storage di project build Anda, lalu upload kunci SSH dan file known_hosts ke project tersebut. Ganti SSH-KEYS-DIR dengan jalur ke direktori tempat Anda membuat kunci SSH.

   gsutil mb -p ${BUILD_PROJECT_ID} -l us-central1 gs://github-keys-$BUILD_PROJECT_ID
   
   gsutil cp SSH-KEYS-DIR/id_rsa* gs://github-keys-$BUILD_PROJECT_ID
   gsutil cp SSH-KEYS-DIR/known_hosts gs://github-keys-$BUILD_PROJECT_ID
   

7. Buat Token Akses Pribadi untuk GitHub. Token ini digunakan saat menjalankan operasi Git menggunakan panggilan API yang dibuat oleh layanan pemberi rekomendasi-parser untuk menghasilkan permintaan pull, memeriksa manifes IaC yang diperbarui.

   1. Di akun GitHub, di pojok kanan atas halaman mana pun, klik foto profil Anda, lalu klik Settings.

   2. Di sidebar kiri, klik Setelan developer.

   3. Di sidebar kiri, klik Token akses pribadi

   4. Klik Buat token baru.

   5. Berikan nama deskriptif untuk token Anda.

   6. Pilih cakupan sebagai repo.

   7. Klik Generate Token.

   8. Salin token ke papan klip Anda.

   9. Di sesi Cloud Shell Anda, buat variabel lingkungan.

      export GITHUB_PAT=personal-access-token-you-copied
      

Menyiapkan Cloud Build

1. Hubungkan repositori Git IAC-REPO-NAME Anda untuk berintegrasi dengan Cloud Build.

   1. Buka halaman Cloud Build App di GitHub Marketplace.
   2. Scroll ke bawah, lalu klik Setup with Google Cloud Build di bagian bawah halaman.
   3. Jika diminta, Login ke GitHub.
   4. Pilih Hanya pilih repositori. Gunakan menu drop-down Select repositories untuk hanya mengaktifkan akses ke IAC-REPO-NAME di aplikasi Cloud Build.
   5. Klik Install (Instal).

   6. Login ke Google Cloud

      Halaman Authorization akan ditampilkan tempat Anda diminta untuk mengizinkan aplikasi Google Cloud Build agar terhubung ke Google Cloud.

   7. Klik otorisasikan Google Cloud Build dengan GoogleCloudBuild. Anda akan dialihkan ke konsol Google Cloud.

   8. Pilih project Google Cloud Anda.

   9. Aktifkan kotak centang izin dan klik Berikutnya.

   10. Di halaman Select repository yang muncul, pilih repositori GitHub IAC-REPO-NAME

   11. Klik Connect repository.

   12. Klik Create a Trigger. Tindakan ini akan membuat definisi pemicu untuk Anda.

   13. Klik Buat untuk menyimpan pemicu build Anda.

   Untuk informasi selengkapnya, lihat Menjalankan build di GitHub.

2. Direktori yang Anda salin memiliki file cloudbuild.yaml. File konfigurasi ini menguraikan langkah-langkah yang dijalankan tugas Cloud Build saat dipicu.

   steps:
   - name: hashicorp/terraform:0.12.0
     args: ['init']
   - name: hashicorp/terraform:0.12.0
     args: ['apply', '-auto-approve']
   

3. Tambahkan izin ke akun layanan Cloud Build Anda untuk mengizinkannya membuat akun layanan, peran asosiasi, dan virtual machine (instance Compute Engine) dalam project pengujian

   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:$[e-mail] \
     --role roles/compute.admin \
     --project $TEST_PROJECT_ID
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:$[e-mail] \
     --role roles/iam.serviceAccountAdmin \
     --project $TEST_PROJECT_ID
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
   --member serviceAccount:$[e-mail] \
   --role roles/iam.securityAdmin \
   --project $TEST_PROJECT_ID
   

4. Buka halaman Pemicu Build di Konsol Google Cloud.

5. Pilih project build, klik Open.

6. Perbarui definisi pemicu:

   1. Klik menu , lalu klik Edit.
   2. Untuk Configuration, pilih opsi Cloud Build configuration file (yaml or json) dan ketik cloudbuild.yaml di kolom teks.
   3. Klik Simpan.

7. Untuk menguji pemicu build secara manual, klik Run pada entri pemicu Anda di daftar pemicu.

8. Pastikan instance Compute Engine bernama tf-compute-1 dan akun layanan yang disebut Terraform Recommender Test dibuat dalam project pengujian dengan tugas Cloud Build yang Anda jalankan di langkah sebelumnya

Catatan: Anda mungkin perlu menunggu beberapa saat hingga tugas Cloud Build selesai sebelum memverifikasi pembuatan resource dalam project pengujian.

Men-deploy layanan Cloud Run pemberi rekomendasi

1. Di Cloud Shell, Ubah direktori ke direktori yang dibuat dengan meng-clone repositori

   cd $HOME/recommender-iac-pipeline-nodejs-tutorial/parser-service
   

2. Mengonfigurasi Google Cloud agar menggunakan region default untuk layanan Cloud Run. Dalam tutorial ini, Anda akan menggunakan region us-central1, tetapi Anda dapat memilih region lain yang didukung jika ingin.

   gcloud config set run/region us-central1
   

3. Direktori parser-service memiliki sub-direktori stub yang memiliki beberapa contoh JSON payload yang bisa Anda uji dengan layanan pengurai pemberi rekomendasi. Jalankan perintah sed berikut untuk mengganti placeholder PROJECT_ID di JSON ini dengan project ID pengujian Anda.

   sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./stub/iam.json
   sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./stub/vm.json
   

4. Jalankan perintah berikut guna membuat variabel lingkungan untuk image Docker Anda.

   export IMAGE=gcr.io/$BUILD_PROJECT_ID/recommender-parser:1.0
   

5. Membuat image dan mengupload ke Container Registry

   gcloud builds submit --tag $IMAGE .
   

6. Buat akun layanan agar layanan pemberi rekomendasi-parser dapat berinteraksi dengan layanan Google Cloud lainnya dalam pipeline. Sebaiknya berikan izin terperinci ke layanan Cloud Run Anda. Lihat identitas layanan Cloud Run untuk detail selengkapnya.

   gcloud beta iam service-accounts create recommender-parser-sa \
     --description "Service account that the recommender-parser service uses to invoke other Google Cloud services" \
     --display-name "recommender-parser-sa" \
     --project $BUILD_PROJECT_ID
   

7. Layanan pemberi rekomendasi-parser perlu mengakses kunci SSH GitHub dan status Terraform yang Anda upload ke bucket Cloud Storage yang dibuat sebelumnya. Tambahkan akun layanan sebagai anggota ke bucket Cloud Storage.

   gsutil iam ch serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com:objectCreator,objectViewer \
   gs://github-keys-$BUILD_PROJECT_ID
   
   gsutil iam ch serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com:objectCreator,objectViewer \
   gs://recommender-tf-state-$BUILD_PROJECT_ID
   

8. Beri akun layanan pemberi rekomendasi-parser akses ke Firestore, Pemberi Rekomendasi, dan Service Usage API.

   gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/datastore.user
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/recommender.iamAdmin
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/recommender.iamViewer
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/recommender.computeAdmin
   
   gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \
     --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/serviceusage.serviceUsageConsumer
   

9. Deploy layanan Cloud Run, yang disebut recommender-parser, dengan menjalankan perintah. Ganti GITHUB-ACCOUNT dengan nama pengguna akun GitHub Anda, bukan email. Terima perintah sistem apa pun.

   gcloud run deploy \
    --image=${IMAGE} \
    --no-allow-unauthenticated \
    --region us-central1 \
    --platform managed \
    --service-account recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
    --set-env-vars="GITHUB_ACCOUNT=github.com:GITHUB-ACCOUNT,GITHUB_PAT=${GITHUB_PAT},SSH_KEYS_BUCKET=github-keys-${BUILD_PROJECT_ID},TERRAFORM_STATE_BUCKET=recommender-tf-state-$BUILD_PROJECT_ID" \
    --project $BUILD_PROJECT_ID \
    recommender-parser
   

Menyiapkan Firestore

1. Di Konsol Google Cloud, di project build Anda, buka halaman Firestore.
2. Saat diminta untuk memilih mode, klik Select Native Mode.
3. Pilih us-east1 sebagai lokasi default.
4. Klik Create database.

Layanan recommender-parser menulis dokumen ke database ini untuk tujuan berikut:

• Untuk memantau rekomendasi yang diambil dari Recommender API
• Panggil Recommender API setelah rekomendasi diproses untuk memperbarui status setiap rekomendasi yang diproses menjadi SUCCEEDED atau FAILED sebagaimana mestinya. Ini adalah langkah penting yang membuat pipeline menjadi idempoten dengan memastikan bahwa rekomendasi tidak diproses secara tidak lengkap atau beberapa kali.

Menyiapkan tugas Cloud Scheduler

1. Buat akun layanan yang digunakan tugas Cloud Scheduler untuk menjalankan layanan pemberi rekomendasi.

   gcloud beta iam service-accounts create recommender-scheduler-sa \
     --description "Service Account used by Cloud Scheduler to invoke the recommender-parser service" \
     --display-name "recommender-scheduler-sa" \
     --project $BUILD_PROJECT_ID
   

2. Berikan peran run/invoker pada akun layanan agar dapat memanggil layanan Cloud Run.

   gcloud beta run services add-iam-policy-binding recommender-parser \
   --member=serviceAccount:recommender-scheduler-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
   --role=roles/run.invoker \
   --region=us-central1
   

3. Dapatkan URL layanan pemberi rekomendasi:

   gcloud beta run services list --platform managed --project $BUILD_PROJECT_ID
   

   Tugas Cloud Scheduler Anda memanggil rute /recommendation/iam layanan rekomendasier-parser untuk mengurai rekomendasi IAM dan rute /Recommender/vm untuk mengurai rekomendasi ukuran VM.

4. Buat variabel untuk endpoint yang dipanggil tugas Cloud Scheduler. Ganti RECOMMENDER-SERVICE-URL dengan URL layanan pemberi rekomendasi yang Anda salin di langkah sebelumnya.

   export RECOMMENDER_ROUTE_TO_INVOKE_IAM=RECOMMENDER-SERVICE-URL/recommendation/iam
   

   URL Anda akan terlihat seperti URL contoh ini setelah menambahkan informasi rute:

   RECOMMENDER-SERVICE-URL/recommendation/iam
   

5. Buat tugas Cloud Scheduler bernama recommender-iam-scheduler.

   • Mengubah zona waktu yang dipilih berdasarkan lokasi Anda.
   • Ganti IAC-REPO-NAME dengan nama repositori GitHub yang Anda buat.

   Isi pesan menggunakan tiga input, dan Anda harus menyusunnya seperti yang diuraikan di bawah:

   • repo: Ini adalah nama repositori GitHub IAC-REPO-NAME yang Anda buat di Membuat repositori GitHub.

   • projects: Daftar / array ID project Google Cloud yang dipetakan oleh repositori GitHub IaC ini. Dalam tutorial ini, ini adalah project test Anda.

   • stub: Pemberi rekomendasi membuat rekomendasi IAM saat subset izin untuk suatu peran tidak digunakan selama 60 hari, dan rekomendasi ukuran VM mengikuti pola yang serupa. Untuk tujuan menguji pipeline ini sesuai permintaan, stub dapat diteruskan sebagai true sehingga pipeline diuji menggunakan contoh payload Pemberi rekomendasi yang disediakan dalam repositori yang Anda clone untuk tutorial ini.

   gcloud beta scheduler jobs create http recommender-iam-scheduler \
     --project $BUILD_PROJECT_ID \
     --time-zone "America/Los_Angeles" \
     --schedule="0 */3 * * *" \
     --uri=$RECOMMENDER_ROUTE_TO_INVOKE_IAM \
     --description="Scheduler job to invoke recommendation pipeline" \
     --oidc-service-account-email="recommender-scheduler-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com" \
     --headers="Content-Type=application/json" \
     --http-method="POST" \
     --message-body="{ \"repo\": \"IAC-REPO-NAME\", \"projects\": [\"$TEST_PROJECT_ID\"], \"location\": \"global\", \"stub\": true }"
   

Catatan: --schedule="0 */3 * * *" menjalankan tugas Scheduler setiap 3 jam. Ubah sesuai kebutuhan Anda. Selain itu, jika perlu membuat tugas penjadwal untuk mengurai rekomendasi ukuran VM, Anda harus menambahkan URL layanan your-recommender-parser dengan /recommendation/vm dan menetapkan atribut location di parameter --message-body ke zona yang valid.

Langkah tambahan

Cloud Build memublikasikan informasi build ke topik Pub/Sub bernama cloud-builds yang dibuat secara otomatis saat Anda mengaktifkan Cloud Build API di project build.

1. Jalankan perintah berikut untuk memverifikasi bahwa topik cloud-builds ada dalam project build Anda:

   gcloud pubsub topics describe cloud-builds
   

   Jika topik ada, Anda akan melihat output berikut, dengan BUILD-PROJECT-ID sebagai ID project build Anda:

   name: projects/BUILD-PROJECT-ID/topics/cloud-builds
   

   Jika Anda menerima pesan error yang menyatakan bahwa resource tidak ditemukan, ikuti petunjuk untuk berlangganan notifikasi build, untuk membuat topik secara manual.

2. Buat akun layanan yang digunakan Pub/Sub untuk memanggil endpoint layanan pemberi rekomendasi.

   gcloud beta iam service-accounts create recommender-ci-subscription-sa \
     --description "Service Account used by Cloud Pub/Sub to push Cloud Build events to the recommender-parser service" \
     --display-name "recommender-ci-subscription-sa" \
     --project $BUILD_PROJECT_ID
   

3. Akun layanan Pub/Sub harus dikaitkan dengan peran yang diperlukan untuk memublikasikan pesan dan memanggil layanan pemberi rekomendasi.

   gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \
     --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/pubsub.publisher \
     --project $BUILD_PROJECT_ID
   
   gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \
     --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/pubsub.subscriber \
     --project $BUILD_PROJECT_ID
   
   gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \
     --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role roles/run.invoker \
     --project $BUILD_PROJECT_ID
   

4. Tambahkan akun layanan recommender-ci-subscription-sa yang Anda buat ke layanan pemberi rekomendasi-parser sebagai anggota dengan peran invoker

   gcloud beta run services add-iam-policy-binding recommender-parser \
     --member=serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \
     --role=roles/run.invoker --region=us-central1
   

5. Buka Pub/Sub di Konsol Google Cloud.

6. Klik topik cloud-builds.

7. Klik Buat Langganan.

8. Untuk ID Langganan, ketik recommender-service-build-events.

9. Untuk Delivery Type, pilih Push.

10. Untuk Endpoint, ketik URL layanan pemberi rekomendasi dengan menambahkan /ci.

11. Centang Enable Authentication.

    1. Pilih akun layanan recommender-ci-subscription-sayang Anda buat.
    2. Klik Berikan sebagai respons terhadap pesan perintah.

12. Pilih Acknowledgement deadline as 60 seconds.

13. Pertahankan setelan default lainnya.

14. Klik Create.

Menguji pipeline

Pemberi rekomendasi membuat rekomendasi IAM saat sebagian izin untuk suatu peran tidak digunakan selama 60 hari. Rekomendasi ukuran VM mengikuti pola yang serupa. Untuk menguji pipeline ini sesuai permintaan, Anda akan menggunakan contoh payload JSON rekomendasi yang disediakan di sub-direktori stub yang disediakan di repositori yang Anda clone untuk tutorial ini. Dengan ini, Anda dapat menguji pipeline, kecuali panggilan API yang dilakukan oleh pengurai pemberi rekomendasi ke endpoint Recommender API untuk memperbarui status rekomendasi yang telah berhasil diterapkan.

Atau, jika Anda memiliki rekomendasi aktif di project Google Cloud, Anda dapat menguji pipeline secara menyeluruh tanpa perlu menggunakan stub. Hasil yang diuraikan di bawah ini berkaitan dengan saat Anda menggunakan payload sampel untuk menguji pipeline. Namun, langkah-langkah untuk menguji pipeline ini tanpa sampel tetap sama.

1. Di Konsol Google Cloud, buka project pengujian Anda dan tinjau resource yang dibuat. Anda harus memiliki:

   1. Instance Compute Engine bernama tf-compute-1 dengan Jenis Mesin g1-small.
   2. Akun layanan bernama Terraform Recommender Test dengan peran editor untuk project pengujian Anda.

2. Di halaman konsol Cloud Scheduler di project build Anda, klik Jalankan sekarang untuk tugas Recommender-iam-scheduler.

3. Klik tugas untuk melihat log. Anda juga dapat melihat log layanan pemeriksa rekomendasi untuk mendapatkan tampilan mendetail tentang langkah-langkah yang dijalankan oleh layanan.

4. Setelah layanan selesai dijalankan, buka repositori IAC-REPO-NAME GitHub Anda. Layanan recommender-parser akan membuat permintaan pull untuk Anda. Tinjau manifes IaC yang dimodifikasi yang berisi permintaan pull ini, lalu klik Merge Pull Request jika Anda puas dengan perubahan pada manifes IaC.

   Peringatan: Di lingkungan produksi, sebaiknya Anda menerapkan alur kerja persetujuan yang kuat yang mencakup peninjauan manual terhadap permintaan pull sebelum perubahan digabungkan. Peninjau harus memiliki pengetahuan untuk menilai dampak yang teridentifikasi dalam rekomendasi, serta dampak khusus terhadap infrastruktur dan bisnis Anda. Menerapkan rekomendasi tanpa penilaian yang tepat dapat menyebabkan perubahan yang tidak terduga, seperti masalah dengan performa sistem, keandalan yang buruk, atau hilangnya izin yang diperlukan. Lihat dokumentasi GitHub untuk mengetahui petunjuk cara menyiapkan proses peninjauan.

5. Commit baru ke cabang master dibuat saat Anda menggabungkan permintaan pull. Tindakan ini akan memicu tugas Cloud Build yang meluncurkan modifikasi ke resource Google Cloud di project test Anda. Tunggu beberapa saat hingga tugas Cloud Build selesai, Anda dapat meninjau statusnya di konsol Google Cloud

   Catatan: Memastikan Anda memiliki strategi rollback fungsional adalah praktik terbaik saat menyiapkan pipeline DevOps. Misalnya, perubahan infrastruktur yang diluncurkan oleh pipeline otomatis yang Anda build dalam tutorial ini dapat di-roll back dengan kembali ke commit Git sebelumnya. Anda dapat mempelajari lebih lanjut perintah https://git-scm.com/docs/git-reset dan git mengarah dalam dokumentasi Git ini.

6. Setelah tugas selesai, buka project pengujian Anda. Sampel payload yang disediakan membuat perubahan berikut pada resource dalam project pengujian Anda.

   • Akun layanan Terraform Test yang sebelumnya memiliki peran editor saat di-deploy, diubah menjadi viewer.
   Catatan: Saat Anda menjalankan layanan Cloud Scheduler untuk memanggil rekomendasi pengubahan ukuran VM di endpoint /recommendation/vm, instance Compute Engine tf-compute-1 yang awalnya memiliki Jenis Mesin g1-small diubah menjadi f1-micro.

Pembersihan

Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus kedua project yang dibuat.

Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.

Untuk menghapus project:

Perhatian: Menghapus project memiliki efek berikut:

• Semua hal dalam project akan dihapus. Jika menggunakan project yang sudah ada untuk tugas dalam dokumen ini, saat Anda menghapusnya, pekerjaan lain yang telah Anda lakukan dalam project tersebut juga akan terhapus.
• Project ID kustom hilang. Saat membuat project ini, Anda mungkin telah membuat project ID kustom yang ingin digunakan di masa mendatang. Untuk mempertahankan URL yang menggunakan project ID, seperti URL appspot.com, hapus resource yang dipilih di dalam project, bukan menghapus seluruh project.

Jika Anda berencana mempelajari berbagai arsitektur, tutorial, atau panduan memulai, menggunakan kembali project dapat membantu agar Anda tidak melampaui batas kuota project.

1. Di konsol Google Cloud, buka halaman Manage resource.

   Buka Manage resource

2. Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
3. Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.

Langkah selanjutnya

• Pelajari arsitektur referensi, diagram, dan praktik terbaik tentang Google Cloud. Lihat Cloud Architecture Center kami.
• Pelajari lebih lanjut Kecerdasan Kebijakan Google Cloud dalam dokumentasi.