Ringkasan
Google Cloud Policy Intelligence membantu perusahaan memahami dan mengelola kebijakan mereka untuk mengurangi risiko. Dengan memberikan visibilitas dan otomatisasi yang lebih besar, pelanggan dapat meningkatkan keamanan tanpa meningkatkan beban kerja mereka.
Pemberi rekomendasi memungkinkan Anda mengambil rekomendasi untuk resource Google Cloud, membantu Anda meningkatkan keamanan cloud, menghemat biaya, dan banyak lagi. Untuk daftar rekomendasi yang didukung, lihat dokumentasi Pemberi rekomendasi. Tutorial ini menjelaskan penggunaan rekomendasi ukuran untuk instance VM dan rekomendasi Identity and Access Management (IAM). Pemberi rekomendasi menggunakan machine learning untuk memberikan rekomendasi kepada administrator guna menghapus akses yang tidak diperlukan ke resource Google Cloud dan mengubah ukuran instance Compute Engine untuk pemanfaatan resource yang lebih efisien.
Setiap rekomendasi mencakup tindakan yang disarankan dan dampaknya. Setelah meninjau rekomendasi untuk dampak yang diidentifikasi serta pertimbangan lain khusus untuk lingkungan Anda, Anda dapat memilih rekomendasi yang ingin diterapkan. Anda dapat menerapkan rekomendasi secara manual dari Google Cloud Console atau menerapkannya secara terprogram dengan mengintegrasikannya ke pipeline Infrastructure as Code (IaC).
IaC memungkinkan Anda mengotomatiskan pembuatan resource Google Cloud.Anda harus terus memperbarui repositori IaC dan merutekan perubahan yang dilakukan ke organisasi Google Cloud melalui IaC. Strategi IaC di organisasi umumnya terbukti bermanfaat jika diimplementasikan dengan tepat dan berfungsi sebagai kebenaran versi tunggal untuk infrastruktur cloud Anda. Menjaga repositori IaC Anda tetap terbaru sangat penting untuk mencegah penyimpangan antara versi infrastruktur yang mencerminkan repositori IaC Anda dan apa yang Anda miliki dalam organisasi.
Rekomendasi IAM
Di antara praktik utama lainnya, praktik yang umum adalah prinsip keamanan hak istimewa terendah dan pertimbangan cermat tentang cara peluncuran dan sinkronisasi perubahan pada organisasi Anda dengan repositori IaC.
Rekomendasi ukuran untuk VM
Rekomendasi ukuran membantu Anda mengurangi biaya dengan memberikan saran untuk mengubah ukuran jenis mesin instance agar menggunakan resource instance dengan lebih efisien
Tutorial ini menjelaskan cara merancang dan mem-build pipeline otomatisasi untuk menerapkan rekomendasi Policy Intelligence secara terprogram. Sebagai bagian dari pipeline otomatisasi ini, Anda akan mempelajari cara memperbarui repositori IaC Anda dengan perubahan yang Anda putuskan untuk organisasi Google Cloud Anda, berdasarkan rekomendasi pengubahan ukuran VM dan binding kebijakan IAM yang disediakan oleh Pemberi Rekomendasi.
Tutorial ini menggunakan Hashicorp Terraform sebagai alat IaC. Namun, pola dan komponen arsitektur yang digunakan dalam pipeline otomatisasi yang dijelaskan ini dapat dimanfaatkan, meskipun Anda menggunakan alat pengelolaan IaC lain, seperti Deployment Manager. Anda harus mengubah codebase open source yang disediakan dengan tutorial ini agar sesuai dengan implementasi IaC tertentu.
Panduan ini ditujukan untuk arsitek, pemilik produk, dan developer yang mungkin bertanggung jawab atas administrasi, keamanan, dan perencanaan infrastruktur Google Cloud mereka.
Arsitektur pipeline otomatisasi
Diagram berikut menunjukkan komponen yang Anda gunakan dalam pipeline otomatisasi ini.
Tugas Cloud Scheduler terjadwal akan menjalankan layanan Recommender Parser. Layanan memanggil Recommender API untuk mengambil rekomendasi Pemberi rekomendasi untuk project yang Anda tentukan. Kemudian, ukuran VM dan rekomendasi IAM ini akan diurai untuk memetakannya ke konfigurasi yang Anda miliki dalam manifes Terraform. Layanan ini memperbarui manifes IaC Anda untuk mencerminkan rekomendasi ini. Kode ini akan menghasilkan permintaan pull dengan perubahan sehingga Anda dapat meninjau update. Setelah Anda meninjau dan menggabungkan permintaan pull, tugas Cloud Build akan meluncurkan perubahan pada infrastruktur Anda di organisasi Google Cloud.
Beberapa layanan tambahan Google Cloud digunakan dalam pipeline untuk tujuan melacak rekomendasi yang diproses, menghasilkan notifikasi saat penyelesaian build, dan menyimpan status Terraform. Anda akan mempelajari lebih lanjut tentang layanan ini selama tutorial ini.
Daftar berikut menjelaskan tujuan komponen dan persyaratan kontrol akses:
- Platform Intelligence Recommender
- Tujuan: Membuat rekomendasi ukuran keamanan dan VM
Kontrol akses: Akun layanan Google Cloud harus memiliki izin IAM yang diperlukan untuk mengambil rekomendasi menggunakan Recommender API.
Tinjau peran dan izin Pemberi rekomendasi untuk memilih peran yang paling sesuai yang berlaku untuk akun layanan yang Anda gunakan untuk menjalankan layanan pemberi rekomendasi.
- Cloud Scheduler
Tujuan: Cloud Scheduler memicu layanan Recommender Parser. Dengan Cloud Scheduler, Anda dapat menyiapkan beberapa tugas yang memanggil instance layanan parser sebanyak yang Anda perlukan. Setiap pemanggilan harus meneruskan input berikut
- Daftar project yang rekomendasinya harus diproses
- Jenis Rekomendasi
- Nama repositori IaC
Kontrol akses: Buat atau identifikasi akun layanan Google Cloud yang akan digunakan untuk panggilan dari Cloud Scheduler ke layanan Parser Pemberi Rekomendasi.
Berikan peran Cloud Scheduler Service Agent kepada akun layanan agar dapat menjalankan tugas Cloud Scheduler. Selain itu, berikan peran Cloud Run Invoker kepada akun layanan karena akun tersebut memanggil layanan Cloud Run
Lihat dokumentasi tentang cara mengonfigurasi akses terautentikasi untuk tugas penjadwal untuk mengetahui detailnya.
- Layanan Cloud Run
Tujuan:: Layanan pemberi rekomendasi-parser adalah tempat semua logika pemrosesan berada. Jalur ini memiliki beberapa rute, yang masing-masingnya memiliki tujuan tertentu:
- Mengurai rekomendasi untuk setiap jenis rekomendasi.
- Memperbarui status rekomendasi yang sedang diproses
Kontrol akses: Gunakan IAM untuk mengelola akses ke layanan ini
Selain itu, tetapkan layanan ke akun layanan khusus. Hal ini memastikan bahwa hanya layanan yang dapat memanggil layanan lain seperti Firestore.
- Hashicorp Terraform
Tujuan: Terraform 0.12 merupakan alat IaC.
Builder Cloud Build untuk Terraform digunakan untuk memanggil perintah Terraform dan akun layanan Cloud Build digunakan untuk tujuan tersebut.
- Cloud Build
Tujuan: Google Cloud Build mengotomatiskan deployment infrastruktur berdasarkan perubahan yang dibuat pada manifes IaC per rekomendasi kecerdasan kebijakan.
Kontrol akses: Akun layanan Cloud Build harus memiliki kumpulan izin yang tepat untuk berinteraksi dengan resource dalam project pengujian Anda.
Lihat dokumentasi untuk mengonfigurasi akun layanan Cloud Build.
- GitHub
Tujuan: Repositori IaC menggunakan GitHub untuk kontrol sumber. Repositori IaC di GitHub terintegrasi dengan Cloud Build. Jika commit dibuat ke cabang master, tugas Cloud Build akan dipicu untuk menjalankan serangkaian tugas yang telah dikonfigurasi sebelumnya.
Access control: Anda harus membuat kunci SSH untuk mengaktifkan akses ke repositori IaC.
Selain itu, Anda perlu membuat Token Akses Pribadi untuk mengirim commit ke GitHub.
- Firestore
Firestore adalah database dokumen NoSQL yang skalabel dan terkelola sepenuhnya, yang digunakan dalam arsitektur ini untuk mempertahankan informasi terkait ID Rekomendasi yang diuraikan oleh layanan Recommender Parser, beserta detail terkait yang berkaitan dengan commit Git.
Detail yang disimpan di Firestore memainkan peran integral dalam feedback loop yang merupakan bagian dari pipeline secara menyeluruh. Setelah mengambil rekomendasi yang dihasilkan oleh Recommender API dan sebelum memproses rekomendasi, layanan akan menandai status rekomendasi menjadi
CLAIMED
. Setelah rekomendasi berhasil diterapkan, layanan akan mengkueri database untuk mengambil ID rekomendasi yang telah berhasil diterapkan oleh tugas Cloud Build dan mengubah status rekomendasi menjadiSUCCEEDED
. Jika Tugas Cloud Build gagal, status rekomendasi diubah menjadiFAILED
.Kontrol akses: Lihat Peran Firestore untuk mengetahui detailnya. Layanan pemberi rekomendasi membaca data dari Firestore dan memerlukan peran roles/datastore.user untuk melakukannya.
- Pub/Sub
Tujuan: Cloud Build memublikasikan pesan pada topik Pub/Sub saat status build Anda berubah, seperti saat build dibuat, saat build bertransisi ke status kerja, dan saat build selesai.
Topik Pub/Sub yang menjadi tujuan publikasi pesan Cloud Build disebut cloud-builds, dan topik ini otomatis dibuat saat Anda mengaktifkan Cloud Build API di project.
Kontrol akses: Langganan push dapat dikonfigurasi untuk memberikan header autentikasi agar layanan dapat mengizinkan permintaan. Lihat Menggunakan Langganan Push untuk detail selengkapnya.
Tujuan
- Bangun pipeline otomatisasi untuk
- Memantau rekomendasi Policy Intelligence platform secara proaktif
- Mengurai rekomendasi dan menerapkan update ke repositori IaC yang ada
- Pelajari cara menggunakan serangkaian layanan Google Cloud, Hashicorp Terraform dan GitHub untuk membangun pipeline ini.
- Pahami asumsi dan praktik terbaik yang perlu diingat untuk membangun pipeline ini
- Menguji pipeline
Biaya
Dalam dokumen ini, Anda menggunakan komponen Google Cloud yang dapat ditagih berikut:
- Cloud Run
- Cloud Build
- Compute Engine
- Cloud Storage
- Firestore
- Pub/Sub
- Cloud Scheduler
- Pemberi Rekomendasi
Untuk membuat perkiraan biaya berdasarkan proyeksi penggunaan Anda,
gunakan kalkulator harga.
Sebelum memulai
Tutorial ini mengasumsikan bahwa Anda memiliki akun GitHub, dan sudah memahami Git, Node.js, Terraform, dan Docker.
Catatan dan Asumsi Rilis
Ada banyak variabilitas dalam penggunaan alat dan manifes IaC.
Tinjau informasi berikut untuk menentukan kesesuaian tutorial ini dengan pipeline IaC Anda dan jenis perubahan yang mungkin diperlukan.
- Pipeline ini menggunakan Terraform ver. 0.12. Perubahan signifikan pada sintaksis konfigurasi HCL atau perubahan pada struktur file status Terraform dapat menyebabkan masalah yang dapat menyebabkan gangguan.
- Pipeline ini mengasumsikan bahwa struktur direktori IaC tidak bertingkat dan bahwa satu repositori IaC mengelola resource dalam satu atau beberapa project Google Cloud.
- Variabel Terraform yang diteruskan sebagai variabel lingkungan, argumen command line tidak didukung. Prototipe ini mengasumsikan konfigurasi deklaratif variabel Terraform dalam file tfvars.
- Pemberi rekomendasi menghasilkan rekomendasi IAM jika subset izin untuk suatu peran tidak digunakan selama 60 hari dan rekomendasi ukuran VM mengikuti pola yang serupa. Untuk keperluan tutorial ini, contoh payload rekomendasi telah disediakan yang dapat digunakan untuk menguji pipeline.
- Loop dalam Terraform tidak didukung dalam rilis ini
- Modul Terraform tidak didukung. Codebase ini bersifat open source dan diasumsikan bahwa Anda akan melakukan peningkatan khusus yang diperlukan pada alur penguraian agar sesuai dengan struktur direktori dan penggunaan modul.
Versi layanan parser pemberi rekomendasi open source saat ini selaras dengan batasan umum rekomendasi IAM berikut:
- Rekomendasi hanya dapat dibuat untuk binding kebijakan IAM yang:
- Di level project
- Terkait dengan akun pengguna dan akun layanan yang dikelola pengguna
- Rekomendasi IAM hanya mendukung peran dasar dan peran standar. Peran khusus dan binding kondisional tidak dapat dievaluasi atau direkomendasikan.
- Peran yang direkomendasikan hanya berisi subkumpulan izin peran saat ini. Tidak ada izin baru yang diperkenalkan oleh peran yang direkomendasikan.
Prasyarat
- Pilih atau buat dua project Google Cloud.
- Project build yang menghosting dan menjalankan pipeline otomatisasi.
- Project pengujian yang menghosting resource Google Cloud yang digunakan untuk menguji pipeline otomatisasi.
-
Pastikan penagihan telah diaktifkan untuk project Google Cloud Anda.
- Dalam project test, aktifkan Recommender dan Compute Engine API.
- Pada project build, aktifkan Cloud Run, Firestore, Pub/Sub dan Cloud Scheduler, IAM, dan CloudResourceManager API.
Setelah menyelesaikan tutorial ini, Anda dapat menghindari penagihan berkelanjutan dengan menghapus resource yang Anda buat. Lihat Membersihkan untuk detail selengkapnya.
Menyiapkan lingkungan Anda
- Di Konsol Google Cloud, pilih project
build
Anda. Di konsol Google Cloud, buka Cloud Shell.
Di bagian bawah Konsol Google Cloud, sesi Cloud Shell akan terbuka dan menampilkan perintah command line. Cloud Shell adalah lingkungan shell dengan Google Cloud CLI yang sudah terinstal, dan dengan nilai yang sudah ditetapkan untuk project Anda saat ini. Diperlukan waktu beberapa detik untuk memulai sesi.
Gunakan Cloud Shell untuk semua perintah terminal dalam tutorial ini.
Buat variabel lingkungan untuk menyimpan nomor project untuk project
build
Anda menggunakan perintah di bawah ini:export BUILD_PROJECT_ID=$DEVSHELL_PROJECT_ID
Buat variabel lingkungan untuk menyimpan nomor project untuk project
test
Anda . Salin project ID pengujian secara manual dan ganti PROJECT-ID dengannya,export TEST_PROJECT_ID=PROJECT-ID
Anda perlu menetapkan setelan default untuk nilai yang digunakan di seluruh tutorial, seperti region dan zona. Dalam tutorial ini, Anda menggunakan us-central1 sebagai region default dan us-central1-b sebagai zona default.
Tetapkan region dan zona default untuk tutorial ini dengan menjalankan perintah berikut:
gcloud config set compute/zone us-central1-b --project $BUILD_PROJECT_ID gcloud config set compute/zone us-central1-b --project $TEST_PROJECT_ID
Tetapkan project
build
Anda sebagai project default:gcloud config set project $BUILD_PROJECT_ID
Buat variabel lingkungan bernama
BUILD_PROJECT_NUMBER
untuk nomor projectbuild
Andaexport BUILD_PROJECT_NUMBER=$(gcloud projects describe $DEVSHELL_PROJECT_ID --format='value(projectNumber)')
Clone repositori GitHub untuk tutorial ini:
Membuat Bucket untuk Status Terraform
Buat bucket Cloud Storage di project build Anda untuk menyimpan file status Terraform.
gsutil mb -p ${BUILD_PROJECT_ID} -l us-central1 \
gs://recommender-tf-state-$BUILD_PROJECT_ID
Membuat repositori GitHub
Membuat repositori GitHub yang berfungsi sebagai contoh repositori IaC
Membuat repositori GitHub pribadi baru. Repositori IAC-REPO-NAME ini berfungsi sebagai repositori IaC Anda untuk tujuan tutorial ini
Pada setps berikut, Anda akan mengirim file dalam sub-direktori
sample-iac
dari repositori yang di-clone ke akun GitHub Anda.Di Cloud Shell, salin direktori
sample-iac
ke direktori utama Anda. Anda akan menggunakan direktori ini untuk membuat repositori lokal baru dan mengirimkannya ke GitHub.cp -r recommender-iac-pipeline-nodejs-tutorial/sample-iac $HOME
Buka direktori baru
cd $HOME/sample-iac
Lakukan inisialisasi repositori di mesin lokal Anda.
git init
Tambahkan IAC-REPO-NAME sebagai repositori jarak jauh, ganti IAC-REPO-NAME dan GITHUB-ACCOUNT dengan nilai yang sesuai
git remote add origin https://github.com/GITHUB-ACCOUNT/IAC-REPO-NAME
Ganti placeholder dalam file dalam repositori ini dengan
test
project ID Anda dan nama bucket Terraform Cloud Storage.sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./terraform.tfvars sed -i "s|__STATE_BUCKET_NAME__|recommender-tf-state-$BUILD_PROJECT_ID|g" ./backend.tf
Tambahkan, commit, dan kirim ke GitHub.
git add . git commit -m "First Commit" git push origin master
Login ke akun GitHub Anda saat diminta.
Membuat kunci SSH untuk repositori Anda
Siapkan autentikasi kunci SSH dengan repositori IaC di GitHub dan upload kunci tersebut ke Cloud Storage.
Membuat kunci SSH untuk repositori GitHub Anda.
Membuat pasangan kunci SSH. Ganti your_email@example.com dengan alamat email GitHub Anda. Dalam Cloud Shell:
ssh-keygen -t rsa -b 4096 -m PEM -C "your_email@example.com"
Saat diminta "Enter a file in which to store the key", tekan Enter. Opsi ini menerima lokasi file default.
Saat diminta memasukkan frasa sandi, tekan Enter.
Catat direktori SSH-KEYS-DIR tempat Anda menyimpan kunci SSH yang didownload. Secara default, lokasinya adalah
$HOME/.ssh/
Salin kunci publik SSH yang Anda buat ke repositori GitHub Anda sebagai Kunci Deploy.
Salin kunci publik SSH yang Anda buat di Cloud Shell. Ganti SSH-KEYS-DIR dengan jalur direktori Anda.
cat SSH-KEYS-DIR/id_rsa.pub
Di akun GitHub Anda, buka repositori IAC-REPO-NAME
Klik Settings > Deploy Keys.
Klik Add Deploy Key dan tempel di kunci publik SSH yang Anda salin. Pilih Judul untuk kunci.
Centang kotak "Izinkan akses tulis"
Klik Simpan.
Kembali ke sesi Cloud Shell Anda
Buat file
known_hosts
untuk GitHub. Dalam sesi Cloud Shell Anda, jalankan perintah:ssh-keyscan github.com >> ~/.ssh/known_hosts
Buat bucket Cloud Storage di project
build
Anda, lalu upload kunci SSH dan fileknown_hosts
ke project tersebut. Ganti SSH-KEYS-DIR dengan jalur ke direktori tempat Anda membuat kunci SSH.gsutil mb -p ${BUILD_PROJECT_ID} -l us-central1 gs://github-keys-$BUILD_PROJECT_ID gsutil cp SSH-KEYS-DIR/id_rsa* gs://github-keys-$BUILD_PROJECT_ID gsutil cp SSH-KEYS-DIR/known_hosts gs://github-keys-$BUILD_PROJECT_ID
Buat Token Akses Pribadi untuk GitHub. Token ini digunakan saat menjalankan operasi Git menggunakan panggilan API yang dibuat oleh layanan pemberi rekomendasi-parser untuk menghasilkan permintaan pull, memeriksa manifes IaC yang diperbarui.
Di akun GitHub, di pojok kanan atas halaman mana pun, klik foto profil Anda, lalu klik Settings.
Di sidebar kiri, klik Setelan developer.
Di sidebar kiri, klik Token akses pribadi
Klik Buat token baru.
Berikan nama deskriptif untuk token Anda.
Pilih cakupan sebagai repo.
Klik Generate Token.
Salin token ke papan klip Anda.
Di sesi Cloud Shell Anda, buat variabel lingkungan.
export GITHUB_PAT=personal-access-token-you-copied
Menyiapkan Cloud Build
Hubungkan repositori Git IAC-REPO-NAME Anda untuk berintegrasi dengan Cloud Build.
- Buka halaman Cloud Build App di GitHub Marketplace.
- Scroll ke bawah, lalu klik Setup with Google Cloud Build di bagian bawah halaman.
- Jika diminta, Login ke GitHub.
- Pilih Hanya pilih repositori. Gunakan menu drop-down Select repositories untuk hanya mengaktifkan akses ke IAC-REPO-NAME di aplikasi Cloud Build.
- Klik Install (Instal).
Login ke Google Cloud
Halaman Authorization akan ditampilkan tempat Anda diminta untuk mengizinkan aplikasi Google Cloud Build agar terhubung ke Google Cloud.
Klik otorisasikan Google Cloud Build dengan GoogleCloudBuild. Anda akan dialihkan ke konsol Google Cloud.
Pilih project Google Cloud Anda.
Aktifkan kotak centang izin dan klik Berikutnya.
Di halaman Select repository yang muncul, pilih repositori GitHub IAC-REPO-NAME
Klik Connect repository.
Klik Create a Trigger. Tindakan ini akan membuat definisi pemicu untuk Anda.
Klik Buat untuk menyimpan pemicu build Anda.
Untuk informasi selengkapnya, lihat Menjalankan build di GitHub.
Direktori yang Anda salin memiliki file
cloudbuild.yaml
. File konfigurasi ini menguraikan langkah-langkah yang dijalankan tugas Cloud Build saat dipicu.steps: - name: hashicorp/terraform:0.12.0 args: ['init'] - name: hashicorp/terraform:0.12.0 args: ['apply', '-auto-approve']
Tambahkan izin ke akun layanan Cloud Build Anda untuk mengizinkannya membuat akun layanan, peran asosiasi, dan virtual machine (instance Compute Engine) dalam project pengujian
gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \ --member serviceAccount:$BUILD_PROJECT_NUMBER@cloudbuild.gserviceaccount.com \ --role roles/compute.admin \ --project $TEST_PROJECT_ID gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \ --member serviceAccount:$BUILD_PROJECT_NUMBER@cloudbuild.gserviceaccount.com \ --role roles/iam.serviceAccountAdmin \ --project $TEST_PROJECT_ID gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \ --member serviceAccount:$BUILD_PROJECT_NUMBER@cloudbuild.gserviceaccount.com \ --role roles/iam.securityAdmin \ --project $TEST_PROJECT_ID
Buka halaman Pemicu Build di Konsol Google Cloud.
Pilih project
build
, klik Open.Perbarui definisi pemicu:
- Klik menu , lalu klik Edit.
- Untuk Configuration, pilih opsi Cloud Build configuration file (yaml or json) dan ketik
cloudbuild.yaml
di kolom teks. - Klik Simpan.
Untuk menguji pemicu build secara manual, klik Run pada entri pemicu Anda di daftar pemicu.
Pastikan instance Compute Engine bernama
tf-compute-1
dan akun layanan yang disebutTerraform Recommender Test
dibuat dalam project pengujian dengan tugas Cloud Build yang Anda jalankan di langkah sebelumnya
Men-deploy layanan Cloud Run pemberi rekomendasi
Di Cloud Shell, Ubah direktori ke direktori yang dibuat dengan meng-clone repositori
cd $HOME/recommender-iac-pipeline-nodejs-tutorial/parser-service
Mengonfigurasi Google Cloud agar menggunakan region default untuk layanan Cloud Run. Dalam tutorial ini, Anda akan menggunakan region us-central1, tetapi Anda dapat memilih region lain yang didukung jika ingin.
gcloud config set run/region us-central1
Direktori
parser-service
memiliki sub-direktori stub yang memiliki beberapa contoh JSON payload yang bisa Anda uji dengan layanan pengurai pemberi rekomendasi. Jalankan perintah sed berikut untuk mengganti placeholder PROJECT_ID di JSON ini dengan project ID pengujian Anda.sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./stub/iam.json sed -i "s|__PROJECT_ID__|${TEST_PROJECT_ID}|g" ./stub/vm.json
Jalankan perintah berikut guna membuat variabel lingkungan untuk image Docker Anda.
export IMAGE=gcr.io/$BUILD_PROJECT_ID/recommender-parser:1.0
Membuat image dan mengupload ke Container Registry
gcloud builds submit --tag $IMAGE .
Buat akun layanan agar layanan pemberi rekomendasi-parser dapat berinteraksi dengan layanan Google Cloud lainnya dalam pipeline. Sebaiknya berikan izin terperinci ke layanan Cloud Run Anda. Lihat identitas layanan Cloud Run untuk detail selengkapnya.
gcloud beta iam service-accounts create recommender-parser-sa \ --description "Service account that the recommender-parser service uses to invoke other Google Cloud services" \ --display-name "recommender-parser-sa" \ --project $BUILD_PROJECT_ID
Layanan pemberi rekomendasi-parser perlu mengakses kunci SSH GitHub dan status Terraform yang Anda upload ke bucket Cloud Storage yang dibuat sebelumnya. Tambahkan akun layanan sebagai anggota ke bucket Cloud Storage.
gsutil iam ch serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com:objectCreator,objectViewer \ gs://github-keys-$BUILD_PROJECT_ID gsutil iam ch serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com:objectCreator,objectViewer \ gs://recommender-tf-state-$BUILD_PROJECT_ID
Beri akun layanan pemberi rekomendasi-parser akses ke Firestore, Pemberi Rekomendasi, dan Service Usage API.
gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \ --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role roles/datastore.user gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \ --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role roles/recommender.iamAdmin gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \ --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role roles/recommender.iamViewer gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \ --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role roles/recommender.computeAdmin gcloud projects add-iam-policy-binding $TEST_PROJECT_ID \ --member serviceAccount:recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role roles/serviceusage.serviceUsageConsumer
Deploy layanan Cloud Run, yang disebut recommender-parser, dengan menjalankan perintah. Ganti GITHUB-ACCOUNT dengan nama pengguna akun GitHub Anda, bukan email. Terima perintah sistem apa pun.
gcloud run deploy \ --image=${IMAGE} \ --no-allow-unauthenticated \ --region us-central1 \ --platform managed \ --service-account recommender-parser-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --set-env-vars="GITHUB_ACCOUNT=github.com:GITHUB-ACCOUNT,GITHUB_PAT=${GITHUB_PAT},SSH_KEYS_BUCKET=github-keys-${BUILD_PROJECT_ID},TERRAFORM_STATE_BUCKET=recommender-tf-state-$BUILD_PROJECT_ID" \ --project $BUILD_PROJECT_ID \ recommender-parser
Menyiapkan Firestore
- Di Konsol Google Cloud, di project
build
Anda, buka halaman Firestore. - Saat diminta untuk memilih mode, klik Select Native Mode.
- Pilih
us-east1
sebagai lokasi default. - Klik Create database.
Layanan recommender-parser
menulis dokumen ke database ini untuk tujuan berikut:
- Untuk memantau rekomendasi yang diambil dari Recommender API
- Panggil Recommender API setelah rekomendasi diproses untuk memperbarui status setiap rekomendasi yang diproses menjadi
SUCCEEDED
atauFAILED
sebagaimana mestinya. Ini adalah langkah penting yang membuat pipeline menjadi idempoten dengan memastikan bahwa rekomendasi tidak diproses secara tidak lengkap atau beberapa kali.
Menyiapkan tugas Cloud Scheduler
Buat akun layanan yang digunakan tugas Cloud Scheduler untuk menjalankan layanan pemberi rekomendasi.
gcloud beta iam service-accounts create recommender-scheduler-sa \ --description "Service Account used by Cloud Scheduler to invoke the recommender-parser service" \ --display-name "recommender-scheduler-sa" \ --project $BUILD_PROJECT_ID
Berikan peran run/invoker pada akun layanan agar dapat memanggil layanan Cloud Run.
gcloud beta run services add-iam-policy-binding recommender-parser \ --member=serviceAccount:recommender-scheduler-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role=roles/run.invoker \ --region=us-central1
Dapatkan URL layanan pemberi rekomendasi:
gcloud beta run services list --platform managed --project $BUILD_PROJECT_ID
Tugas Cloud Scheduler Anda memanggil rute /recommendation/iam layanan rekomendasier-parser untuk mengurai rekomendasi IAM dan rute /Recommender/vm untuk mengurai rekomendasi ukuran VM.
Buat variabel untuk endpoint yang dipanggil tugas Cloud Scheduler. Ganti RECOMMENDER-SERVICE-URL dengan URL layanan pemberi rekomendasi yang Anda salin di langkah sebelumnya.
export RECOMMENDER_ROUTE_TO_INVOKE_IAM=RECOMMENDER-SERVICE-URL/recommendation/iam
URL Anda akan terlihat seperti URL contoh ini setelah menambahkan informasi rute:
RECOMMENDER-SERVICE-URL/recommendation/iam
Buat tugas Cloud Scheduler bernama
recommender-iam-scheduler.
- Mengubah zona waktu yang dipilih berdasarkan lokasi Anda.
- Ganti IAC-REPO-NAME dengan nama repositori GitHub yang Anda buat.
Isi pesan menggunakan tiga input, dan Anda harus menyusunnya seperti yang diuraikan di bawah:
repo
: Ini adalah nama repositori GitHub IAC-REPO-NAME yang Anda buat di Membuat repositori GitHub.projects
: Daftar / array ID project Google Cloud yang dipetakan oleh repositori GitHub IaC ini. Dalam tutorial ini, ini adalah projecttest
Anda.stub
: Pemberi rekomendasi membuat rekomendasi IAM saat subset izin untuk suatu peran tidak digunakan selama 60 hari, dan rekomendasi ukuran VM mengikuti pola yang serupa. Untuk tujuan menguji pipeline ini sesuai permintaan,stub
dapat diteruskan sebagaitrue
sehingga pipeline diuji menggunakan contoh payload Pemberi rekomendasi yang disediakan dalam repositori yang Anda clone untuk tutorial ini.
gcloud beta scheduler jobs create http recommender-iam-scheduler \ --project $BUILD_PROJECT_ID \ --time-zone "America/Los_Angeles" \ --schedule="0 */3 * * *" \ --uri=$RECOMMENDER_ROUTE_TO_INVOKE_IAM \ --description="Scheduler job to invoke recommendation pipeline" \ --oidc-service-account-email="recommender-scheduler-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com" \ --headers="Content-Type=application/json" \ --http-method="POST" \ --message-body="{ \"repo\": \"IAC-REPO-NAME\", \"projects\": [\"$TEST_PROJECT_ID\"], \"location\": \"global\", \"stub\": true }"
Langkah tambahan
Cloud Build memublikasikan informasi build ke topik Pub/Sub bernama cloud-builds yang dibuat secara otomatis saat Anda mengaktifkan Cloud Build API di project build.
Jalankan perintah berikut untuk memverifikasi bahwa topik cloud-builds ada dalam project
build
Anda:gcloud pubsub topics describe cloud-builds
Jika topik ada, Anda akan melihat output berikut, dengan BUILD-PROJECT-ID sebagai ID project build Anda:
name: projects/BUILD-PROJECT-ID/topics/cloud-builds
Jika Anda menerima pesan error yang menyatakan bahwa resource tidak ditemukan, ikuti petunjuk untuk berlangganan notifikasi build, untuk membuat topik secara manual.
Buat akun layanan yang digunakan Pub/Sub untuk memanggil endpoint layanan pemberi rekomendasi.
gcloud beta iam service-accounts create recommender-ci-subscription-sa \ --description "Service Account used by Cloud Pub/Sub to push Cloud Build events to the recommender-parser service" \ --display-name "recommender-ci-subscription-sa" \ --project $BUILD_PROJECT_ID
Akun layanan Pub/Sub harus dikaitkan dengan peran yang diperlukan untuk memublikasikan pesan dan memanggil layanan pemberi rekomendasi.
gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \ --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role roles/pubsub.publisher \ --project $BUILD_PROJECT_ID gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \ --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role roles/pubsub.subscriber \ --project $BUILD_PROJECT_ID gcloud projects add-iam-policy-binding $BUILD_PROJECT_ID \ --member serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role roles/run.invoker \ --project $BUILD_PROJECT_ID
Tambahkan akun layanan
recommender-ci-subscription-sa
yang Anda buat ke layanan pemberi rekomendasi-parser sebagai anggota dengan peraninvoker
gcloud beta run services add-iam-policy-binding recommender-parser \ --member=serviceAccount:recommender-ci-subscription-sa@$BUILD_PROJECT_ID.iam.gserviceaccount.com \ --role=roles/run.invoker --region=us-central1
Buka Pub/Sub di Konsol Google Cloud.
Klik topik cloud-builds.
Klik Buat Langganan.
Untuk ID Langganan, ketik
recommender-service-build-events
.Untuk Delivery Type, pilih Push.
Untuk Endpoint, ketik URL layanan pemberi rekomendasi dengan menambahkan
/ci
.Centang Enable Authentication.
- Pilih akun layanan
recommender-ci-subscription-sa
yang Anda buat. - Klik Berikan sebagai respons terhadap pesan perintah.
- Pilih akun layanan
Pilih Acknowledgement deadline as 60 seconds.
Pertahankan setelan default lainnya.
Klik Create.
Menguji pipeline
Pemberi rekomendasi membuat rekomendasi IAM saat
sebagian izin untuk suatu peran tidak digunakan selama 60 hari. Rekomendasi ukuran VM mengikuti pola yang serupa. Untuk menguji pipeline ini sesuai permintaan, Anda akan menggunakan contoh payload JSON rekomendasi yang disediakan di sub-direktori stub
yang disediakan di repositori yang Anda clone untuk tutorial ini. Dengan ini, Anda dapat menguji pipeline, kecuali panggilan API yang dilakukan oleh
pengurai pemberi rekomendasi ke endpoint Recommender API untuk
memperbarui status rekomendasi yang telah berhasil diterapkan.
Atau, jika Anda memiliki rekomendasi aktif di project Google Cloud, Anda dapat menguji pipeline secara menyeluruh tanpa perlu menggunakan stub. Hasil yang diuraikan di bawah ini berkaitan dengan saat Anda menggunakan payload sampel untuk menguji pipeline. Namun, langkah-langkah untuk menguji pipeline ini tanpa sampel tetap sama.
Di Konsol Google Cloud, buka project pengujian Anda dan tinjau resource yang dibuat. Anda harus memiliki:
- Instance Compute Engine bernama
tf-compute-1
dengan Jenis Mesing1-small
. - Akun layanan bernama
Terraform Recommender Test
dengan peraneditor
untuk project pengujian Anda.
- Instance Compute Engine bernama
Di halaman konsol Cloud Scheduler di project
build
Anda, klik Jalankan sekarang untuk tugas Recommender-iam-scheduler.Klik tugas untuk melihat log. Anda juga dapat melihat log layanan pemeriksa rekomendasi untuk mendapatkan tampilan mendetail tentang langkah-langkah yang dijalankan oleh layanan.
Setelah layanan selesai dijalankan, buka repositori IAC-REPO-NAME GitHub Anda. Layanan
recommender-parser
akan membuat permintaan pull untuk Anda. Tinjau manifes IaC yang dimodifikasi yang berisi permintaan pull ini, lalu klik Merge Pull Request jika Anda puas dengan perubahan pada manifes IaC.Commit baru ke cabang master dibuat saat Anda menggabungkan permintaan pull. Tindakan ini akan memicu tugas Cloud Build yang meluncurkan modifikasi ke resource Google Cloud di project
test
Anda. Tunggu beberapa saat hingga tugas Cloud Build selesai, Anda dapat meninjau statusnya di konsol Google CloudSetelah tugas selesai, buka project pengujian Anda. Sampel payload yang disediakan membuat perubahan berikut pada resource dalam project pengujian Anda.
- Akun layanan Terraform Test yang sebelumnya memiliki peran
editor
saat di-deploy, diubah menjadiviewer
.
- Akun layanan Terraform Test yang sebelumnya memiliki peran
Pembersihan
Agar tidak menimbulkan biaya pada akun Google Cloud Anda untuk resource yang digunakan dalam tutorial ini, hapus kedua project yang dibuat.
Cara termudah untuk menghilangkan penagihan adalah dengan menghapus project yang Anda buat untuk tutorial.
Untuk menghapus project:
- Di konsol Google Cloud, buka halaman Manage resource.
- Pada daftar project, pilih project yang ingin Anda hapus, lalu klik Delete.
- Pada dialog, ketik project ID, lalu klik Shut down untuk menghapus project.
Langkah selanjutnya
- Pelajari arsitektur referensi, diagram, dan praktik terbaik tentang Google Cloud. Lihat Cloud Architecture Center kami.
- Pelajari lebih lanjut Kecerdasan Kebijakan Google Cloud dalam dokumentasi.