Bangun dan deploy model machine learning dan AI generatif di perusahaan

Last reviewed 2024-03-28 UTC

Seiring makin umumnya model AI generatif dan machine learning (ML) dalam aktivitas bisnis dan proses bisnis perusahaan, semakin banyak perusahaan yang membutuhkan panduan tentang pengembangan model untuk memastikan konsistensi, pengulangan, keamanan, dan keamanan. Untuk membantu perusahaan besar membangun dan men-deploy model AI dan ML generatif, kami membuat blueprint machine learning dan AI generatif perusahaan. Blueprint ini menyajikan panduan komprehensif tentang seluruh siklus proses pengembangan AI, mulai dari eksplorasi dan eksperimen data awal hingga pelatihan model, deployment, dan pemantauan.

Blueprint AI generatif dan ML perusahaan memberi Anda banyak manfaat, termasuk:

  • Panduan preskriptif: Panduan yang jelas tentang cara membuat, mengonfigurasi, dan men-deploy lingkungan pengembangan ML dan AI generatif yang didasarkan pada Vertex AI. Anda dapat menggunakan Vertex AI untuk mengembangkan model Anda sendiri.
  • Peningkatan efisiensi: Otomatisasi luas untuk membantu mengurangi toil dari men-deploy infrastruktur serta mengembangkan model AI generatif dan ML. Otomatisasi memungkinkan Anda berfokus pada tugas yang memiliki nilai tambah seperti desain model dan eksperimentasi.
  • Tata kelola dan kemampuan audit yang lebih baik: Kemampuan reproduksi, keterlacakan, dan deployment model yang terkontrol digabungkan ke dalam desain blueprint ini. Manfaat ini memungkinkan Anda mengelola siklus proses model AI dan ML dengan lebih baik, serta membantu memastikan Anda dapat melatih ulang dan mengevaluasi model secara konsisten, dengan jejak audit yang jelas.
  • Keamanan: Blueprint dirancang agar selaras dengan persyaratan framework National Institute of Standards and Technology (NIST) dan framework Cyber Risk Institute (CRI).

Blueprint AI generatif dan ML perusahaan mencakup hal berikut:

  • Repositori GitHub yang berisi kumpulan konfigurasi Terraform, notebook Jupyter, definisi Vertex AI Pipelines, Cloud Composer grafik acyclic graph (DAG), dan skrip tambahan. Komponen dalam repositori menyelesaikan hal berikut:
    • Konfigurasi Terraform menyiapkan platform pengembangan model Vertex AI yang dapat mendukung beberapa tim pengembangan model.
    • {i>Notebook <i}Jupyter memungkinkan Anda mengembangkan model secara interaktif.
    • Definisi Vertex AI Pipelines menerjemahkan notebook Jupyter menjadi pola yang dapat direproduksi yang dapat digunakan untuk lingkungan produksi.
    • DAG Cloud Composer menyediakan metode alternatif untuk Vertex AI Pipelines.
    • Skrip tambahan membantu men-deploy pipeline dan kode Terraform.
  • Panduan untuk arsitektur, desain, kontrol keamanan, dan proses operasional yang ingin Anda terapkan dengan blueprint ini (dokumen ini).

Blueprint AI dan ML perusahaan dirancang agar kompatibel dengan blueprint dasar-dasar perusahaan. Blueprint Enterprise Foundation menyediakan sejumlah layanan tingkat dasar yang diandalkan oleh blueprint ini, seperti jaringan VPC. Anda dapat men-deploy blueprint AI dan ML perusahaan tanpa men-deploy blueprint Enterprise Foundation jika lingkungan Google Cloud Anda menyediakan fungsionalitas yang diperlukan untuk mendukung blueprint AI generatif dan ML perusahaan.

Dokumen ini ditujukan untuk arsitek cloud, data scientist, dan data engineer yang dapat menggunakan blueprint untuk membangun dan men-deploy model AI generatif atau ML baru di Google Cloud. Dokumen ini mengasumsikan bahwa Anda telah memahami pengembangan model ML dan AI generatif dan platform machine learning Vertex AI.

Ringkasan blueprint AI generatif dan ML perusahaan

Blueprint AI dan ML generatif perusahaan menggunakan pendekatan berlapis untuk memberikan kemampuan yang memungkinkan pelatihan model AI dan ML generatif. Blueprint dimaksudkan untuk di-deploy dan dikontrol melalui alur kerja operasi ML (MLOps). Diagram berikut menunjukkan bagaimana lapisan MLOps yang di-deploy oleh blueprint ini berkaitan dengan lapisan lain di lingkungan Anda.

Lapisan blueprint.

Diagram ini mencakup hal-hal berikut:

  • Infrastruktur Google Cloud memberi Anda kemampuan keamanan seperti enkripsi dalam penyimpanan dan enkripsi saat dalam pengiriman, serta elemen penyusun dasar seperti komputasi dan penyimpanan.
  • Fondasi perusahaan menyediakan dasar pengukuran resource seperti sistem identitas, jaringan, logging, pemantauan, dan deployment yang memungkinkan Anda mengadopsi Google Cloud untuk workload AI.
  • Lapisan data adalah lapisan opsional pada stack pengembangan yang memberi Anda berbagai kemampuan seperti penyerapan data, penyimpanan data, kontrol akses data, tata kelola data, pemantauan data, dan berbagi data.
  • Lapisan AI dan ML generatif (blueprint ini) memungkinkan Anda membangun dan men-deploy model. Anda dapat menggunakan lapisan ini untuk eksplorasi dan eksperimen data awal, pelatihan model, penayangan model, dan pemantauan.
  • CI/CD menyediakan alat untuk mengotomatiskan penyediaan, konfigurasi, pengelolaan, serta deployment infrastruktur, alur kerja, dan komponen software. Komponen-komponen ini membantu Anda memastikan deployment yang konsisten, andal, dan dapat diaudit; meminimalkan error manual; serta mempercepat siklus pengembangan secara keseluruhan.

Untuk menunjukkan penggunaan lingkungan AI dan ML generatif, blueprint mencakup contoh pengembangan model ML. Pengembangan model contoh akan membawa Anda melalui pembangunan model, pembuatan pipeline operasional, melatih model, menguji model, dan men-deploy model.

Arsitektur

Blueprint AI generatif dan ML perusahaan memberi Anda kemampuan untuk bekerja langsung dengan data. Anda dapat membuat model di lingkungan interaktif (pengembangan) dan mempromosikan model ke dalam lingkungan operasional (produksi atau non-produksi).

Di lingkungan interaktif, Anda mengembangkan model ML menggunakan Vertex AI Workbench, yang merupakan layanan Jupyter Notebook yang dikelola oleh Google. Anda membangun ekstraksi data, transformasi data, dan kemampuan penyesuaian model di lingkungan interaktif dan mempromosikannya ke dalam lingkungan operasional.

Dalam lingkungan operasional (non-produksi), Anda menggunakan pipeline untuk membangun dan menguji model secara berulang dan dapat dikontrol. Setelah puas dengan performa model, Anda dapat men-deploy model ke dalam lingkungan operasional (produksi). Diagram berikut menunjukkan berbagai komponen lingkungan interaktif dan operasional.

Arsitektur blueprint.

Diagram ini mencakup hal-hal berikut:

  1. Sistem deployment: Layanan seperti Katalog Layanan dan Cloud Build men-deploy resource Google Cloud ke lingkungan interaktif. Cloud Build juga men-deploy resource Google Cloud dan alur kerja pembangunan model ke lingkungan operasional.
  2. Sumber data: Layanan seperti BigQuery, Cloud Storage, Spanner, dan AlloyDB untuk PostgreSQL menghosting data Anda. Blueprint menyediakan data contoh di BigQuery dan Cloud Storage.
  3. Lingkungan interaktif: Lingkungan tempat Anda dapat berinteraksi langsung dengan data, bereksperimen dengan model, dan mem-build pipeline untuk digunakan di lingkungan operasional.
  4. Lingkungan operasional: Lingkungan tempat Anda dapat membangun dan menguji model secara berulang, lalu men-deploy model ke dalam lingkungan produksi.
  5. Layanan model: Layanan berikut mendukung berbagai aktivitas MLOps:
  6. Penyimpanan artefak: Layanan ini menyimpan kode dan container, serta untuk pengembangan dan pipeline model Anda. Layanan ini mencakup:
    • Artifact Registry menyimpan container yang digunakan oleh pipeline di lingkungan operasional untuk mengontrol berbagai tahap pengembangan model.
    • Repositori Git menyimpan code base berbagai komponen yang digunakan dalam pengembangan model.

Persona platform

Saat men-deploy blueprint, Anda akan membuat empat jenis grup pengguna: grup engineer MLOps, grup engineer DevOps, grup data scientist, dan grup data engineer. Grup memiliki tanggung jawab berikut:

  • Grup Engineer MLOps mengembangkan template Terraform yang digunakan oleh Katalog Layanan. Tim ini menyediakan template yang digunakan oleh banyak model.
  • Grup Engineer DevOps menyetujui template Terraform yang dibuat oleh grup developer MLOps.
  • Grup data scientist mengembangkan model, pipeline, dan container yang digunakan oleh pipeline. Biasanya, satu tim didedikasikan untuk membangun satu model.
  • Grup Data engineer menyetujui penggunaan artefak yang dibuat oleh grup data science.

Struktur organisasi

Blueprint ini menggunakan struktur organisasi blueprint dasar perusahaan sebagai dasar untuk men-deploy workload AI dan ML. Diagram berikut menunjukkan project yang ditambahkan ke fondasi untuk mengaktifkan workload AI dan ML.

blueprint<i}." class="l10n-absolute-url-src" l10n-attrs-original-order="src,alt,class" src="https://cloud.google.com/static/architecture/genai-mlops-blueprint/images/mlops-org-structure.svg" />

Tabel berikut menjelaskan project yang digunakan oleh blueprint AI dan ML generatif.

Folder Project Deskripsi

common

prj-c-infra-pipeline

 Berisi pipeline deployment yang digunakan untuk membangun komponen AI generatif dan ML dari blueprint. Untuk mengetahui informasi selengkapnya, lihat pipeline infrastruktur dalam blueprint dasar perusahaan.

prj-c-service-catalog

 Berisi infrastruktur yang digunakan oleh Katalog Layanan untuk men-deploy resource di lingkungan interaktif.

development

prj-d-machine-learning

 Berisi komponen untuk mengembangkan kasus penggunaan AI dan ML dalam mode interaktif.

non-production

prj-n-machine-learning

 Berisi komponen untuk menguji dan mengevaluasi kasus penggunaan AI dan ML yang dapat di-deploy ke produksi.

production

prj-p-machine-learning

 Berisi komponen untuk men-deploy kasus penggunaan AI dan ML ke dalam produksi.

Networking

Blueprint menggunakan jaringan VPC Bersama yang dibuat dalam blueprint dasar perusahaan. Di lingkungan interaktif (pengembangan), notebook Vertex AI Workbench di-deploy dalam project layanan. Pengguna lokal dapat mengakses project menggunakan ruang alamat IP pribadi di jaringan VPC Bersama. Pengguna lokal dapat mengakses Google Cloud API, seperti Cloud Storage, melalui Private Service Connect. Setiap jaringan VPC Bersama (pengembangan, non-produksi, dan produksi) memiliki endpoint Private Service Connect yang berbeda.

Jaringan blueprint.

Lingkungan operasional (non-produksi dan produksi) memiliki dua jaringan VPC Bersama terpisah yang dapat diakses oleh resource lokal melalui alamat IP pribadi. Lingkungan interaktif dan operasional dilindungi menggunakan Kontrol Layanan VPC.

Cloud Logging

Blueprint ini menggunakan kemampuan Cloud Logging yang disediakan oleh blueprint dasar perusahaan.

Cloud Monitoring

Untuk memantau tugas pelatihan kustom, blueprint menyertakan dasbor yang memungkinkan Anda memantau metrik berikut:

  • Pemakaian CPU setiap node pelatihan
  • Penggunaan memori setiap node pelatihan
  • Penggunaan jaringan

Jika tugas pelatihan kustom gagal, blueprint akan menggunakan Cloud Monitoring untuk memberi Anda mekanisme pemberitahuan email yang memberi tahu Anda tentang kegagalan tersebut. Untuk memantau model yang di-deploy dan menggunakan endpoint Vertex AI, blueprint dilengkapi dengan dasbor yang memiliki metrik berikut:

  • Metrik performa:
    • Prediksi per detik
    • Latensi model
  • Penggunaan resource:
    • Penggunaan CPU
    • Penggunaan memori

Penyiapan kebijakan organisasi

Selain kebijakan organisasi yang dibuat oleh blueprint dasar perusahaan, blueprint ini menambahkan kebijakan organisasi yang tercantum dalam postur standar untuk AI yang aman, diperluas.

Operasi

Bagian ini menjelaskan lingkungan yang disertakan dalam blueprint.

Lingkungan interaktif

Agar Anda dapat mempelajari data dan mengembangkan model sambil mempertahankan postur keamanan organisasi, lingkungan interaktif memberi Anda serangkaian tindakan terkontrol yang dapat dilakukan. Anda dapat men-deploy resource Google Cloud menggunakan salah satu metode berikut:

  • Menggunakan Katalog Layanan, yang telah dikonfigurasi melalui otomatisasi dengan template resource
  • Membangun artefak kode dan menerapkannya ke repositori Git menggunakan notebook Vertex AI Workbench

Diagram berikut menggambarkan lingkungan interaktif.

Lingkungan interaktif blueprint.

Alur interaktif umum memiliki langkah-langkah dan komponen berikut yang terkait dengannya:

  1. Katalog Layanan menyediakan daftar pilihan resource Google Cloud yang dapat di-deploy oleh data scientist ke dalam lingkungan interaktif. Data scientist men-deploy resource notebook Vertex AI Workbench dari Katalog Layanan.
  2. Notebook Vertex AI Workbench adalah antarmuka utama yang digunakan data scientist untuk bekerja dengan resource Google Cloud yang di-deploy di lingkungan interaktif. Dengan notebook ini, ilmuwan data dapat mengambil kode dari Git dan memperbarui kode sesuai kebutuhan.
  3. Data sumber disimpan di luar lingkungan interaktif dan dikelola secara terpisah dari blueprint ini. Akses ke data dikontrol oleh pemilik data. Ilmuwan data dapat meminta akses baca ke data sumber, tetapi data scientist tidak dapat menulis ke data sumber.
  4. Data scientist dapat mentransfer data sumber ke lingkungan interaktif ke dalam resource yang dibuat melalui Katalog Layanan. Di lingkungan interaktif, ilmuwan data dapat membaca, menulis, dan memanipulasi data. Namun, ilmuwan data tidak dapat mentransfer data keluar dari lingkungan interaktif atau memberikan akses ke resource yang dibuat oleh Katalog Layanan. BigQuery menyimpan data terstruktur dan data semi-terstruktur, sedangkan Cloud Storage menyimpan data yang tidak terstruktur.
  5. Feature Store menyediakan akses latensi rendah ke fitur untuk pelatihan model kepada data scientist.

  6. Data scientist melatih model menggunakan tugas pelatihan kustom Vertex AI. Blueprint juga menggunakan Vertex AI untuk penyesuaian hyperparameter.

  7. Data scientist mengevaluasi model melalui penggunaan Vertex AI Experiments dan Vertex AI TensorBoard. Dengan Vertex AI Experiments, Anda dapat menjalankan beberapa pelatihan terhadap sebuah model menggunakan berbagai parameter, teknik pemodelan, arsitektur, dan input. Dengan Vertex AI TensorBoard, Anda dapat melacak, memvisualisasikan, dan membandingkan berbagai eksperimen yang Anda jalankan, lalu memilih model dengan karakteristik teramati terbaik untuk divalidasi.

  8. Data scientist memvalidasi model mereka dengan evaluasi Vertex AI. Untuk memvalidasi model mereka, data scientist membagi data sumber ke dalam set data pelatihan dan satu set data validasi, lalu menjalankan evaluasi Vertex AI terhadap model Anda.

  9. Data scientist mem-build container menggunakan Cloud Build, menyimpan container di Artifact Registry, dan menggunakan container dalam pipeline yang ada di lingkungan operasional.

Lingkungan operasional

Lingkungan operasional menggunakan repositori dan pipeline Git. Lingkungan ini mencakup lingkungan produksi dan lingkungan non-produksi blueprint dasar perusahaan. Dalam lingkungan non-produksi, data scientist memilih pipeline dari salah satu pipeline yang dikembangkan di lingkungan interaktif. Data scientist dapat menjalankan pipeline di lingkungan non-produksi, mengevaluasi hasilnya, lalu menentukan model mana yang akan dipromosikan ke lingkungan produksi.

Blueprint mencakup contoh pipeline yang dibuat menggunakan Cloud Composer dan contoh pipeline yang dibuat menggunakan Vertex AI Pipelines. Diagram di bawah menunjukkan lingkungan operasional.

Lingkungan operasional blueprint.

Alur operasional umum memiliki langkah-langkah berikut:

  1. Seorang data scientist berhasil menggabungkan cabang pengembangan ke dalam cabang deployment.
  2. Penggabungan ke cabang deployment akan memicu pipeline Cloud Build.
  3. Salah satu item berikut terjadi:
    • Jika data scientist menggunakan Cloud Composer sebagai orkestrasi, pipeline Cloud Build akan memindahkan DAG ke Cloud Storage.
    • Jika data scientist menggunakan Vertex AI Pipelines sebagai orkestrasi, pipeline akan memindahkan file Python ke Cloud Storage.
  4. Pipeline Cloud Build memicu orkestrasi (Cloud Composer atau Vertex AI Pipelines).
  5. Orkestrasi mengambil definisi pipeline-nya dari Cloud Storage dan mulai menjalankan pipeline.
  6. Pipeline ini mengambil container dari Artifact Registry yang digunakan oleh semua tahap pipeline untuk memicu layanan Vertex AI.
  7. Pipeline, yang menggunakan penampung, memicu transfer data dari project data sumber ke lingkungan operasional.
  8. Data ditransformasikan, divalidasi, dibagi, dan disiapkan untuk pelatihan model serta validasi melalui pipeline.
  9. Jika diperlukan, pipeline akan memindahkan data ke Vertex AI Feature Store agar mudah diakses selama pelatihan model.
  10. Pipeline ini menggunakan pelatihan model kustom Vertex AI untuk melatih model.
  11. Pipeline ini menggunakan evaluasi Vertex AI untuk memvalidasi model.
  12. Model yang divalidasi akan diimpor ke Model Registry melalui pipeline.
  13. Model yang diimpor kemudian digunakan untuk menghasilkan prediksi melalui prediksi online atau prediksi batch.
  14. Setelah model di-deploy ke lingkungan produksi, pipeline menggunakan Pemantauan Model Vertex AI untuk mendeteksi apakah performa model menurun dengan memantau kemiringan penayangan pelatihan dan penyimpangan prediksi.

Deployment

Blueprint ini menggunakan serangkaian pipeline Cloud Build untuk menyediakan infrastruktur blueprint, pipeline di lingkungan operasional, serta container yang digunakan untuk membuat model AI dan ML generatif. Pipeline yang digunakan dan resource yang disediakan adalah sebagai berikut:

  • Pipeline infrastruktur: Pipeline ini adalah bagian dari blueprint dasar perusahaan. Pipeline ini menyediakan resource Google Cloud yang terkait dengan lingkungan interaktif dan lingkungan operasional.
  • Pipeline interaktif: Pipeline interaktif adalah bagian dari lingkungan interaktif. Pipeline ini menyalin template Terraform dari repositori Git ke bucket Cloud Storage yang dapat dibaca oleh Katalog Layanan. Pipeline interaktif dipicu jika permintaan pull dibuat untuk bergabung dengan cabang utama.
  • Pipeline container: Blueprint mencakup pipeline Cloud Build untuk membangun container yang digunakan dalam pipeline operasional. Container yang di-deploy di seluruh lingkungan adalah image container yang tidak dapat diubah. Image container yang tidak dapat diubah membantu memastikan bahwa image yang sama di-deploy di semua lingkungan dan tidak dapat diubah saat sedang berjalan. Jika perlu mengubah aplikasi, Anda harus membangun ulang dan men-deploy ulang image. Image container yang digunakan dalam blueprint disimpan di Artifact Registry dan dirujuk oleh file konfigurasi yang digunakan dalam pipeline operasional.
  • Pipeline operasional: Pipeline operasional adalah bagian dari lingkungan operasional. Pipeline ini menyalin DAG untuk Cloud Composer atau Vertex AI Pipelines, yang kemudian digunakan untuk membuat, menguji, dan men-deploy model.

Katalog Layanan

Dengan Katalog Layanan, developer dan administrator cloud dapat membuat solusi mereka dapat digunakan oleh pengguna versi bisnis internal. Modul Terraform di Katalog Layanan dibangun dan dipublikasikan sebagai artefak untuk bucket Cloud Storage dengan pipeline CI/CD Cloud Build. Setelah modul disalin ke bucket, developer dapat menggunakan modul tersebut untuk membuat solusi Terraform di halaman Admin Katalog Layanan, menambahkan solusi ke Katalog Layanan, dan membagikan solusi ke project lingkungan interaktif sehingga pengguna dapat men-deploy resource.

Lingkungan interaktif menggunakan Katalog Layanan agar ilmuwan data dapat men-deploy resource Google Cloud dengan cara yang sesuai dengan postur keamanan perusahaan mereka. Saat mengembangkan model yang memerlukan resource Google Cloud, seperti bucket Cloud Storage, ilmuwan data memilih resource dari Katalog Layanan, mengonfigurasi resource, dan men-deploy resource di lingkungan interaktif. Katalog Layanan berisi template yang telah dikonfigurasi sebelumnya untuk berbagai resource Google Cloud yang dapat di-deploy oleh data scientist di lingkungan interaktif. Data scientist tidak dapat mengubah template resource, tetapi dapat mengonfigurasi resource melalui variabel konfigurasi yang diekspos oleh template. Diagram berikut menunjukkan struktur bagaimana Katalog Layanan dan lingkungan interaktif saling berkaitan.

Katalog blueprint.

Data scientist men-deploy resource menggunakan Katalog Layanan, seperti yang dijelaskan pada langkah-langkah berikut:

  1. Engineer MLOps menempatkan template resource Terraform untuk Google Cloud ke dalam repositori Git.
  2. Commit ke Git memicu pipeline Cloud Build.
  3. Cloud Build menyalin template dan semua file konfigurasi terkait ke Cloud Storage.
  4. Engineer MLOps menyiapkan solusi Katalog Layanan dan Katalog Layanan secara manual. Engineer kemudian membagikan Katalog Layanan dengan project layanan di lingkungan interaktif.
  5. Data scientist memilih resource dari Katalog Layanan.
  6. Katalog Layanan men-deploy template ke lingkungan interaktif.
  7. Resource ini menarik skrip konfigurasi yang diperlukan.
  8. Ilmuwan data berinteraksi dengan resource.

Repositories

Pipeline yang dijelaskan dalam Deployment dipicu oleh perubahan pada repositori yang sesuai. Untuk membantu memastikan bahwa tidak ada yang dapat melakukan perubahan independen pada lingkungan produksi, ada pemisahan tanggung jawab antara pengguna yang dapat mengirim kode dan pengguna yang dapat menyetujui perubahan kode. Tabel berikut menjelaskan repositori cetak biru serta pengirim dan pemberi persetujuannya.

Repositori Pipeline Deskripsi Pengirim Pemberi Persetujuan

ml-foundation

 Infrastruktur
 Berisi kode Terraform untuk blueprint AI generatif dan ML yang menciptakan lingkungan interaktif dan operasional. Engineer MLOps DevOps engineer

service-catalog

 Interaktif Berisi template untuk resource yang dapat di-deploy Katalog Layanan. Engineer MLOps DevOps engineer

artifact-publish

 Container Berisi container yang dapat digunakan oleh pipeline di lingkungan operasional. Ilmuwan data Data engineer

machine-learning

 Fase operasional Berisi kode sumber yang dapat digunakan oleh pipeline di lingkungan operasional. Ilmuwan data Data engineer

Strategi percabangan

Blueprint menggunakan percabangan persisten untuk men-deploy kode ke lingkungan terkait. Cetak biru ini menggunakan tiga cabang (pengembangan, non-produksi, dan produksi) yang mencerminkan lingkungan yang sesuai.

Kontrol keamanan

Blueprint AI dan ML generatif perusahaan menggunakan model keamanan defense in depth berlapis yang menggunakan kemampuan Google Cloud, layanan Google Cloud, dan kemampuan keamanan default yang dikonfigurasi melalui blueprint fondasi perusahaan. Diagram berikut menunjukkan lapisan berbagai kontrol keamanan untuk blueprint.

Kontrol keamanan blueprint.

Fungsi lapisan adalah sebagai berikut:

  • Interface: menyediakan layanan data scientist yang memungkinkan mereka berinteraksi dengan blueprint secara terkontrol.
  • Deployment: menyediakan serangkaian pipeline yang men-deploy infrastruktur, mem-build container, dan membuat model. Penggunaan pipeline memungkinkan audit, keterlacakan, dan pengulangan.
  • Jaringan: menyediakan perlindungan pemindahan data yang tidak sah di sekitar resource blueprint di lapisan API dan lapisan IP.
  • Pengelolaan akses: mengontrol siapa yang dapat mengakses resource dan membantu mencegah penggunaan resource tanpa izin.
  • Enkripsi: memungkinkan Anda mengontrol kunci dan rahasia enkripsi, serta membantu melindungi data Anda melalui enkripsi saat nonaktif dan enkripsi selama pengiriman default.
  • Detektif: membantu Anda mendeteksi kesalahan konfigurasi dan aktivitas berbahaya.
  • Pencegahan: menyediakan sarana untuk mengontrol dan membatasi cara deployment infrastruktur Anda.

Tabel berikut menjelaskan kontrol keamanan yang terkait dengan setiap lapisan.

Lapisan. Resource Kontrol keamanan
Antarmuka Vertex AI Workbench Memberikan pengalaman notebook terkelola yang menggabungkan kontrol akses pengguna, kontrol akses jaringan, kontrol akses IAM, dan download file yang dinonaktifkan. Fitur-fitur ini memungkinkan pengalaman pengguna yang lebih aman.
Repositori Git Menyediakan kontrol akses pengguna untuk melindungi repositori Anda.
Katalog Layanan Menyediakan daftar resource pilihan kepada data scientist yang hanya dapat di-deploy dalam konfigurasi yang disetujui.
Deployment Pipeline infrastruktur Menyediakan alur yang aman untuk men-deploy infrastruktur blueprint melalui penggunaan Terraform.
Pipeline interaktif Menyediakan alur yang aman untuk mentransfer template dari repositori Git ke dalam bucket dalam organisasi Google Cloud Anda.
Pipeline container Memberikan alur yang aman untuk mem-build container yang digunakan oleh pipeline operasional.
Pipeline operasional Memberikan alur yang terkontrol untuk melatih, menguji, memvalidasi, dan men-deploy model.
Artifact Registry Menyimpan image container secara aman menggunakan kontrol akses resource
Jaringan Private Service Connect Memungkinkan Anda berkomunikasi dengan Google Cloud API menggunakan alamat IP pribadi sehingga Anda dapat menghindari paparan traffic ke internet.
VPC dengan alamat IP pribadi Blueprint menggunakan VPC dengan alamat IP pribadi untuk membantu menghilangkan eksposur terhadap ancaman yang dihadapi internet.
Kontrol Layanan VPC Membantu melindungi resource yang dilindungi dari pemindahan data yang tidak sah.
Firewall Membantu melindungi jaringan VPC dari akses yang tidak sah.
Pengelolaan Akses Cloud Identity Menyediakan pengelolaan pengguna terpusat, sehingga mengurangi risiko akses yang tidak sah.
IAM Memberikan kontrol terperinci tentang siapa yang dapat melakukan apa dan ke resource tertentu, sehingga memungkinkan hak istimewa terendah dalam pengelolaan akses.
Enkripsi Cloud KMS Memungkinkan Anda mengontrol kunci enkripsi yang digunakan dalam organisasi Google Cloud Anda.
Secret Manager Menyediakan penyimpanan rahasia untuk model Anda yang dikontrol oleh IAM.
Enkripsi dalam penyimpanan Secara default, Google Cloud mengenkripsi data dalam penyimpanan.
Enkripsi dalam pengiriman Secara default, Google Cloud mengenkripsi data dalam pengiriman.
Detektif Security Command Center Menyediakan detektor ancaman yang membantu melindungi organisasi Google Cloud Anda.
Arsitektur berkelanjutan Periksa organisasi Google Cloud Anda secara berkelanjutan berdasarkan serangkaian kebijakan Open Policy Agent (OPA) yang telah Anda tentukan.
Pemberi Rekomendasi IAM Menganalisis izin pengguna dan memberikan saran tentang cara mengurangi izin untuk membantu menerapkan prinsip hak istimewa terendah.
Analisis Firewall Menganalisis aturan firewall, mengidentifikasi aturan firewall yang terlalu permisif, dan menyarankan firewall yang lebih ketat untuk membantu memperkuat postur keamanan Anda secara keseluruhan.
Cloud Logging Memberikan visibilitas ke dalam aktivitas sistem dan membantu mengaktifkan deteksi anomali dan aktivitas berbahaya.
Cloud Monitoring Melacak sinyal dan peristiwa utama yang dapat membantu mengidentifikasi aktivitas yang mencurigakan.
Pencegahan Organization Policy Service Memungkinkan Anda membatasi tindakan dalam organisasi Google Cloud.

Langkah selanjutnya