Model partner Vertex AI untuk MaaS

Vertex AI mendukung daftar model pilihan yang dikembangkan oleh partner Google. Model partner dapat digunakan dengan Vertex AI sebagai model as a service (MaaS) dan ditawarkan sebagai API terkelola. Saat menggunakan model partner, Anda akan terus mengirim permintaan ke endpoint Vertex AI. Model partner tanpa server sehingga Anda tidak perlu menyediakan atau mengelola infrastruktur.

Model partner dapat ditemukan menggunakan Model Garden. Anda juga dapat men-deploy model menggunakan Model Garden. Untuk mengetahui informasi selengkapnya, lihat Menjelajahi model AI di Model Garden. Meskipun informasi tentang setiap model partner yang tersedia dapat ditemukan di kartu modelnya di Model Garden, hanya model pihak ketiga yang berfungsi sebagai MaaS dengan Vertex AI yang didokumentasikan dalam panduan ini.

Model Claude dan Mistral dari Anthropic adalah contoh model terkelola pihak ketiga yang tersedia untuk digunakan di Vertex AI.

Harga model partner Vertex AI dengan jaminan kapasitas

Google menawarkan throughput yang disediakan untuk beberapa model partner yang mencadangkan kapasitas throughput untuk model Anda dengan biaya tetap. Anda menentukan kapasitas throughput dan region tempat Anda ingin memesan kapasitas tersebut. Karena permintaan throughput yang disediakan diprioritaskan daripada permintaan bayar sesuai penggunaan standar, throughput yang disediakan memberikan peningkatan ketersediaan. Saat sistem kelebihan beban, permintaan Anda masih dapat diselesaikan selama throughput tetap berada di bawah kapasitas throughput yang direservasi. Untuk mengetahui informasi selengkapnya atau berlangganan layanan, Hubungi bagian penjualan.

Memberikan akses pengguna ke model partner

Agar Anda dapat mengaktifkan model partner dan membuat permintaan perintah, administrator Google Cloud harus menetapkan izin yang diperlukan dan memverifikasi kebijakan organisasi yang mengizinkan penggunaan API yang diperlukan.

Menetapkan izin yang diperlukan untuk menggunakan model partner

Peran dan izin berikut diperlukan untuk menggunakan model partner:

  • Anda harus memiliki peran Identity and Access Management (IAM) Pengelola Hak Pengadaan Konsumen. Siapa pun yang telah diberi peran ini dapat mengaktifkan model partner di Model Garden.

  • Anda harus memiliki izin aiplatform.endpoints.predict. Izin ini disertakan dalam peran IAM Vertex AI User. Untuk mengetahui informasi selengkapnya, lihat Pengguna Vertex AI dan Kontrol akses.

Konsol

  1. Untuk memberikan peran IAM Consumer Procurement Entitlement Manager kepada pengguna, buka halaman IAM.

    Buka IAM

  2. Di kolom Principal, temukan principal pengguna yang aksesnya ke model partner ingin Anda aktifkan, lalu klik Edit principal di baris tersebut.

  3. Di panel Edit akses, klik Tambahkan peran lain.

  4. Di bagian Select a role, pilih Consumer Procurement Entitlement Manager.

  5. Di panel Edit akses, klik Tambahkan peran lain.

  6. Di Pilih peran, pilih Pengguna Vertex AI.

  7. Klik Simpan.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Berikan peran Consumer Procurement Entitlement Manager yang diperlukan untuk mengaktifkan model partner di Model Garden

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Berikan peran Pengguna Vertex AI yang mencakup izin aiplatform.endpoints.predict yang diperlukan untuk membuat permintaan prompt:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Ganti PRINCIPAL dengan ID untuk prinsipal. ID memiliki bentuk user|group|serviceAccount:email atau domain:domain—misalnya, user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com, atau domain:example.domain.com.

    Outputnya adalah daftar binding kebijakan yang mencakup hal berikut:

    - members:
  - user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Untuk mengetahui informasi selengkapnya, lihat Memberikan satu peran dan gcloud projects add-iam-policy-binding.

Menetapkan kebijakan organisasi untuk akses model partner

Untuk mengaktifkan model partner, kebijakan organisasi Anda harus mengizinkan API berikut:

  • Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com
  • Commerce Agreement API - commerceagreement.googleapis.com

Jika organisasi Anda menetapkan kebijakan organisasi untuk membatasi penggunaan layanan, administrator organisasi harus memverifikasi bahwa cloudcommerceconsumerprocurement.googleapis.com dan commerceagreement.googleapis.com diizinkan dengan menetapkan kebijakan organisasi.

Selain itu, jika Anda memiliki kebijakan organisasi yang membatasi penggunaan model di Model Garden, kebijakan tersebut harus mengizinkan akses ke model partner. Untuk informasi selengkapnya, lihat Mengontrol akses model.