Model terbuka Vertex AI untuk MaaS

Vertex AI mendukung daftar model terbuka yang telah dikurasi sebagai model terkelola. Model terbuka ini dapat digunakan dengan Vertex AI sebagai model sebagai layanan (MaaS) dan ditawarkan sebagai API terkelola. Saat menggunakan model terbuka terkelola, Anda tetap mengirim permintaan ke endpoint Vertex AI. Model terbuka terkelola bersifat serverless sehingga Anda tidak perlu menyediakan atau mengelola infrastruktur.

Model terbuka terkelola dapat ditemukan menggunakan Model Garden. Anda juga dapat men-deploy model menggunakan Model Garden. Untuk mengetahui informasi selengkapnya, lihat Menjelajahi model AI di Model Garden.

Model open source

Model terbuka berikut ditawarkan sebagai API terkelola di Vertex AI Model Garden (MaaS):

Nama model Pengandaian Deskripsi Panduan memulai
gpt-oss 120B Bahasa Model 120B yang menawarkan performa tinggi pada tugas penalaran. Kartu model
gpt-oss 20B Bahasa Model 20B yang dioptimalkan untuk efisiensi dan deployment di hardware konsumen dan edge. Kartu model
Pemikiran Qwen3-Next-80B Bahasa, Kode Model dari keluarga model Qwen3-Next, yang dikhususkan untuk pemecahan masalah yang kompleks dan penalaran yang mendalam. Kartu model
Qwen3-Next-80B Instruct Bahasa, Kode Model dari kelompok model Qwen3-Next, yang dikhususkan untuk mengikuti perintah tertentu. Kartu model
Qwen3 Coder Bahasa, Kode Model dengan bobot terbuka yang dikembangkan untuk tugas pengembangan software tingkat lanjut. Kartu model
Qwen3 235B Bahasa Model berat terbuka dengan kemampuan "pemikiran hibrida" untuk beralih antara penalaran metodis dan percakapan cepat. Kartu model
DeepSeek-V3.1 Bahasa Model hibrida DeepSeek yang mendukung mode berpikir dan mode non-berpikir. Kartu model
DeepSeek R1 (0528) Bahasa Versi terbaru model DeepSeek R1 dari DeepSeek. Kartu model
Llama 4 Maverick 17B-128E Bahasa, Visi Model Llama 4 terbesar dan paling mumpuni yang memiliki kemampuan pengkodean, penalaran, dan gambar. Llama 4 Maverick 17B-128E adalah model multimodal yang menggunakan arsitektur Mixture-of-Experts (MoE) dan fusi awal. Kartu model
Llama 4 Scout 17B-16E Bahasa, Visi Llama 4 Scout 17B-16E memberikan hasil terbaik untuk kelas ukurannya, mengungguli generasi Llama sebelumnya dan model terbuka serta eksklusif lainnya pada beberapa tolok ukur. Llama 4 Scout 17B-16E adalah model multimodal yang menggunakan arsitektur Mixture-of-Experts (MoE) dan penggabungan awal. Kartu model
Llama 3.3 Bahasa Llama 3.3 adalah model yang disesuaikan untuk perintah 70B khusus teks yang memberikan peningkatan performa dibandingkan Llama 3.1 70B dan Llama 3.2 90B saat digunakan untuk aplikasi khusus teks. Selain itu, untuk beberapa aplikasi, Llama 3.3 70B mendekati performa Llama 3.1 405B. Kartu model
Llama 3.2 (Pratinjau) Bahasa, Visi Model multimodal berukuran sedang 90B yang dapat mendukung penalaran gambar, seperti analisis diagram dan grafik serta pemberian teks gambar. Kartu model
Llama 3.1 Bahasa

Kumpulan LLM multibahasa yang dioptimalkan untuk kasus penggunaan dialog multibahasa dan mengungguli banyak model chat open source dan tertutup yang tersedia pada tolok ukur industri umum.

Llama 3.1 405B tersedia secara umum (GA).

Llama 3.1 8B dan Llama 3.1 70B tersedia dalam Pratinjau.

 Kartu model

Model embedding terbuka berikut ditawarkan sebagai API terkelola di Vertex AI Model Garden (MaaS):

Nama model Deskripsi Dimensi output Panjang urutan maksimum Bahasa teks yang didukung Panduan memulai
multilingual-e5-small Bagian dari rangkaian model embedding teks E5. Varian kecil berisi 12 lapisan. Hingga 384 512 token Bahasa yang didukung Kartu model
multilingual-e5-large Bagian dari rangkaian model embedding teks E5. Varian Large berisi 24 lapisan. Hingga 1.024 512 token Bahasa yang didukung Kartu model

Endpoint regional dan global

Untuk endpoint regional, permintaan ditayangkan dari region yang Anda tentukan. Jika Anda memiliki persyaratan residensi data atau jika model tidak mendukung endpoint global, gunakan endpoint regional.

Saat Anda menggunakan endpoint global, Google dapat memproses dan menayangkan permintaan Anda dari region mana pun yang didukung oleh model yang Anda gunakan. Hal ini dapat menyebabkan latensi yang lebih tinggi dalam beberapa kasus. Endpoint global membantu meningkatkan ketersediaan secara keseluruhan dan membantu mengurangi error.

Tidak ada perbedaan harga dengan endpoint regional saat Anda menggunakan endpoint global. Namun, kuota endpoint global dan kemampuan model yang didukung dapat berbeda dengan endpoint regional. Untuk mengetahui informasi selengkapnya, lihat halaman model pihak ketiga terkait.

Menentukan endpoint global

Untuk menggunakan endpoint global, tetapkan region ke global.

Misalnya, URL permintaan untuk perintah curl menggunakan format berikut: https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME

Untuk Vertex AI SDK, endpoint regional adalah defaultnya. Tetapkan region ke GLOBAL untuk menggunakan endpoint global.

Membatasi penggunaan endpoint API global

Untuk membantu menerapkan penggunaan endpoint regional, gunakan batasan kebijakan organisasi constraints/gcp.restrictEndpointUsage untuk memblokir permintaan ke endpoint API global. Untuk mengetahui informasi selengkapnya, lihat Membatasi penggunaan endpoint.

Memberikan akses pengguna ke model terbuka

Agar Anda dapat mengaktifkan model terbuka dan membuat permintaan perintah, administrator Google Cloud harus menetapkan izin yang diperlukan dan memverifikasi bahwa kebijakan organisasi mengizinkan penggunaan API yang diperlukan.

Menetapkan izin yang diperlukan untuk menggunakan model terbuka

Peran dan izin berikut diperlukan untuk menggunakan model terbuka:

  • Anda harus memiliki peran Identity and Access Management (IAM) Consumer Procurement Entitlement Manager. Siapa saja yang telah diberi peran ini dapat mengaktifkan model terbuka di Model Garden.

  • Anda harus memiliki izin aiplatform.endpoints.predict. Izin ini disertakan dalam peran IAM Vertex AI User. Untuk mengetahui informasi selengkapnya, lihat Pengguna Vertex AI dan Kontrol akses.

Konsol

  1. Untuk memberikan peran IAM Consumer Procurement Entitlement Manager kepada pengguna, buka halaman IAM.

    Buka IAM

  2. Di kolom Principal, temukan akun utama pengguna yang ingin Anda beri akses ke model terbuka, lalu klik Edit akun utama di baris tersebut.

  3. Di panel Edit akses, klik Tambahkan peran lain.

  4. Di Select a role, pilih Consumer Procurement Entitlement Manager.

  5. Di panel Edit akses, klik Tambahkan peran lain.

  6. Di Pilih peran, pilih Pengguna Vertex AI.

  7. Klik Simpan.

gcloud

  1. In the Google Cloud console, activate Cloud Shell.

    Activate Cloud Shell

  2. Berikan peran Consumer Procurement Entitlement Manager yang diperlukan untuk mengaktifkan model terbuka di Model Garden

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/consumerprocurement.entitlementManager

  3. Berikan peran Vertex AI User yang mencakup izin aiplatform.endpoints.predict yang diperlukan untuk membuat permintaan perintah:

    gcloud projects add-iam-policy-binding  PROJECT_ID \
--member=PRINCIPAL --role=roles/aiplatform.user

    Ganti PRINCIPAL dengan ID untuk principal. ID menggunakan format user|group|serviceAccount:email atau domain:domain—misalnya, user:cloudysanfrancisco@gmail.com, group:admins@example.com, serviceAccount:test123@example.domain.com, atau domain:example.domain.com.

    Outputnya adalah daftar binding kebijakan yang mencakup hal berikut:

    -   members:
  -   user:PRINCIPAL
  role: roles/roles/consumerprocurement.entitlementManager

    Untuk mengetahui informasi selengkapnya, lihat Memberikan satu peran dan gcloud projects add-iam-policy-binding.

Menetapkan kebijakan organisasi untuk akses model terbuka

Untuk mengaktifkan model terbuka, kebijakan organisasi Anda harus mengizinkan API berikut: Cloud Commerce Consumer Procurement API - cloudcommerceconsumerprocurement.googleapis.com

Jika organisasi Anda menetapkan kebijakan organisasi untuk membatasi penggunaan layanan, administrator organisasi harus memverifikasi bahwa cloudcommerceconsumerprocurement.googleapis.com diizinkan dengan menetapkan kebijakan organisasi.

Selain itu, jika Anda memiliki kebijakan organisasi yang membatasi penggunaan model di Model Garden, kebijakan tersebut harus mengizinkan akses ke model terbuka. Untuk mengetahui informasi selengkapnya, lihat Mengontrol akses model.

Kepatuhan terhadap peraturan model terbuka

Sertifikasi untuk AI Generatif di Vertex AI terus berlaku saat model terbuka digunakan sebagai Managed API menggunakan Vertex AI. Jika Anda memerlukan detail tentang model itu sendiri, informasi tambahan dapat ditemukan di kartu model masing-masing, atau Anda dapat menghubungi penerbit model yang bersangkutan.

Data Anda disimpan dalam penyimpanan di dalam region atau multi-region yang dipilih untuk model terbuka di Vertex AI, tetapi regionalisasi pemrosesan data dapat bervariasi. Untuk mengetahui daftar lengkap komitmen pemrosesan data model terbuka, lihat Residensi data untuk model terbuka.

Perintah pelanggan dan respons model tidak dibagikan kepada pihak ketiga saat menggunakan Vertex AI API, termasuk model terbuka. Google hanya memproses data pelanggan sesuai dengan petunjuk pelanggan, yang dijelaskan lebih lanjut dalam Adendum Pemrosesan Data Cloud kami.