Ringkasan model yang di-deploy sendiri

Model Garden menawarkan model terbuka, partner, dan kustom yang di-deploy sendiri yang dapat Anda deploy dan sajikan di Vertex AI. Model ini berbeda dengan penawaran model-as-a-service (MaaS), yang bersifat tanpa server dan tidak memerlukan deployment manual.

Saat men-deploy model sendiri, Anda men-deploy-nya secara aman dalam project dan jaringan VPC Google Cloud .

Men-deploy sendiri model terbuka

Model terbuka menyediakan kemampuan yang telah dilatih sebelumnya untuk berbagai tugas AI, termasuk model Gemini yang unggul dalam pemrosesan multimodal. Model terbuka tersedia secara bebas, Anda bebas memublikasikan outputnya, dan model ini dapat digunakan di mana saja selama Anda mematuhi persyaratan lisensinya. Vertex AI menawarkan model terbuka (juga dikenal sebagai bobot terbuka) dan open source.

Saat menggunakan model terbuka dengan Vertex AI, Anda menggunakan Vertex AI untuk infrastruktur Anda. Anda juga dapat menggunakan model terbuka dengan produk infrastruktur lain, seperti PyTorch atau Jax.

Model bobot terbuka

Banyak model terbuka dianggap sebagai model bahasa besar (LLM) dengan bobot terbuka. Model terbuka memberikan transparansi yang lebih baik daripada model yang tidak memiliki bobot terbuka. Bobot model adalah nilai numerik yang disimpan dalam arsitektur jaringan neural model yang merepresentasikan pola dan hubungan yang dipelajari dari data yang digunakan untuk melatih model. Parameter atau bobot model dengan bobot terbuka yang telah dilatih sebelumnya dirilis. Anda dapat menggunakan model bobot terbuka untuk inferensi dan penyesuaian sementara detail seperti set data asli, arsitektur model, dan kode pelatihan tidak disediakan.

Model open source

Model terbuka berbeda dengan model AI open source. Meskipun model terbuka sering kali mengekspos bobot dan representasi numerik inti dari pola yang dipelajari, model tersebut tidak selalu memberikan kode sumber lengkap atau detail pelatihan. Menyediakan bobot menawarkan tingkat transparansi model AI, sehingga Anda dapat memahami kemampuan model tanpa perlu membangunnya sendiri.

Model partner yang di-deploy sendiri

Model Garden membantu Anda membeli dan mengelola lisensi model dari partner yang menawarkan model eksklusif sebagai opsi deployment mandiri. Setelah membeli akses ke model dari Cloud Marketplace, Anda dapat memilih untuk men-deploy di hardware sesuai permintaan atau menggunakan reservasi Compute Engine dan diskon penggunaan berkomitmen untuk memenuhi persyaratan anggaran. Anda akan ditagih untuk penggunaan model dan infrastruktur Vertex AI yang Anda gunakan.

Untuk meminta penggunaan model partner yang di-deploy sendiri, temukan model yang relevan di konsol Model Garden, klik Hubungi bagian penjualan, lalu lengkapi formulir, yang akan memulai kontak dengan perwakilan penjualan Google Cloud .

Untuk mengetahui informasi selengkapnya tentang men-deploy dan menggunakan model partner, lihat Men-deploy model partner dan membuat permintaan prediksi.

Pertimbangan

Pertimbangkan batasan berikut saat menggunakan model partner yang di-deploy sendiri:

  • Tidak seperti model terbuka, Anda tidak dapat mengekspor bobot.
  • Jika Anda menyiapkan Kontrol Layanan VPC untuk project, Anda tidak dapat mengupload model, sehingga Anda tidak dapat men-deploy model partner.
  • Untuk endpoint, hanya jenis endpoint publik bersama yang didukung.

Mempelajari lebih lanjut model yang di-deploy sendiri di Vertex AI