Menjelajahi model AI di Model Garden

Model Garden di konsol Google Cloud adalah library model ML yang membantu Anda menemukan, menguji, menyesuaikan, dan men-deploy eksklusif Google dan memilih model dan aset OSS.

Topik berikut memperkenalkan model AI yang tersedia di Model Garden dan cara menggunakannya.

Mempelajari model

Untuk melihat daftar Vertex AI dan model open source, yang dapat disesuaikan, dan khusus tugas, buka halaman Model Garden di Konsol Google Cloud.

Buka Model Garden

Kategori model yang tersedia di Model Garden adalah:

Kategori Deskripsi
Foundation models Model besar multitask terlatih yang dapat disesuaikan atau dikustomisasi untuk tugas tertentu menggunakan Vertex AI Studio, Vertex AI API, dan Vertex AI SDK untuk Python.
Fine-tunable models Model yang dapat Anda sempurnakan menggunakan notebook atau pipeline kustom.
Solusi khusus tugas Sebagian besar model bawaan ini siap digunakan. Banyak di antaranya yang dapat disesuaikan menggunakan data Anda sendiri.

Untuk memfilter model di panel filter, tentukan hal berikut:

  • Modalitas: Klik modalitas (jenis data) yang Anda inginkan dalam model.
  • Tasks: Klik tugas yang Anda inginkan untuk dijalankan model.
  • Fitur: Klik fitur yang Anda inginkan dalam model.

Untuk mempelajari lebih lanjut setiap model, klik kartu modelnya.

Model yang tersedia di Model Garden

Anda dapat menemukan model pihak pertama Google dan memilih model open source di Model Garden.

Daftar model pihak pertama Google

Tabel berikut mencantumkan model pihak pertama Google yang tersedia di Model Garden:

Nama model Modalitas Deskripsi Panduan Memulai
Gemini 1.5 Pro (Pratinjau) Bahasa, audio, visi Model multimodal yang mendukung penambahan file gambar, audio, video, dan PDF dalam prompt teks atau chat untuk respons teks atau kode. Kartu model
Gemini 1.0 Pro Language Dirancang untuk menangani tugas bahasa alami, chat teks dan kode multigiliran, serta pembuatan kode. Kartu model
Gemini 1.0 Pro Vision Bahasa, visi Model multimodal yang mendukung penambahan file gambar, video, dan PDF dalam perintah chat atau teks untuk respons teks atau kode. Kartu model
PaLM 2 for Text Language Disesuaikan untuk mengikuti petunjuk natural language dan cocok untuk berbagai tugas bahasa. Kartu model
PaLM 2 untuk Chat Language Disesuaikan untuk melakukan percakapan yang natural. Gunakan model ini untuk membangun dan menyesuaikan aplikasi chatbot Anda sendiri. Kartu model
Codey untuk Penyelesaian kode Language Menghasilkan kode berdasarkan prompt kode. Bagus untuk saran kode dan meminimalkan bug dalam kode. Kartu model
Codey untuk Pembuatan Kode Language Menghasilkan kode berdasarkan input natural language. Bagus untuk menulis fungsi, class, pengujian unit, dan lainnya. Kartu model
Codey untuk Chat Kode Language Dapatkan bantuan terkait kode melalui percakapan alami. Cocok untuk pertanyaan tentang API, sintaksis dalam bahasa yang didukung, dan lainnya. Kartu model
Embeddings for Text Language Mengonversi data tekstual menjadi vektor numerik yang dapat diproses oleh algoritma machine learning, terutama model besar. Kartu model
Imagen for Image Generation Vision Buat atau edit gambar kelas studio dalam skala besar menggunakan perintah teks. Kartu model
Gambar untuk Pemberian Teks & VQA Language Menghasilkan deskripsi yang relevan untuk gambar tertentu. Kartu model
Embeddings untuk Multimodal Vision Menghasilkan vektor berdasarkan gambar, yang dapat digunakan untuk tugas downstream seperti klasifikasi gambar dan penelusuran gambar. Kartu model
Chirp Speech Sebuah versi Model Ucapan Universal yang memiliki lebih dari 2 miliar parameter dan dapat mentranskripsikan lebih dari 100 bahasa dalam satu model. Kartu model

Daftar model dengan penyempurnaan open source atau resep penyajian di Model Garden

Tabel berikut mencantumkan model OSS yang mendukung penyesuaian atau penyajian resep open source di Model Garden:

Nama model Modalitas Deskripsi Panduan memulai
Gemma Language Model berat terbuka (2B, 7B) yang dibuat dari penelitian dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. Kartu Model
CodeGemma Language Model open weight (2B, 7B) yang dirancang untuk pembuatan kode dan penyelesaian kode yang dibuat dari penelitian dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. Kartu Model
Vicuna v1.5 Language Gunakan model seri Vicuna v1.5, yang merupakan model dasar yang disesuaikan dari LLama2 untuk pembuatan teks. Kartu Model
LBLB Language Deploy model seri nllb untuk terjemahan multibahasa. Kartu Model
Colab
Mistral-7B Language Deploy Mistral-7B, model dasar untuk pembuatan teks. Kartu Model
Colab
BioGPT Language Deploy BioGPT, model generatif teks untuk domain biomedis. Kartu Model
Colab
BiomedCLIP Bahasa, Visi Men-deploy BiomedCLIP, model dasar multimodal untuk domain biomedis. Kartu Model
Colab
ImageBind Bahasa, Visi,
Audio
Men-deploy ImageBind, model dasar untuk penyematan multimodal. Kartu Model
Colab
DITO Bahasa, Visi Menyesuaikan dan men-deploy DITO, model dasar multimodal untuk tugas deteksi objek kosakata terbuka. Kartu Model
Colab
OWL-ViT v2 Bahasa, Visi Deploy OWL-ViT v2, model dasar multimodal untuk tugas deteksi objek kosakata terbuka. Kartu Model
Colab
FaceStylizer (Mediapipe) Vision Pipeline generatif untuk mengubah gambar wajah manusia ke gaya baru. Kartu Model
Colab
Llama 2 Language Menyesuaikan dan men-deploy model dasar Llama 2 Meta (7B, 13B, 70B) di Vertex AI. Kartu Model
Code Llama Language Men-deploy model dasar Code Llama Meta (7B, 13B, 34B) di Vertex AI. Kartu Model
Falcon-instruct Bahasa Menyempurnakan dan men-deploy model Falcon-instruct (7B, 40B) menggunakan PEFT. Colab
Kartu Model
OpenLLaMA Bahasa Sempurnakan dan deploy model OpenLLaMA (3B, 7B, 13B) dengan menggunakan PEFT. Colab
Kartu Model
T5-FLAN Bahasa Menyesuaikan dan men-deploy T5-FLAN (dasar, kecil, besar). Kartu Model (termasuk pipeline penyesuaian)
BERT Bahasa Menyesuaikan dan men-deploy BERT menggunakan PEFT. Colab
Kartu Model
BART-large-cnn Language Men-deploy BART, model encoder-encoder transformer (seq2seq) dengan encoder dua arah (mirip BERT) dan dekoder autoregresif (mirip GPT). Colab
Kartu Model
RoBERTa-large Bahasa Menyempurnakan dan men-deploy RoBERTa-large menggunakan PEFT. Colab
Kartu Model
XLM-RoBERTa-large Bahasa Menyempurnakan dan men-deploy XLM-RoBERTa-large (versi multibahasa RoBERTa) menggunakan PEFT. Colab
Kartu Model
Dolly-v2-7b Bahasa Mendeploy Dolly-v2-7b, model bahasa besar yang mengikuti instruksi dengan 6,9 miliar parameter. Colab
Kartu Model
Stable Diffusion XL v1.0 Bahasa, Visi Men-deploy Stable Diffusion XL v1.0, yang mendukung pembuatan teks ke gambar. Colab
Kartu model
Stable Diffusion v2.1 Bahasa, Visi Menyempurnakan dan men-deploy Stable Diffusion v2.1 (mendukung pembuatan teks ke gambar) menggunakan Dreambooth. Colab
Kartu model
Peningkatan Stable Diffusion 4x Bahasa, Visi Men-deploy peningkatan Stable Diffusion 4x, yang mendukung superresolusi gambar dengan kondisi teks. Colab
Kartu model
InstructPix2Pix Bahasa, Visi Men-deploy InstructPix2Pix, yang mendukung pengeditan gambar menggunakan perintah teks. Colab
Kartu Model
Stable Diffusion Inpainting Bahasa, Visi Menyempurnakan dan men-deploy Stable Diffusion Inpainting, yang mendukung pewarnaan gambar yang disamarkan menggunakan perintah teks. Colab
Kartu Model
SAM Bahasa, Visi Men-deploy Segmen Apa Pun, yang mendukung segmentasi gambar zero-shot. Colab
Kartu Model
Teks ke video (ModelScope) Bahasa, Visi Men-deploy ModelScope teks ke video, yang mendukung pembuatan teks ke video. Colab
Kartu Model
Zero-shot teks ke video Bahasa, Visi Men-deploy generator teks-ke-video Stable Diffusion, yang mendukung pembuatan teks ke video zero-shot. Colab
Kartu Model
Pengambilan Gambar yang Ditulis Pic2Word Bahasa, Visi Men-deploy Pic2Word, yang mendukung pengambilan gambar multi-modal. Colab
Kartu Model
BLIP2 Bahasa, Visi Men-deploy BLIP2, yang mendukung keterangan gambar dan jawaban pertanyaan visual. Colab
Kartu Model
Open-CLIP Bahasa, Visi Menyempurnakan dan men-deploy Open-CLIP, yang mendukung klasifikasi zero-shot. Colab
Kartu model
F-VLM Bahasa, Visi Men-deploy F-VLM, yang mendukung deteksi objek gambar kosakata terbuka. Colab
Kartu Model
tfhub/EfficientNetV2 Vision Menyempurnakan dan men-deploy implementasi Tensorflow Vision dari model klasifikasi gambar EefisienNetV2. Colab
Kartu Model
EfisienNetV2 (TIMM) Vision Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image barang efisienNetV2. Colab
Kartu Model
Eksklusif/EfficientNetV2 Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google dari model klasifikasi gambar EefisienNetV2. Colab
Kartu Model
EfficientNetLite (MediaPipe) Vision Menyempurnakan model klasifikasi gambar EffectiveNetLite melalui pembuat model MediaPipe. Colab
Kartu Model
tfvision/vit Vision Menyesuaikan dan men-deploy implementasi TensorFlow Vision untuk model klasifikasi gambar ViT. Colab
Kartu Model
ViT (TIMM) Vision Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image ViT. Colab
Kartu Model
Eksklusif/ViT Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google dari model klasifikasi image ViT. Colab
Kartu Model
Eksklusif/MaxViT Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model klasifikasi gambar MaxViT hybrid (CNN + ViT). Colab
Kartu Model
ViT (JAX) Vision Menyempurnakan dan men-deploy implementasi JAX dari model klasifikasi gambar ViT. Colab
Kartu Model
tfvision/SpineNet Vision Menyempurnakan dan men-deploy implementasi Tensorflow Vision untuk model deteksi objek SpineNet. Colab
Kartu Model
Eksklusif/Spinenet Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model deteksi objek SpineNet. Colab
Kartu Model
tfvision/YOLO Vision Menyesuaikan dan men-deploy implementasi TensorFlow Vision untuk model deteksi objek satu tahap YOLO. Colab
Kartu Model
Eksklusif/YOLO Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model deteksi objek satu tahap YOLO. Colab
Kartu Model
YOLOv8 (Keras) Vision Menyempurnakan dan men-deploy implementasi Keras model YOLOv8 untuk deteksi objek. Colab
Kartu Model
tfvision/YOLOv7 Vision Menyempurnakan dan menddeploy model YOLOv7 untuk deteksi objek. Colab
Kartu Model
Pelacakan Objek Video ByteTrack Vision Menjalankan prediksi batch untuk pelacakan objek video menggunakan pelacak ByteTrack. Colab
Kartu Model
ResNeSt (TIMM) Vision Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image ResNeSt. Colab
Kartu Model
ConvNeXt (TIMM) Vision Menyempurnakan dan men-deploy ConvNeXt, model konvolusional murni untuk klasifikasi gambar yang terinspirasi dari desain Vision Transformers. Colab
Kartu Model
CspNet (TIMM) Vision Menyempurnakan dan men-deploy model klasifikasi image CSPNet (Cross Stage Partial Network). Colab
Kartu Model
Inception (TIMM) Vision Menyempurnakan dan men-deploy model klasifikasi image Inception. Colab
Kartu Model
DeepLabv3+ (dengan checkpoint) Vision Menyempurnakan dan men-deploy model DeepLab-v3 Plus untuk segmentasi gambar semantik. Colab
Kartu Model
R-CNN yang lebih cepat (Detectron2) Vision Menyempurnakan dan men-deploy implementasi Detectron2 dari model Faster R-CNN untuk deteksi objek gambar. Colab
Kartu Model
RetinaNet (Detectron2) Vision Menyempurnakan dan men-deploy implementasi Detectron2 dari model RetinaNet untuk deteksi objek gambar. Colab
Kartu Model
Mask R-CNN (Detectron2) Vision Menyempurnakan dan men-deploy implementasi Detectron2 dari model Mask R-CNN untuk deteksi dan segmentasi objek gambar. Colab
Kartu Model
ControlNet Vision Menyempurnakan dan men-deploy model pembuatan teks ke gambar ControlNet. Colab
Kartu Model
MobileNet (TIMM) Vision Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image MobileNet. Colab
Kartu Model
Klasifikasi Gambar MobileNetV2 (MediaPipe) Vision Menyempurnakan model klasifikasi gambar MobileNetV2 dengan menggunakan pembuat model MediaPipe. Colab
Kartu Model
Deteksi Objek MobileNetV2 (MediaPipe) Vision Menyempurnakan model deteksi objek MobileNetV2 dengan menggunakan pembuat model MediaPipe. Colab
Kartu Model
MobileNet-MultiHW-AVG (MediaPipe) Vision Menyempurnakan model deteksi objek MobileNet-MultiHW-AVG dengan menggunakan pembuat model MediaPipe. Colab
Kartu Model
DeiT Vision Menyempurnakan dan men-deploy model DeiT (Transformer Gambar Hemat data) untuk klasifikasi gambar. Colab
Kartu Model
BEiT Vision Menyempurnakan dan men-deploy model BEiT (representasi Encoder Dua Arah dari Transformer Gambar) untuk klasifikasi gambar. Colab
Kartu Model
Pengenalan Gestur Tangan (MediaPipe) Vision Menyempurnakan dan men-deploy model Pengenalan Gestur Tangan di perangkat menggunakan MediaPipe. Colab
Kartu Model
Pengklasifikasi Penyematan Kata Rata-Rata (MediaPipe) Vision Menyempurnakan dan men-deploy model Pengklasifikasi Kata Penyematan di perangkat dengan menggunakan MediaPipe. Colab
Kartu Model
Pengklasifikasi MobileBERT (MediaPipe) Vision Menyempurnakan dan men-deploy model MobileBERT Classifier di perangkat dengan menggunakan MediaPipe. Colab
Kartu Model
Klasifikasi Klip Video MoViNet Video Menyempurnakan dan men-deploy model klasifikasi klip video MoViNet. Colab
Kartu Model
Pengenalan Tindakan Video MoViNet Video Menyempurnakan dan men-deploy model MoViNet untuk inferensi pengenalan tindakan. Colab
Kartu Model
Difusi Stabil XL LCM Vision Deploy model ini yang menggunakan Latent Consistency Model (LCM) untuk meningkatkan kualitas pembuatan teks-ke-gambar dalam Model Difusi Latent dengan memungkinkan pembuatan gambar yang lebih cepat dan berkualitas tinggi dengan lebih sedikit langkah. Colab
Kartu Model
LLaVA 1.5 Penglihatan, Bahasa Men-deploy model LLaVA 1.5. Colab
Kartu Model
Pytorch-ZipNeRF Visi, Video Latih model Pytorch-ZipNeRF yang merupakan penerapan algoritma ZipNeRF yang canggih dalam framework Pytorch, yang dirancang untuk rekonstruksi 3D yang efisien dan akurat dari gambar 2D. Colab
Kartu Model
WizardLM Language Deploy WizardLM yang merupakan model bahasa besar (LLM) yang dikembangkan oleh Microsoft, yang disesuaikan dengan petunjuk kompleks dengan mengadaptasi metode Evol-Instruksi. Colab
Kartu Model
WizardCoder Language Deploy WizardCoder yang merupakan model bahasa besar (LLM) yang dikembangkan oleh Microsoft. Fitur ini disesuaikan dengan petunjuk kompleks dengan menyesuaikan metode Evol-Instructions ke domain kode. Colab
Kartu Model
Mixtral 8x7 M Language Deploy model Mixtral 8x7B yang merupakan model bahasa besar (LLM) Mixture of Experts (MoE) yang dikembangkan oleh Mistral AI. Model ini merupakan model khusus decoder dengan parameter 46,7 miliar dan dilaporkan memiliki kecocokan atau mengungguli LLaMA 2 70B dan GPT 3.5 pada banyak tolok ukur. Colab
Kartu Model
Llama 2 (Dikuantisasi) Language Sesuaikan & deploy versi terkuantisasi model Llama 2 Meta. Colab
Kartu Model
LaMa (Inpainting Mask Besar) Vision Deploy LaMa yang menggunakan konvolusi Fourier (FFC) yang cepat, kehilangan persepsi bidang yang reseptif tinggi dan mask pelatihan yang besar memungkinkan inpainting gambar yang tangguh dengan resolusi. Colab
Kartu Model
AutoGluon Tabular Dengan AutoGluon, Anda dapat melatih dan men-deploy model machine learning dan deep learning berakurasi tinggi untuk data tabel. Colab
Kartu Model

Daftar model partner yang tersedia di Model Garden

Tabel berikut mencantumkan model yang tersedia dari partner Google di Model Garden:

Nama model Modalitas Deskripsi Panduan memulai
Claude 3 Sonnet Antropik Language Model visi dan teks seimbang yang memadukan kecerdasan dan kecepatan untuk workload perusahaan. Layanan ini dirancang untuk deployment AI berskala rendah dan berbiaya rendah. Kartu Model
Claude 3 Haiku Antropik Language Visi dan model teks tercepat dan paling ringkas dari Anthropic untuk respons cepat terhadap kueri sederhana. Hal ini dimaksudkan untuk pengalaman AI yang meniru interaksi manusia. Kartu Model

Cara menggunakan kartu model

Klik kartu model untuk menggunakan model yang terkait dengannya. Misalnya, Anda dapat mengklik kartu model untuk menguji perintah, menyesuaikan model, membuat aplikasi, dan melihat contoh kode.

Untuk mempelajari cara menggunakan model yang terkait dengan kartu model, klik salah satu tab berikut:

Perintah pengujian

Gunakan kartu model Vertex AI PaLM API untuk menguji perintah.

  1. Di Konsol Google Cloud, buka halaman Model Garden.

    Buka Model Garden

  2. Temukan model yang didukung yang ingin Anda uji, lalu klik Lihat detail.

  3. Klik Open perintah design.

    Anda akan diarahkan ke halaman Prompt design.

  4. Di Prompt, masukkan perintah yang ingin diuji.

  5. Opsional: Konfigurasikan parameter model.

  6. Klik Submit.

Menyesuaikan model

Untuk menyesuaikan model yang didukung, gunakan pipeline Vertex AI atau notebook.

Menyesuaikan menggunakan pipeline

Model BERT dan T5-FLAN mendukung penyesuaian model menggunakan pipeline.

  1. Di Konsol Google Cloud, buka halaman Model Garden.

    Buka Model Garden

  2. Di Search models, masukkan BERT atau T5-FLAN, lalu klik kaca pembesar untuk melakukan penelusuran.

  3. Klik Lihat detail pada kartu model T5-FLAN atau BERT.

  4. Klik Open fine-tuning pipeline.

    Anda akan diarahkan ke halaman pipeline Vertex AI.

  5. Untuk memulai penyesuaian, klik Create run.

Menyesuaikan di notebook

Kartu model untuk sebagian besar model dasar open source dan model yang dapat disesuaikan mendukung penyesuaian di notebook.

  1. Di Konsol Google Cloud, buka halaman Model Garden.

    Buka Model Garden

  2. Temukan model yang didukung yang ingin Anda sesuaikan, lalu klik View details.

  3. Klik Open notebook.

Men-deploy model

Kartu model untuk model Stable Diffusion mendukung deployment ke endpoint.

  1. Di Konsol Google Cloud, buka halaman Model Garden.

    Buka Model Garden

  2. Temukan model yang didukung dan ingin di-deploy. Pada kartu modelnya, klik View details.

  3. Klik Deploy.

    Anda diminta untuk menyimpan salinan model ke Model Registry.

  4. Di Model name, masukkan nama untuk model tersebut.

  5. Klik Save.

    Panel Deploy to endpoint akan muncul.

  6. Tentukan endpoint Anda sebagai berikut:

    • Endpoint name: Masukkan nama endpoint.
    • Region: Pilih region untuk membuat endpoint.
    • Akses: Agar endpoint dapat diakses melalui REST API, pilih Standard. Untuk membuat koneksi pribadi ke endpoint, pilih Private.
  7. Klik Lanjutkan.

  8. Ikuti petunjuk di Konsol Google Cloud dan konfigurasikan setelan model Anda.

  9. Klik Continue.

  10. Opsional: Klik tombol Enable model monitoring for this endpoint untuk mengaktifkan pemantauan model.

  11. Klik Deploy.

Lihat contoh kode

Sebagian besar kartu model untuk model solusi khusus tugas berisi contoh kode yang dapat Anda salin dan uji.

  1. Di Konsol Google Cloud, buka halaman Model Garden.

    Buka Model Garden

  2. Temukan model yang didukung yang ingin Anda lihat contoh kodenya, lalu klik tab Documentation.

  3. Halaman akan men-scroll ke bagian dokumentasi dengan kode contoh yang disematkan.

Membuat aplikasi vision

Kartu model untuk model computer vision yang berlaku mendukung pembuatan aplikasi vision.

  1. Di Konsol Google Cloud, buka halaman Model Garden.

    Buka Model Garden

  2. Temukan model vision di bagian solusi khusus Tugas yang ingin Anda gunakan untuk membuat aplikasi vision, lalu klik View details.

  3. Klik Build app.

    Anda akan diarahkan ke Vertex AI Vision.

  4. Di Application name, masukkan nama untuk aplikasi Anda, lalu klik Continue.

  5. Pilih paket penagihan, lalu klik Create.

    Anda akan diarahkan ke Vertex AI Vision Studio tempat Anda dapat melanjutkan pembuatan aplikasi computer vision.

Harga

Untuk model open source di Model Garden, Anda akan dikenai biaya untuk penggunaan berikut di Vertex AI:

  • Penyesuaian model: Anda akan dikenai biaya untuk resource komputasi yang digunakan dengan tarif yang sama seperti pelatihan kustom. Lihat harga pelatihan kustom.
  • Deployment model: Anda dikenai biaya untuk resource komputasi yang digunakan untuk men-deploy model ke endpoint. Lihat harga prediksi.
  • Colab Enterprise: Lihat Harga Colab Enterprise.

Langkah selanjutnya