Model yang didukung oleh Model Garden

Daftar model pihak pertama Google

Tabel berikut mencantumkan model pihak pertama Google yang tersedia di Model Garden:

Nama model Modalitas Deskripsi Panduan Memulai
Gemini 1.5 Flash Bahasa, audio, visi Model multimodal Gemini yang paling cepat dan hemat biaya. API ini dibuat untuk tugas bervolume tinggi dan aplikasi terjangkau yang sensitif terhadap latensi. Karena responsifnya Gemini 1.5 Flash, ini adalah opsi yang baik untuk membuat asisten chat dan aplikasi pembuatan konten on demand. Kartu model
Gemini 1.5 Pro Bahasa, audio, visi Model multimodal yang mendukung penambahan file gambar, audio, video, dan PDF dalam perintah teks atau chat untuk menghasilkan respons teks atau kode. Kartu model
Gemini 1.0 Pro Bahasa Dirancang untuk menangani tugas bahasa alami, teks multiturn dan chat kode, serta pembuatan kode. Kartu model
Gemini 1.0 Pro Vision Bahasa, visi Model multimodal yang mendukung penambahan file gambar, video, dan PDF dalam perintah teks atau chat untuk menghasilkan respons teks atau kode. Kartu model
PaLM 2 untuk Teks Bahasa Disesuaikan untuk mengikuti petunjuk natural language dan cocok untuk berbagai tugas bahasa. Kartu model
PaLM 2 untuk Chat Bahasa Disempurnakan untuk melakukan percakapan yang alami. Gunakan model ini untuk membuat dan menyesuaikan aplikasi chatbot Anda sendiri. Kartu model
Codey untuk Penyelesaian Kode Bahasa Membuat kode berdasarkan perintah kode. Cocok untuk saran kode dan meminimalkan bug dalam kode. Kartu model
Codey untuk Pembuatan Kode Bahasa Menghasilkan kode berdasarkan input natural language. Cocok untuk menulis fungsi, class, pengujian unit, dan lainnya. Kartu model
Codey untuk Chat Kode Bahasa Dapatkan bantuan terkait kode melalui percakapan alami. Cocok untuk pertanyaan tentang API, sintaksis dalam bahasa yang didukung, dan lainnya. Kartu model
Embedding untuk Teks Bahasa Mengonversi data tekstual menjadi vektor numerik yang dapat diproses oleh algoritma machine learning, terutama model besar. Kartu model
Imagen untuk Pembuatan Gambar Vision Buat gambar kualitas studio dalam skala besar menggunakan perintah teks. Anda juga dapat menggunakan model ini untuk meningkatkan resolusi gambar. Kartu model
Imagen untuk Pengeditan dan Penyesuaian Vision Edit atau gunakan few-shot learning untuk membuat gambar kelas studio dalam skala besar menggunakan gambar dasar dan perintah teks, atau menggunakan gambar referensi dan perintah teks. Kartu model
Segmentasi Gambar Vertex (Pratinjau) Vision Gunakan perintah teks atau gambar coretan untuk menyegmentasikan gambar. Segmentasi gambar memungkinkan Anda, misalnya, mendeteksi objek, menghapus latar belakang gambar, atau menyegmentasikan latar depan gambar. Kartu model
Imagen untuk Pemberian Teks & VQA Bahasa Menghasilkan deskripsi yang relevan untuk gambar tertentu. Kartu model
Embedding untuk Multimodal Vision Menghasilkan vektor berdasarkan gambar, yang dapat digunakan untuk tugas downstream seperti klasifikasi gambar dan penelusuran gambar. Kartu model
Chirp Ucapan Versi Model Ucapan Universal yang memiliki lebih dari 2 miliar parameter dan dapat mentranskripsikan dalam lebih dari 100 bahasa dalam satu model. Kartu model

Daftar model dengan penyesuaian open source atau menyajikan resep di Model Garden

Tabel berikut mencantumkan model OSS yang mendukung penyesuaian open source atau resep penayangan di Model Garden:

Nama model Modalitas Deskripsi Panduan memulai
Llama 3.3 Bahasa Model bahasa besar (LLM) multibahasa Meta Llama 3.3 adalah model generatif yang telah dilatih sebelumnya dan disesuaikan dengan petunjuk dalam 70B (teks masuk/teks keluar). Kartu model
Flux Vision Model transformer flow yang diperbaiki dengan 12 miliar parameter yang menghasilkan gambar berkualitas tinggi dari deskripsi teks. Kartu model
Pelindung Perintah Bahasa Melindungi input LLM pembatasan terhadap teknik jailbreaking dan injeksi tidak langsung. Kartu model
Llama 3.2 Bahasa Kumpulan model bahasa besar multibahasa yang merupakan model generatif terlatih dan disesuaikan dengan petunjuk dalam ukuran 1 miliar dan 3 miliar. Kartu model
Llama 3.2-Vision Bahasa, Visi Kumpulan model bahasa besar multimodal yang merupakan model generatif penalaran gambar terlatih dan disesuaikan dengan petunjuk dalam ukuran 11B dan 90B. Model ini dioptimalkan untuk pengenalan visual, penalaran gambar, pemberian teks, dan menjawab pertanyaan umum tentang gambar. Kartu model
Llama Guard 3 Bahasa Model terlatih Llama-3.1-8B yang telah disesuaikan untuk klasifikasi keamanan konten. Kartu model
Qwen2 Bahasa Men-deploy Qwen2, seri model bahasa besar dasar. Colab
Kartu model
Phi-3 Bahasa Men-deploy Phi-3, seri model bahasa besar dasar. Colab
Kartu model
E5 Bahasa Men-deploy E5, seri model embedding teks. Colab
Kartu model
ID Instan Bahasa, Visi Men-deploy ID Instan, model pembuatan teks ke gambar yang mempertahankan identitas. Colab
Kartu model
Llama 3 Bahasa Jelajahi dan buat dengan model Llama 3 Meta (8B, 70B, 405B) di Vertex AI. Kartu model
Gemma 2 Bahasa Model bobot terbuka (9B, 27B) yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. Kartu model
Gemma Bahasa Model bobot terbuka (2B, 7B) yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. Kartu model
CodeGemma Bahasa Model bobot terbuka (2B, 7B) yang dirancang untuk pembuatan kode dan penyelesaian kode yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. Kartu model
PaliGemma Bahasa Model 3B bobot terbuka yang dirancang untuk tugas pemberian teks pada gambar serta tugas pertanyaan dan jawaban visual yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. Kartu model
Vicuna v1.5 Bahasa Men-deploy model seri Vicuna v1.5, yang merupakan model dasar yang disesuaikan dari LLama2 untuk pembuatan teks. Kartu model
NLLB Bahasa Men-deploy model seri nllb untuk terjemahan multibahasa. Kartu model
Colab
Mistral-7B Bahasa Men-deploy Mistral-7B, model dasar untuk pembuatan teks. Kartu model
BioGPT Bahasa Men-deploy BioGPT, model generatif teks untuk domain biomedis. Kartu model
Colab
BiomedCLIP Bahasa, Visi Men-deploy BiomedCLIP, model dasar multi-modal untuk domain biomedis. Kartu model
Colab
ImageBind Bahasa, Visi,
Audio
Men-deploy ImageBind, model dasar untuk penyematan multimodal. Kartu model
Colab
DITO Bahasa, Visi Menyempurnakan dan men-deploy DITO, model dasar multimodal untuk tugas deteksi objek kosakata terbuka. Kartu model
Colab
OWL-ViT v2 Bahasa, Visi Men-deploy OWL-ViT v2, model dasar multimodal untuk tugas deteksi objek kosakata terbuka. Kartu model
Colab
FaceStylizer (Mediapipe) Vision Pipeline generatif untuk mengubah gambar wajah manusia menjadi gaya baru. Kartu model
Colab
Llama 2 Bahasa Menyesuaikan dan men-deploy model dasar Llama 2 Meta (7B, 13B, 70B) di Vertex AI. Kartu model
Code Llama Bahasa Men-deploy model dasar Code Llama Meta (7B, 13B, 34B) di Vertex AI. Kartu model
Falcon-instruct Bahasa Menyempurnakan dan men-deploy model Falcon-instruct (7B, 40B) menggunakan PEFT. Colab
Kartu model
OpenLLaMA Bahasa Sempurnakan dan deploy model OpenLLaMA (3B, 7B, 13B) dengan menggunakan PEFT. Colab
Kartu model
T5-FLAN Bahasa Menyesuaikan dan men-deploy T5-FLAN (dasar, kecil, besar). Kartu model (termasuk pipeline penyesuaian)
BERT Bahasa Menyesuaikan dan men-deploy BERT menggunakan PEFT. Colab
Kartu model
BART-large-cnn Bahasa Men-deploy BART, model encoder-encoder transformer (seq2seq) dengan encoder dua arah (mirip BERT) dan dekoder autoregresif (mirip GPT). Colab
Kartu model
RoBERTa-large Bahasa Menyempurnakan dan men-deploy RoBERTa-large menggunakan PEFT. Colab
Kartu model
XLM-RoBERTa-large Bahasa Menyempurnakan dan men-deploy XLM-RoBERTa-large (versi multibahasa RoBERTa) menggunakan PEFT. Colab
Kartu model
Dolly-v2-7b Bahasa Mendeploy Dolly-v2-7b, model bahasa besar yang mengikuti instruksi dengan 6,9 miliar parameter. Colab
Kartu model
Stable Diffusion XL v1.0 Bahasa, Visi Men-deploy Stable Diffusion XL v1.0, yang mendukung pembuatan teks ke gambar. Colab
Kartu model
Stable Diffusion XL Lightning Bahasa, Visi Men-deploy Stable Diffusion XL Lightning, model pembuatan teks ke gambar. Colab
Kartu model
Stable Diffusion v2.1 Bahasa, Visi Menyempurnakan dan men-deploy Stable Diffusion v2.1 (mendukung pembuatan teks ke gambar) menggunakan Dreambooth. Colab
Kartu model
Peningkatan Stable Diffusion 4x Bahasa, Visi Men-deploy peningkatan Stable Diffusion 4x, yang mendukung superresolusi gambar dengan kondisi teks. Colab
Kartu model
InstructPix2Pix Bahasa, Visi Men-deploy InstructPix2Pix, yang mendukung pengeditan gambar menggunakan perintah teks. Colab
Kartu model
Stable Diffusion Inpainting Bahasa, Visi Menyempurnakan dan men-deploy Stable Diffusion Inpainting, yang mendukung pewarnaan gambar yang disamarkan menggunakan perintah teks. Colab
Kartu model
SAM Bahasa, Visi Men-deploy Segmen Apa Pun, yang mendukung segmentasi gambar zero-shot. Colab
Kartu model
Teks ke video (ModelScope) Bahasa, Visi Men-deploy ModelScope teks ke video, yang mendukung pembuatan teks ke video. Colab
Kartu model
Pengambilan Gambar yang Ditulis Pic2Word Bahasa, Visi Men-deploy Pic2Word, yang mendukung pengambilan gambar multi-modal. Colab
Kartu model
BLIP2 Bahasa, Visi Men-deploy BLIP2, yang mendukung keterangan gambar dan jawaban pertanyaan visual. Colab
Kartu model
Open-CLIP Bahasa, Visi Menyempurnakan dan men-deploy Open-CLIP, yang mendukung klasifikasi zero-shot. Colab
Kartu model
F-VLM Bahasa, Visi Men-deploy F-VLM, yang mendukung deteksi objek gambar kosakata terbuka. Colab
Kartu model
tfhub/EfficientNetV2 Vision Menyempurnakan dan men-deploy implementasi TensorFlow Vision dari model klasifikasi gambar EfisienNetV2. Colab
Kartu model
EfisienNetV2 (TIMM) Vision Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image barang efisienNetV2. Colab
Kartu model
Eksklusif/EfficientNetV2 Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google dari model klasifikasi gambar EefisienNetV2. Colab
Kartu model
EfficientNetLite (MediaPipe) Vision Menyempurnakan model klasifikasi gambar EffectiveNetLite melalui pembuat model MediaPipe. Colab
Kartu model
tfvision/vit Vision Menyempurnakan dan men-deploy implementasi TensorFlow Vision dari model klasifikasi gambar ViT. Colab
Kartu model
ViT (TIMM) Vision Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image ViT. Colab
Kartu model
Eksklusif/ViT Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google dari model klasifikasi image ViT. Colab
Kartu model
Eksklusif/MaxViT Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model klasifikasi gambar MaxViT hybrid (CNN + ViT). Colab
Kartu model
ViT (JAX) Vision Menyempurnakan dan men-deploy implementasi JAX dari model klasifikasi gambar ViT. Colab
Kartu model
tfvision/SpineNet Vision Menyempurnakan dan men-deploy implementasi TensorFlow Vision untuk model deteksi objek SpineNet. Colab
Kartu model
Eksklusif/Spinenet Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model deteksi objek SpineNet. Colab
Kartu model
tfvision/YOLO Vision Menyempurnakan dan men-deploy implementasi TensorFlow Vision untuk model deteksi objek satu tahap YOLO. Colab
Kartu model
Eksklusif/YOLO Vision Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model deteksi objek satu tahap YOLO. Colab
Kartu model
YOLOv8 (Keras) Vision Menyempurnakan dan men-deploy implementasi Keras model YOLOv8 untuk deteksi objek. Colab
Kartu model
tfvision/YOLOv7 Vision Menyempurnakan dan menddeploy model YOLOv7 untuk deteksi objek. Colab
Kartu model
Pelacakan Objek Video ByteTrack Vision Menjalankan prediksi batch untuk pelacakan objek video menggunakan pelacak ByteTrack. Colab
Kartu model
ResNeSt (TIMM) Vision Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image ResNeSt. Colab
Kartu model
ConvNeXt (TIMM) Vision Menyempurnakan dan men-deploy ConvNeXt, model konvolusional murni untuk klasifikasi gambar yang terinspirasi dari desain Vision Transformers. Colab
Kartu model
CspNet (TIMM) Vision Menyempurnakan dan men-deploy model klasifikasi image CSPNet (Cross Stage Partial Network). Colab
Kartu model
Inception (TIMM) Vision Menyempurnakan dan men-deploy model klasifikasi image Inception. Colab
Kartu model
DeepLabv3+ (dengan checkpoint) Vision Menyempurnakan dan men-deploy model DeepLab-v3 Plus untuk segmentasi gambar semantik. Colab
Kartu model
R-CNN yang lebih cepat (Detectron2) Vision Menyempurnakan dan men-deploy implementasi Detectron2 dari model Faster R-CNN untuk deteksi objek gambar. Colab
Kartu model
RetinaNet (Detectron2) Vision Menyempurnakan dan men-deploy implementasi Detectron2 dari model RetinaNet untuk deteksi objek gambar. Colab
Kartu model
Mask R-CNN (Detectron2) Vision Menyempurnakan dan men-deploy implementasi Detectron2 dari model Mask R-CNN untuk deteksi dan segmentasi objek gambar. Colab
Kartu model
ControlNet Vision Menyempurnakan dan men-deploy model pembuatan teks ke gambar ControlNet. Colab
Kartu model
MobileNet (TIMM) Vision Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image MobileNet. Colab
Kartu model
Klasifikasi Gambar MobileNetV2 (MediaPipe) Vision Menyempurnakan model klasifikasi gambar MobileNetV2 dengan menggunakan pembuat model MediaPipe. Colab
Kartu model
Deteksi Objek MobileNetV2 (MediaPipe) Vision Menyempurnakan model deteksi objek MobileNetV2 dengan menggunakan pembuat model MediaPipe. Colab
Kartu model
MobileNet-MultiHW-AVG (MediaPipe) Vision Menyempurnakan model deteksi objek MobileNet-MultiHW-AVG dengan menggunakan pembuat model MediaPipe. Colab
Kartu model
DeiT Vision Menyempurnakan dan men-deploy model DeiT (Transformer Gambar Hemat data) untuk klasifikasi gambar. Colab
Kartu model
BEiT Vision Menyempurnakan dan men-deploy model BEiT (representasi Encoder Dua Arah dari Transformer Gambar) untuk klasifikasi gambar. Colab
Kartu model
Pengenalan Gestur Tangan (MediaPipe) Vision Menyempurnakan dan men-deploy model Pengenalan Gestur Tangan di perangkat menggunakan MediaPipe. Colab
Kartu model
Pengklasifikasi Penyematan Kata Rata-Rata (MediaPipe) Vision Menyempurnakan dan men-deploy model Pengklasifikasi Kata Penyematan di perangkat dengan menggunakan MediaPipe. Colab
Kartu model
Pengklasifikasi MobileBERT (MediaPipe) Vision Menyempurnakan dan men-deploy model MobileBERT Classifier di perangkat dengan menggunakan MediaPipe. Colab
Kartu model
Klasifikasi Klip Video MoViNet Video Menyempurnakan dan men-deploy model klasifikasi klip video MoViNet. Colab
Kartu model
Pengenalan Tindakan Video MoViNet Video Menyempurnakan dan men-deploy model MoViNet untuk inferensi pengenalan tindakan. Colab
Kartu model
LCM Stable Diffusion XL Vision Deploy model ini yang menggunakan Latent Consistency Model (LCM) untuk meningkatkan pembuatan teks ke gambar dalam Latent Diffusion Model dengan memungkinkan pembuatan gambar yang lebih cepat dan berkualitas tinggi dengan lebih sedikit langkah. Colab
Kartu model
LLaVA 1.5 Visi, Bahasa Men-deploy model LLaVA 1.5. Colab
Kartu model
Pytorch-ZipNeRF Visi, Video Latih model Pytorch-ZipNeRF yang merupakan implementasi algoritma ZipNeRF terbaru dalam framework Pytorch, yang dirancang untuk rekonstruksi 3D yang efisien dan akurat dari gambar 2D. Colab
Kartu model
Mixtral Bahasa Men-deploy model Mixtral yang merupakan model bahasa besar (LLM) Mixture of Experts (MoE) yang dikembangkan oleh Mistral AI. Kartu model
Llama 2 (Dikuantisasi) Bahasa Menyesuaikan & men-deploy versi kuantisasi model Llama 2 Meta. Colab
Kartu model
LaMa (Large Mask Inpainting) Vision Men-deploy LaMa yang menggunakan konvolusi Fourier cepat (FFC), kerugian persepsi bidang reseptif yang tinggi, dan mask pelatihan besar memungkinkan inpainting gambar yang andal dalam resolusi. Colab
Kartu model
AutoGluon Berbentuk tabel Dengan AutoGluon, Anda dapat melatih dan men-deploy model machine learning dan deep learning dengan akurasi tinggi untuk data tabel. Colab
Kartu model
MaMMUT Bahasa, Visi Arsitektur encoder visi dan decoder teks untuk tugas multimodal seperti visual question answering, pengambilan teks gambar, pengambilan gambar teks, dan pembuatan penyematan multimodal. Colab
Kartu model

Daftar model partner yang tersedia di Model Garden

Beberapa model partner ditawarkan sebagai API terkelola di Vertex AI Model Garden (juga dikenal sebagai model as a service). Tabel berikut mencantumkan model yang tersedia dari partner Google di Model Garden:

Nama model Modalitas Deskripsi Panduan memulai
Claude 3.5 Sonnet v2 dari Anthropic Bahasa Claude 3.5 Sonnet yang telah diupgrade adalah model canggih untuk tugas software engineering di dunia nyata dan kemampuan agen. Claude 3.5 Sonnet menghadirkan peningkatan ini dengan harga dan kecepatan yang sama seperti pendahulunya. Kartu model
Claude 3.5 Haiku dari Anthropic Bahasa Claude 3.5 Haiku, model Anthropic generasi berikutnya yang paling cepat dan hemat biaya, optimal untuk kasus penggunaan yang membutuhkan kecepatan dan keterjangkauan. Kartu model
Claude 3 Opus dari Anthropic Bahasa Model AI canggih, dengan performa terbaik untuk menyelesaikan tugas yang sangat kompleks. Model ini dapat menavigasi perintah terbuka dan skenario yang tidak terlihat dengan kemahiran yang luar biasa dan pemahaman layaknya manusia. Kartu model
Claude 3 Haiku dari Anthropic Bahasa Model teks dan visi tercepat dari Anthropic untuk merespons kueri dasar secara instan, yang ditujukan untuk pengalaman AI yang lancar yang meniru interaksi manusia. Kartu model
Claude 3.5 Sonnet dari Anthropic Bahasa Claude 3.5 Sonnet mengungguli Claude 3 Opus Anthropic di berbagai evaluasi Anthropic dengan kecepatan dan biaya layaknya model tingkat menengah Anthropic, Claude 3 Sonnet. Kartu model
Jamba 1.5 Large (Pratinjau) Bahasa Jamba 1.5 Large dari AI21 Labs dirancang untuk respons berkualitas unggul, throughput tinggi, dan harga kompetitif dibandingkan dengan model lain dalam kelas ukurannya. Kartu model
Jamba 1.5 Mini (Pratinjau) Bahasa Jamba 1.5 Mini dari AI21 Labs sangat seimbang dalam kualitas, throughput, dan biaya rendah. Kartu model
Llama 3.2 (Pratinjau) Bahasa, Visi Model multimodal berukuran sedang 90B yang dapat mendukung penalaran gambar, seperti analisis diagram dan grafik serta pemberian teks gambar. Kartu model
Llama 3.1 (Pratinjau) Bahasa Kumpulan LLM multibahasa yang dioptimalkan untuk kasus penggunaan dialog multibahasa dan mengungguli banyak model chat open source dan tertutup yang tersedia pada tolok ukur industri umum. Kartu model
Mistral Besar (24,11) Bahasa Mistral Large (24.11) adalah versi berikutnya dari model Mistral Large (24.07) yang kini memiliki kemampuan penalaran dan panggilan fungsi yang lebih baik. Kartu model
Mistral Besar (24.07) Bahasa Mistral Large (24.07) adalah model utama Mistral AI untuk pembuatan teks. Model ini mencapai kemampuan penalaran tingkat atas dan dapat digunakan untuk tugas multibahasa yang kompleks, termasuk pemahaman teks, transformasi, dan pembuatan kode. Kartu model
Mistral Nemo Bahasa Model eksklusif Mistral AI yang paling hemat biaya. Gunakan workload latensi rendah Mistral Nemo dan tugas dasar yang dapat dilakukan secara massal, seperti klasifikasi, dukungan pelanggan, dan pembuatan teks. Kartu model
Codestral (25.01) Kode Model canggih yang dirancang untuk pembuatan kode, termasuk isi bagian tengah dan penyelesaian kode. Kartu model
Codestral (24.05) Kode Model generatif yang dirancang khusus dan dioptimalkan untuk pembuatan kode. Anda dapat menggunakan Codestral (24.05) untuk mendesain aplikasi AI lanjutan. Kartu model