Daftar model pihak pertama Google
Tabel berikut mencantumkan model pihak pertama Google yang tersedia di Model Garden:
Nama model | Modalitas | Deskripsi | Panduan Memulai |
---|---|---|---|
Gemini 1.5 Flash | Bahasa, audio, visi | Model multimodal Gemini yang paling cepat dan hemat biaya. API ini dibuat untuk tugas bervolume tinggi dan aplikasi terjangkau yang sensitif terhadap latensi. Karena responsifnya Gemini 1.5 Flash, ini adalah opsi yang baik untuk membuat asisten chat dan aplikasi pembuatan konten on demand. | Kartu model |
Gemini 1.5 Pro | Bahasa, audio, visi | Model multimodal yang mendukung penambahan file gambar, audio, video, dan PDF dalam perintah teks atau chat untuk menghasilkan respons teks atau kode. | Kartu model |
Gemini 1.0 Pro | Bahasa | Dirancang untuk menangani tugas bahasa alami, teks multiturn dan chat kode, serta pembuatan kode. | Kartu model |
Gemini 1.0 Pro Vision | Bahasa, visi | Model multimodal yang mendukung penambahan file gambar, video, dan PDF dalam perintah teks atau chat untuk menghasilkan respons teks atau kode. | Kartu model |
PaLM 2 untuk Teks | Bahasa | Disesuaikan untuk mengikuti petunjuk natural language dan cocok untuk berbagai tugas bahasa. | Kartu model |
PaLM 2 untuk Chat | Bahasa | Disempurnakan untuk melakukan percakapan yang alami. Gunakan model ini untuk membuat dan menyesuaikan aplikasi chatbot Anda sendiri. | Kartu model |
Codey untuk Penyelesaian Kode | Bahasa | Membuat kode berdasarkan perintah kode. Cocok untuk saran kode dan meminimalkan bug dalam kode. | Kartu model |
Codey untuk Pembuatan Kode | Bahasa | Menghasilkan kode berdasarkan input natural language. Cocok untuk menulis fungsi, class, pengujian unit, dan lainnya. | Kartu model |
Codey untuk Chat Kode | Bahasa | Dapatkan bantuan terkait kode melalui percakapan alami. Cocok untuk pertanyaan tentang API, sintaksis dalam bahasa yang didukung, dan lainnya. | Kartu model |
Embedding untuk Teks | Bahasa | Mengonversi data tekstual menjadi vektor numerik yang dapat diproses oleh algoritma machine learning, terutama model besar. | Kartu model |
Imagen untuk Pembuatan Gambar | Vision | Buat gambar kualitas studio dalam skala besar menggunakan perintah teks. Anda juga dapat menggunakan model ini untuk meningkatkan resolusi gambar. | Kartu model |
Imagen untuk Pengeditan dan Penyesuaian | Vision | Edit atau gunakan few-shot learning untuk membuat gambar kelas studio dalam skala besar menggunakan gambar dasar dan perintah teks, atau menggunakan gambar referensi dan perintah teks. | Kartu model |
Segmentasi Gambar Vertex (Pratinjau) | Vision | Gunakan perintah teks atau gambar coretan untuk menyegmentasikan gambar. Segmentasi gambar memungkinkan Anda, misalnya, mendeteksi objek, menghapus latar belakang gambar, atau menyegmentasikan latar depan gambar. | Kartu model |
Imagen untuk Pemberian Teks & VQA | Bahasa | Menghasilkan deskripsi yang relevan untuk gambar tertentu. | Kartu model |
Embedding untuk Multimodal | Vision | Menghasilkan vektor berdasarkan gambar, yang dapat digunakan untuk tugas downstream seperti klasifikasi gambar dan penelusuran gambar. | Kartu model |
Chirp | Ucapan | Versi Model Ucapan Universal yang memiliki lebih dari 2 miliar parameter dan dapat mentranskripsikan dalam lebih dari 100 bahasa dalam satu model. | Kartu model |
Daftar model dengan penyesuaian open source atau menyajikan resep di Model Garden
Tabel berikut mencantumkan model OSS yang mendukung penyesuaian open source atau resep penayangan di Model Garden:
Nama model | Modalitas | Deskripsi | Panduan memulai |
---|---|---|---|
Llama 3.3 | Bahasa | Model bahasa besar (LLM) multibahasa Meta Llama 3.3 adalah model generatif yang telah dilatih sebelumnya dan disesuaikan dengan petunjuk dalam 70B (teks masuk/teks keluar). | Kartu model |
Flux | Vision | Model transformer flow yang diperbaiki dengan 12 miliar parameter yang menghasilkan gambar berkualitas tinggi dari deskripsi teks. | Kartu model |
Pelindung Perintah | Bahasa | Melindungi input LLM pembatasan terhadap teknik jailbreaking dan injeksi tidak langsung. | Kartu model |
Llama 3.2 | Bahasa | Kumpulan model bahasa besar multibahasa yang merupakan model generatif terlatih dan disesuaikan dengan petunjuk dalam ukuran 1 miliar dan 3 miliar. | Kartu model |
Llama 3.2-Vision | Bahasa, Visi | Kumpulan model bahasa besar multimodal yang merupakan model generatif penalaran gambar terlatih dan disesuaikan dengan petunjuk dalam ukuran 11B dan 90B. Model ini dioptimalkan untuk pengenalan visual, penalaran gambar, pemberian teks, dan menjawab pertanyaan umum tentang gambar. | Kartu model |
Llama Guard 3 | Bahasa | Model terlatih Llama-3.1-8B yang telah disesuaikan untuk klasifikasi keamanan konten. | Kartu model |
Qwen2 | Bahasa | Men-deploy Qwen2, seri model bahasa besar dasar. | Colab Kartu model |
Phi-3 | Bahasa | Men-deploy Phi-3, seri model bahasa besar dasar. | Colab Kartu model |
E5 | Bahasa | Men-deploy E5, seri model embedding teks. | Colab Kartu model |
ID Instan | Bahasa, Visi | Men-deploy ID Instan, model pembuatan teks ke gambar yang mempertahankan identitas. | Colab Kartu model |
Llama 3 | Bahasa | Jelajahi dan buat dengan model Llama 3 Meta (8B, 70B, 405B) di Vertex AI. | Kartu model |
Gemma 2 | Bahasa | Model bobot terbuka (9B, 27B) yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. | Kartu model |
Gemma | Bahasa | Model bobot terbuka (2B, 7B) yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. | Kartu model |
CodeGemma | Bahasa | Model bobot terbuka (2B, 7B) yang dirancang untuk pembuatan kode dan penyelesaian kode yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. | Kartu model |
PaliGemma | Bahasa | Model 3B bobot terbuka yang dirancang untuk tugas pemberian teks pada gambar serta tugas pertanyaan dan jawaban visual yang dibuat dari riset dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. | Kartu model |
Vicuna v1.5 | Bahasa | Men-deploy model seri Vicuna v1.5, yang merupakan model dasar yang disesuaikan dari LLama2 untuk pembuatan teks. | Kartu model |
NLLB | Bahasa | Men-deploy model seri nllb untuk terjemahan multibahasa. | Kartu model Colab |
Mistral-7B | Bahasa | Men-deploy Mistral-7B, model dasar untuk pembuatan teks. | Kartu model |
BioGPT | Bahasa | Men-deploy BioGPT, model generatif teks untuk domain biomedis. | Kartu model Colab |
BiomedCLIP | Bahasa, Visi | Men-deploy BiomedCLIP, model dasar multi-modal untuk domain biomedis. | Kartu model Colab |
ImageBind | Bahasa, Visi, Audio |
Men-deploy ImageBind, model dasar untuk penyematan multimodal. | Kartu model Colab |
DITO | Bahasa, Visi | Menyempurnakan dan men-deploy DITO, model dasar multimodal untuk tugas deteksi objek kosakata terbuka. | Kartu model Colab |
OWL-ViT v2 | Bahasa, Visi | Men-deploy OWL-ViT v2, model dasar multimodal untuk tugas deteksi objek kosakata terbuka. | Kartu model Colab |
FaceStylizer (Mediapipe) | Vision | Pipeline generatif untuk mengubah gambar wajah manusia menjadi gaya baru. | Kartu model Colab |
Llama 2 | Bahasa | Menyesuaikan dan men-deploy model dasar Llama 2 Meta (7B, 13B, 70B) di Vertex AI. | Kartu model |
Code Llama | Bahasa | Men-deploy model dasar Code Llama Meta (7B, 13B, 34B) di Vertex AI. | Kartu model |
Falcon-instruct | Bahasa | Menyempurnakan dan men-deploy model Falcon-instruct (7B, 40B) menggunakan PEFT. | Colab Kartu model |
OpenLLaMA | Bahasa | Sempurnakan dan deploy model OpenLLaMA (3B, 7B, 13B) dengan menggunakan PEFT. | Colab Kartu model |
T5-FLAN | Bahasa | Menyesuaikan dan men-deploy T5-FLAN (dasar, kecil, besar). | Kartu model (termasuk pipeline penyesuaian) |
BERT | Bahasa | Menyesuaikan dan men-deploy BERT menggunakan PEFT. | Colab Kartu model |
BART-large-cnn | Bahasa | Men-deploy BART, model encoder-encoder transformer (seq2seq) dengan encoder dua arah (mirip BERT) dan dekoder autoregresif (mirip GPT). | Colab Kartu model |
RoBERTa-large | Bahasa | Menyempurnakan dan men-deploy RoBERTa-large menggunakan PEFT. | Colab Kartu model |
XLM-RoBERTa-large | Bahasa | Menyempurnakan dan men-deploy XLM-RoBERTa-large (versi multibahasa RoBERTa) menggunakan PEFT. | Colab Kartu model |
Dolly-v2-7b | Bahasa | Mendeploy Dolly-v2-7b, model bahasa besar yang mengikuti instruksi dengan 6,9 miliar parameter. | Colab Kartu model |
Stable Diffusion XL v1.0 | Bahasa, Visi | Men-deploy Stable Diffusion XL v1.0, yang mendukung pembuatan teks ke gambar. | Colab Kartu model |
Stable Diffusion XL Lightning | Bahasa, Visi | Men-deploy Stable Diffusion XL Lightning, model pembuatan teks ke gambar. | Colab Kartu model |
Stable Diffusion v2.1 | Bahasa, Visi | Menyempurnakan dan men-deploy Stable Diffusion v2.1 (mendukung pembuatan teks ke gambar) menggunakan Dreambooth. | Colab Kartu model |
Peningkatan Stable Diffusion 4x | Bahasa, Visi | Men-deploy peningkatan Stable Diffusion 4x, yang mendukung superresolusi gambar dengan kondisi teks. | Colab Kartu model |
InstructPix2Pix | Bahasa, Visi | Men-deploy InstructPix2Pix, yang mendukung pengeditan gambar menggunakan perintah teks. | Colab Kartu model |
Stable Diffusion Inpainting | Bahasa, Visi | Menyempurnakan dan men-deploy Stable Diffusion Inpainting, yang mendukung pewarnaan gambar yang disamarkan menggunakan perintah teks. | Colab Kartu model |
SAM | Bahasa, Visi | Men-deploy Segmen Apa Pun, yang mendukung segmentasi gambar zero-shot. | Colab Kartu model |
Teks ke video (ModelScope) | Bahasa, Visi | Men-deploy ModelScope teks ke video, yang mendukung pembuatan teks ke video. | Colab Kartu model |
Pengambilan Gambar yang Ditulis Pic2Word | Bahasa, Visi | Men-deploy Pic2Word, yang mendukung pengambilan gambar multi-modal. | Colab Kartu model |
BLIP2 | Bahasa, Visi | Men-deploy BLIP2, yang mendukung keterangan gambar dan jawaban pertanyaan visual. | Colab Kartu model |
Open-CLIP | Bahasa, Visi | Menyempurnakan dan men-deploy Open-CLIP, yang mendukung klasifikasi zero-shot. | Colab Kartu model |
F-VLM | Bahasa, Visi | Men-deploy F-VLM, yang mendukung deteksi objek gambar kosakata terbuka. | Colab Kartu model |
tfhub/EfficientNetV2 | Vision | Menyempurnakan dan men-deploy implementasi TensorFlow Vision dari model klasifikasi gambar EfisienNetV2. | Colab Kartu model |
EfisienNetV2 (TIMM) | Vision | Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image barang efisienNetV2. | Colab Kartu model |
Eksklusif/EfficientNetV2 | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google dari model klasifikasi gambar EefisienNetV2. | Colab Kartu model |
EfficientNetLite (MediaPipe) | Vision | Menyempurnakan model klasifikasi gambar EffectiveNetLite melalui pembuat model MediaPipe. | Colab Kartu model |
tfvision/vit | Vision | Menyempurnakan dan men-deploy implementasi TensorFlow Vision dari model klasifikasi gambar ViT. | Colab Kartu model |
ViT (TIMM) | Vision | Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image ViT. | Colab Kartu model |
Eksklusif/ViT | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google dari model klasifikasi image ViT. | Colab Kartu model |
Eksklusif/MaxViT | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model klasifikasi gambar MaxViT hybrid (CNN + ViT). | Colab Kartu model |
ViT (JAX) | Vision | Menyempurnakan dan men-deploy implementasi JAX dari model klasifikasi gambar ViT. | Colab Kartu model |
tfvision/SpineNet | Vision | Menyempurnakan dan men-deploy implementasi TensorFlow Vision untuk model deteksi objek SpineNet. | Colab Kartu model |
Eksklusif/Spinenet | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model deteksi objek SpineNet. | Colab Kartu model |
tfvision/YOLO | Vision | Menyempurnakan dan men-deploy implementasi TensorFlow Vision untuk model deteksi objek satu tahap YOLO. | Colab Kartu model |
Eksklusif/YOLO | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model deteksi objek satu tahap YOLO. | Colab Kartu model |
YOLOv8 (Keras) | Vision | Menyempurnakan dan men-deploy implementasi Keras model YOLOv8 untuk deteksi objek. | Colab Kartu model |
tfvision/YOLOv7 | Vision | Menyempurnakan dan menddeploy model YOLOv7 untuk deteksi objek. | Colab Kartu model |
Pelacakan Objek Video ByteTrack | Vision | Menjalankan prediksi batch untuk pelacakan objek video menggunakan pelacak ByteTrack. | Colab Kartu model |
ResNeSt (TIMM) | Vision | Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image ResNeSt. | Colab Kartu model |
ConvNeXt (TIMM) | Vision | Menyempurnakan dan men-deploy ConvNeXt, model konvolusional murni untuk klasifikasi gambar yang terinspirasi dari desain Vision Transformers. | Colab Kartu model |
CspNet (TIMM) | Vision | Menyempurnakan dan men-deploy model klasifikasi image CSPNet (Cross Stage Partial Network). | Colab Kartu model |
Inception (TIMM) | Vision | Menyempurnakan dan men-deploy model klasifikasi image Inception. | Colab Kartu model |
DeepLabv3+ (dengan checkpoint) | Vision | Menyempurnakan dan men-deploy model DeepLab-v3 Plus untuk segmentasi gambar semantik. | Colab Kartu model |
R-CNN yang lebih cepat (Detectron2) | Vision | Menyempurnakan dan men-deploy implementasi Detectron2 dari model Faster R-CNN untuk deteksi objek gambar. | Colab Kartu model |
RetinaNet (Detectron2) | Vision | Menyempurnakan dan men-deploy implementasi Detectron2 dari model RetinaNet untuk deteksi objek gambar. | Colab Kartu model |
Mask R-CNN (Detectron2) | Vision | Menyempurnakan dan men-deploy implementasi Detectron2 dari model Mask R-CNN untuk deteksi dan segmentasi objek gambar. | Colab Kartu model |
ControlNet | Vision | Menyempurnakan dan men-deploy model pembuatan teks ke gambar ControlNet. | Colab Kartu model |
MobileNet (TIMM) | Vision | Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image MobileNet. | Colab Kartu model |
Klasifikasi Gambar MobileNetV2 (MediaPipe) | Vision | Menyempurnakan model klasifikasi gambar MobileNetV2 dengan menggunakan pembuat model MediaPipe. | Colab Kartu model |
Deteksi Objek MobileNetV2 (MediaPipe) | Vision | Menyempurnakan model deteksi objek MobileNetV2 dengan menggunakan pembuat model MediaPipe. | Colab Kartu model |
MobileNet-MultiHW-AVG (MediaPipe) | Vision | Menyempurnakan model deteksi objek MobileNet-MultiHW-AVG dengan menggunakan pembuat model MediaPipe. | Colab Kartu model |
DeiT | Vision | Menyempurnakan dan men-deploy model DeiT (Transformer Gambar Hemat data) untuk klasifikasi gambar. | Colab Kartu model |
BEiT | Vision | Menyempurnakan dan men-deploy model BEiT (representasi Encoder Dua Arah dari Transformer Gambar) untuk klasifikasi gambar. | Colab Kartu model |
Pengenalan Gestur Tangan (MediaPipe) | Vision | Menyempurnakan dan men-deploy model Pengenalan Gestur Tangan di perangkat menggunakan MediaPipe. | Colab Kartu model |
Pengklasifikasi Penyematan Kata Rata-Rata (MediaPipe) | Vision | Menyempurnakan dan men-deploy model Pengklasifikasi Kata Penyematan di perangkat dengan menggunakan MediaPipe. | Colab Kartu model |
Pengklasifikasi MobileBERT (MediaPipe) | Vision | Menyempurnakan dan men-deploy model MobileBERT Classifier di perangkat dengan menggunakan MediaPipe. | Colab Kartu model |
Klasifikasi Klip Video MoViNet | Video | Menyempurnakan dan men-deploy model klasifikasi klip video MoViNet. | Colab Kartu model |
Pengenalan Tindakan Video MoViNet | Video | Menyempurnakan dan men-deploy model MoViNet untuk inferensi pengenalan tindakan. | Colab Kartu model |
LCM Stable Diffusion XL | Vision | Deploy model ini yang menggunakan Latent Consistency Model (LCM) untuk meningkatkan pembuatan teks ke gambar dalam Latent Diffusion Model dengan memungkinkan pembuatan gambar yang lebih cepat dan berkualitas tinggi dengan lebih sedikit langkah. | Colab Kartu model |
LLaVA 1.5 | Visi, Bahasa | Men-deploy model LLaVA 1.5. | Colab Kartu model |
Pytorch-ZipNeRF | Visi, Video | Latih model Pytorch-ZipNeRF yang merupakan implementasi algoritma ZipNeRF terbaru dalam framework Pytorch, yang dirancang untuk rekonstruksi 3D yang efisien dan akurat dari gambar 2D. | Colab Kartu model |
Mixtral | Bahasa | Men-deploy model Mixtral yang merupakan model bahasa besar (LLM) Mixture of Experts (MoE) yang dikembangkan oleh Mistral AI. | Kartu model |
Llama 2 (Dikuantisasi) | Bahasa | Menyesuaikan & men-deploy versi kuantisasi model Llama 2 Meta. | Colab Kartu model |
LaMa (Large Mask Inpainting) | Vision | Men-deploy LaMa yang menggunakan konvolusi Fourier cepat (FFC), kerugian persepsi bidang reseptif yang tinggi, dan mask pelatihan besar memungkinkan inpainting gambar yang andal dalam resolusi. | Colab Kartu model |
AutoGluon | Berbentuk tabel | Dengan AutoGluon, Anda dapat melatih dan men-deploy model machine learning dan deep learning dengan akurasi tinggi untuk data tabel. | Colab Kartu model |
MaMMUT | Bahasa, Visi | Arsitektur encoder visi dan decoder teks untuk tugas multimodal seperti visual question answering, pengambilan teks gambar, pengambilan gambar teks, dan pembuatan penyematan multimodal. | Colab Kartu model |
Daftar model partner yang tersedia di Model Garden
Beberapa model partner ditawarkan sebagai API terkelola di Vertex AI Model Garden (juga dikenal sebagai model as a service). Tabel berikut mencantumkan model yang tersedia dari partner Google di Model Garden:
Nama model | Modalitas | Deskripsi | Panduan memulai |
---|---|---|---|
Claude 3.5 Sonnet v2 dari Anthropic | Bahasa | Claude 3.5 Sonnet yang telah diupgrade adalah model canggih untuk tugas software engineering di dunia nyata dan kemampuan agen. Claude 3.5 Sonnet menghadirkan peningkatan ini dengan harga dan kecepatan yang sama seperti pendahulunya. | Kartu model |
Claude 3.5 Haiku dari Anthropic | Bahasa | Claude 3.5 Haiku, model Anthropic generasi berikutnya yang paling cepat dan hemat biaya, optimal untuk kasus penggunaan yang membutuhkan kecepatan dan keterjangkauan. | Kartu model |
Claude 3 Opus dari Anthropic | Bahasa | Model AI canggih, dengan performa terbaik untuk menyelesaikan tugas yang sangat kompleks. Model ini dapat menavigasi perintah terbuka dan skenario yang tidak terlihat dengan kemahiran yang luar biasa dan pemahaman layaknya manusia. | Kartu model |
Claude 3 Haiku dari Anthropic | Bahasa | Model teks dan visi tercepat dari Anthropic untuk merespons kueri dasar secara instan, yang ditujukan untuk pengalaman AI yang lancar yang meniru interaksi manusia. | Kartu model |
Claude 3.5 Sonnet dari Anthropic | Bahasa | Claude 3.5 Sonnet mengungguli Claude 3 Opus Anthropic di berbagai evaluasi Anthropic dengan kecepatan dan biaya layaknya model tingkat menengah Anthropic, Claude 3 Sonnet. | Kartu model |
Jamba 1.5 Large (Pratinjau) | Bahasa | Jamba 1.5 Large dari AI21 Labs dirancang untuk respons berkualitas unggul, throughput tinggi, dan harga kompetitif dibandingkan dengan model lain dalam kelas ukurannya. | Kartu model |
Jamba 1.5 Mini (Pratinjau) | Bahasa | Jamba 1.5 Mini dari AI21 Labs sangat seimbang dalam kualitas, throughput, dan biaya rendah. | Kartu model |
Llama 3.2 (Pratinjau) | Bahasa, Visi | Model multimodal berukuran sedang 90B yang dapat mendukung penalaran gambar, seperti analisis diagram dan grafik serta pemberian teks gambar. | Kartu model |
Llama 3.1 (Pratinjau) | Bahasa | Kumpulan LLM multibahasa yang dioptimalkan untuk kasus penggunaan dialog multibahasa dan mengungguli banyak model chat open source dan tertutup yang tersedia pada tolok ukur industri umum. | Kartu model |
Mistral Besar (24,11) | Bahasa | Mistral Large (24.11) adalah versi berikutnya dari model Mistral Large (24.07) yang kini memiliki kemampuan penalaran dan panggilan fungsi yang lebih baik. | Kartu model |
Mistral Besar (24.07) | Bahasa | Mistral Large (24.07) adalah model utama Mistral AI untuk pembuatan teks. Model ini mencapai kemampuan penalaran tingkat atas dan dapat digunakan untuk tugas multibahasa yang kompleks, termasuk pemahaman teks, transformasi, dan pembuatan kode. | Kartu model |
Mistral Nemo | Bahasa | Model eksklusif Mistral AI yang paling hemat biaya. Gunakan workload latensi rendah Mistral Nemo dan tugas dasar yang dapat dilakukan secara massal, seperti klasifikasi, dukungan pelanggan, dan pembuatan teks. | Kartu model |
Codestral (25.01) | Kode | Model canggih yang dirancang untuk pembuatan kode, termasuk isi bagian tengah dan penyelesaian kode. | Kartu model |
Codestral (24.05) | Kode | Model generatif yang dirancang khusus dan dioptimalkan untuk pembuatan kode. Anda dapat menggunakan Codestral (24.05) untuk mendesain aplikasi AI lanjutan. | Kartu model |