Model Garden di konsol Google Cloud adalah library model ML yang membantu Anda menemukan, menguji, menyesuaikan, dan men-deploy eksklusif Google dan memilih model dan aset OSS.
Topik berikut memperkenalkan model AI yang tersedia di Model Garden dan cara menggunakannya.
Mempelajari model
Untuk melihat daftar Vertex AI dan model open source, yang dapat disesuaikan, dan khusus tugas, buka halaman Model Garden di Konsol Google Cloud.
Kategori model yang tersedia di Model Garden adalah:
| Kategori | Deskripsi |
|---|---|
| Foundation models | Model besar multitask terlatih yang dapat disesuaikan atau dikustomisasi untuk tugas tertentu menggunakan Vertex AI Studio, Vertex AI API, dan Vertex AI SDK untuk Python. |
| Fine-tunable models | Model yang dapat Anda sempurnakan menggunakan notebook atau pipeline kustom. |
| Solusi khusus tugas | Sebagian besar model bawaan ini siap digunakan. Banyak di antaranya yang dapat disesuaikan menggunakan data Anda sendiri. |
Untuk memfilter model di panel filter, tentukan hal berikut:
- Modalitas: Klik modalitas (jenis data) yang Anda inginkan dalam model.
- Tasks: Klik tugas yang Anda inginkan untuk dijalankan model.
- Fitur: Klik fitur yang Anda inginkan dalam model.
Untuk mempelajari lebih lanjut setiap model, klik kartu modelnya.
Model yang tersedia di Model Garden
Anda dapat menemukan model pihak pertama Google dan memilih model open source di Model Garden.
Daftar model pihak pertama Google
Tabel berikut mencantumkan model pihak pertama Google yang tersedia di Model Garden:
| Nama model | Modalitas | Deskripsi | Panduan Memulai |
|---|---|---|---|
| Gemini 1.5 Pro (Pratinjau) | Bahasa, audio, visi | Model multimodal yang mendukung penambahan file gambar, audio, video, dan PDF dalam prompt teks atau chat untuk respons teks atau kode. | Kartu model |
| Gemini 1.0 Pro | Language | Dirancang untuk menangani tugas bahasa alami, chat teks dan kode multigiliran, serta pembuatan kode. | Kartu model |
| Gemini 1.0 Pro Vision | Bahasa, visi | Model multimodal yang mendukung penambahan file gambar, video, dan PDF dalam perintah chat atau teks untuk respons teks atau kode. | Kartu model |
| PaLM 2 for Text | Language | Disesuaikan untuk mengikuti petunjuk natural language dan cocok untuk berbagai tugas bahasa. | Kartu model |
| PaLM 2 untuk Chat | Language | Disesuaikan untuk melakukan percakapan yang natural. Gunakan model ini untuk membangun dan menyesuaikan aplikasi chatbot Anda sendiri. | Kartu model |
| Codey untuk Penyelesaian kode | Language | Menghasilkan kode berdasarkan prompt kode. Bagus untuk saran kode dan meminimalkan bug dalam kode. | Kartu model |
| Codey untuk Pembuatan Kode | Language | Menghasilkan kode berdasarkan input natural language. Bagus untuk menulis fungsi, class, pengujian unit, dan lainnya. | Kartu model |
| Codey untuk Chat Kode | Language | Dapatkan bantuan terkait kode melalui percakapan alami. Cocok untuk pertanyaan tentang API, sintaksis dalam bahasa yang didukung, dan lainnya. | Kartu model |
| Embeddings for Text | Language | Mengonversi data tekstual menjadi vektor numerik yang dapat diproses oleh algoritma machine learning, terutama model besar. | Kartu model |
| Imagen for Image Generation | Vision | Buat atau edit gambar kelas studio dalam skala besar menggunakan perintah teks. | Kartu model |
| Gambar untuk Pemberian Teks & VQA | Language | Menghasilkan deskripsi yang relevan untuk gambar tertentu. | Kartu model |
| Embeddings untuk Multimodal | Vision | Menghasilkan vektor berdasarkan gambar, yang dapat digunakan untuk tugas downstream seperti klasifikasi gambar dan penelusuran gambar. | Kartu model |
| Chirp | Speech | Sebuah versi Model Ucapan Universal yang memiliki lebih dari 2 miliar parameter dan dapat mentranskripsikan lebih dari 100 bahasa dalam satu model. | Kartu model |
Daftar model dengan penyempurnaan open source atau resep penyajian di Model Garden
Tabel berikut mencantumkan model OSS yang mendukung penyesuaian atau penyajian resep open source di Model Garden:
| Nama model | Modalitas | Deskripsi | Panduan memulai |
|---|---|---|---|
| Gemma | Language | Model berat terbuka (2B, 7B) yang dibuat dari penelitian dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. | Kartu Model |
| CodeGemma | Language | Model open weight (2B, 7B) yang dirancang untuk pembuatan kode dan penyelesaian kode yang dibuat dari penelitian dan teknologi yang sama dengan yang digunakan untuk membuat model Gemini Google. | Kartu Model |
| Vicuna v1.5 | Language | Gunakan model seri Vicuna v1.5, yang merupakan model dasar yang disesuaikan dari LLama2 untuk pembuatan teks. | Kartu Model |
| LBLB | Language | Deploy model seri nllb untuk terjemahan multibahasa. | Kartu Model Colab |
| Mistral-7B | Language | Deploy Mistral-7B, model dasar untuk pembuatan teks. | Kartu Model Colab |
| BioGPT | Language | Deploy BioGPT, model generatif teks untuk domain biomedis. | Kartu Model Colab |
| BiomedCLIP | Bahasa, Visi | Men-deploy BiomedCLIP, model dasar multimodal untuk domain biomedis. | Kartu Model Colab |
| ImageBind | Bahasa, Visi, Audio |
Men-deploy ImageBind, model dasar untuk penyematan multimodal. | Kartu Model Colab |
| DITO | Bahasa, Visi | Menyesuaikan dan men-deploy DITO, model dasar multimodal untuk tugas deteksi objek kosakata terbuka. | Kartu Model Colab |
| OWL-ViT v2 | Bahasa, Visi | Deploy OWL-ViT v2, model dasar multimodal untuk tugas deteksi objek kosakata terbuka. | Kartu Model Colab |
| FaceStylizer (Mediapipe) | Vision | Pipeline generatif untuk mengubah gambar wajah manusia ke gaya baru. | Kartu Model Colab |
| Llama 2 | Language | Menyesuaikan dan men-deploy model dasar Llama 2 Meta (7B, 13B, 70B) di Vertex AI. | Kartu Model |
| Code Llama | Language | Men-deploy model dasar Code Llama Meta (7B, 13B, 34B) di Vertex AI. | Kartu Model |
| Falcon-instruct | Bahasa | Menyempurnakan dan men-deploy model Falcon-instruct (7B, 40B) menggunakan PEFT. | Colab Kartu Model |
| OpenLLaMA | Bahasa | Sempurnakan dan deploy model OpenLLaMA (3B, 7B, 13B) dengan menggunakan PEFT. | Colab Kartu Model |
| T5-FLAN | Bahasa | Menyesuaikan dan men-deploy T5-FLAN (dasar, kecil, besar). | Kartu Model (termasuk pipeline penyesuaian) |
| BERT | Bahasa | Menyesuaikan dan men-deploy BERT menggunakan PEFT. | Colab Kartu Model |
| BART-large-cnn | Language | Men-deploy BART, model encoder-encoder transformer (seq2seq) dengan encoder dua arah (mirip BERT) dan dekoder autoregresif (mirip GPT). | Colab Kartu Model |
| RoBERTa-large | Bahasa | Menyempurnakan dan men-deploy RoBERTa-large menggunakan PEFT. | Colab Kartu Model |
| XLM-RoBERTa-large | Bahasa | Menyempurnakan dan men-deploy XLM-RoBERTa-large (versi multibahasa RoBERTa) menggunakan PEFT. | Colab Kartu Model |
| Dolly-v2-7b | Bahasa | Mendeploy Dolly-v2-7b, model bahasa besar yang mengikuti instruksi dengan 6,9 miliar parameter. | Colab Kartu Model |
| Stable Diffusion XL v1.0 | Bahasa, Visi | Men-deploy Stable Diffusion XL v1.0, yang mendukung pembuatan teks ke gambar. | Colab Kartu model |
| Stable Diffusion v2.1 | Bahasa, Visi | Menyempurnakan dan men-deploy Stable Diffusion v2.1 (mendukung pembuatan teks ke gambar) menggunakan Dreambooth. | Colab Kartu model |
| Peningkatan Stable Diffusion 4x | Bahasa, Visi | Men-deploy peningkatan Stable Diffusion 4x, yang mendukung superresolusi gambar dengan kondisi teks. | Colab Kartu model |
| InstructPix2Pix | Bahasa, Visi | Men-deploy InstructPix2Pix, yang mendukung pengeditan gambar menggunakan perintah teks. | Colab Kartu Model |
| Stable Diffusion Inpainting | Bahasa, Visi | Menyempurnakan dan men-deploy Stable Diffusion Inpainting, yang mendukung pewarnaan gambar yang disamarkan menggunakan perintah teks. | Colab Kartu Model |
| SAM | Bahasa, Visi | Men-deploy Segmen Apa Pun, yang mendukung segmentasi gambar zero-shot. | Colab Kartu Model |
| Teks ke video (ModelScope) | Bahasa, Visi | Men-deploy ModelScope teks ke video, yang mendukung pembuatan teks ke video. | Colab Kartu Model |
| Zero-shot teks ke video | Bahasa, Visi | Men-deploy generator teks-ke-video Stable Diffusion, yang mendukung pembuatan teks ke video zero-shot. | Colab Kartu Model |
| Pengambilan Gambar yang Ditulis Pic2Word | Bahasa, Visi | Men-deploy Pic2Word, yang mendukung pengambilan gambar multi-modal. | Colab Kartu Model |
| BLIP2 | Bahasa, Visi | Men-deploy BLIP2, yang mendukung keterangan gambar dan jawaban pertanyaan visual. | Colab Kartu Model |
| Open-CLIP | Bahasa, Visi | Menyempurnakan dan men-deploy Open-CLIP, yang mendukung klasifikasi zero-shot. | Colab Kartu model |
| F-VLM | Bahasa, Visi | Men-deploy F-VLM, yang mendukung deteksi objek gambar kosakata terbuka. | Colab Kartu Model |
| tfhub/EfficientNetV2 | Vision | Menyempurnakan dan men-deploy implementasi Tensorflow Vision dari model klasifikasi gambar EefisienNetV2. | Colab Kartu Model |
| EfisienNetV2 (TIMM) | Vision | Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image barang efisienNetV2. | Colab Kartu Model |
| Eksklusif/EfficientNetV2 | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google dari model klasifikasi gambar EefisienNetV2. | Colab Kartu Model |
| EfficientNetLite (MediaPipe) | Vision | Menyempurnakan model klasifikasi gambar EffectiveNetLite melalui pembuat model MediaPipe. | Colab Kartu Model |
| tfvision/vit | Vision | Menyesuaikan dan men-deploy implementasi TensorFlow Vision untuk model klasifikasi gambar ViT. | Colab Kartu Model |
| ViT (TIMM) | Vision | Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image ViT. | Colab Kartu Model |
| Eksklusif/ViT | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google dari model klasifikasi image ViT. | Colab Kartu Model |
| Eksklusif/MaxViT | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model klasifikasi gambar MaxViT hybrid (CNN + ViT). | Colab Kartu Model |
| ViT (JAX) | Vision | Menyempurnakan dan men-deploy implementasi JAX dari model klasifikasi gambar ViT. | Colab Kartu Model |
| tfvision/SpineNet | Vision | Menyempurnakan dan men-deploy implementasi Tensorflow Vision untuk model deteksi objek SpineNet. | Colab Kartu Model |
| Eksklusif/Spinenet | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model deteksi objek SpineNet. | Colab Kartu Model |
| tfvision/YOLO | Vision | Menyesuaikan dan men-deploy implementasi TensorFlow Vision untuk model deteksi objek satu tahap YOLO. | Colab Kartu Model |
| Eksklusif/YOLO | Vision | Menyempurnakan dan men-deploy checkpoint eksklusif Google untuk model deteksi objek satu tahap YOLO. | Colab Kartu Model |
| YOLOv8 (Keras) | Vision | Menyempurnakan dan men-deploy implementasi Keras model YOLOv8 untuk deteksi objek. | Colab Kartu Model |
| tfvision/YOLOv7 | Vision | Menyempurnakan dan menddeploy model YOLOv7 untuk deteksi objek. | Colab Kartu Model |
| Pelacakan Objek Video ByteTrack | Vision | Menjalankan prediksi batch untuk pelacakan objek video menggunakan pelacak ByteTrack. | Colab Kartu Model |
| ResNeSt (TIMM) | Vision | Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image ResNeSt. | Colab Kartu Model |
| ConvNeXt (TIMM) | Vision | Menyempurnakan dan men-deploy ConvNeXt, model konvolusional murni untuk klasifikasi gambar yang terinspirasi dari desain Vision Transformers. | Colab Kartu Model |
| CspNet (TIMM) | Vision | Menyempurnakan dan men-deploy model klasifikasi image CSPNet (Cross Stage Partial Network). | Colab Kartu Model |
| Inception (TIMM) | Vision | Menyempurnakan dan men-deploy model klasifikasi image Inception. | Colab Kartu Model |
| DeepLabv3+ (dengan checkpoint) | Vision | Menyempurnakan dan men-deploy model DeepLab-v3 Plus untuk segmentasi gambar semantik. | Colab Kartu Model |
| R-CNN yang lebih cepat (Detectron2) | Vision | Menyempurnakan dan men-deploy implementasi Detectron2 dari model Faster R-CNN untuk deteksi objek gambar. | Colab Kartu Model |
| RetinaNet (Detectron2) | Vision | Menyempurnakan dan men-deploy implementasi Detectron2 dari model RetinaNet untuk deteksi objek gambar. | Colab Kartu Model |
| Mask R-CNN (Detectron2) | Vision | Menyempurnakan dan men-deploy implementasi Detectron2 dari model Mask R-CNN untuk deteksi dan segmentasi objek gambar. | Colab Kartu Model |
| ControlNet | Vision | Menyempurnakan dan men-deploy model pembuatan teks ke gambar ControlNet. | Colab Kartu Model |
| MobileNet (TIMM) | Vision | Menyempurnakan dan men-deploy implementasi PyTorch dari model klasifikasi image MobileNet. | Colab Kartu Model |
| Klasifikasi Gambar MobileNetV2 (MediaPipe) | Vision | Menyempurnakan model klasifikasi gambar MobileNetV2 dengan menggunakan pembuat model MediaPipe. | Colab Kartu Model |
| Deteksi Objek MobileNetV2 (MediaPipe) | Vision | Menyempurnakan model deteksi objek MobileNetV2 dengan menggunakan pembuat model MediaPipe. | Colab Kartu Model |
| MobileNet-MultiHW-AVG (MediaPipe) | Vision | Menyempurnakan model deteksi objek MobileNet-MultiHW-AVG dengan menggunakan pembuat model MediaPipe. | Colab Kartu Model |
| DeiT | Vision | Menyempurnakan dan men-deploy model DeiT (Transformer Gambar Hemat data) untuk klasifikasi gambar. | Colab Kartu Model |
| BEiT | Vision | Menyempurnakan dan men-deploy model BEiT (representasi Encoder Dua Arah dari Transformer Gambar) untuk klasifikasi gambar. | Colab Kartu Model |
| Pengenalan Gestur Tangan (MediaPipe) | Vision | Menyempurnakan dan men-deploy model Pengenalan Gestur Tangan di perangkat menggunakan MediaPipe. | Colab Kartu Model |
| Pengklasifikasi Penyematan Kata Rata-Rata (MediaPipe) | Vision | Menyempurnakan dan men-deploy model Pengklasifikasi Kata Penyematan di perangkat dengan menggunakan MediaPipe. | Colab Kartu Model |
| Pengklasifikasi MobileBERT (MediaPipe) | Vision | Menyempurnakan dan men-deploy model MobileBERT Classifier di perangkat dengan menggunakan MediaPipe. | Colab Kartu Model |
| Klasifikasi Klip Video MoViNet | Video | Menyempurnakan dan men-deploy model klasifikasi klip video MoViNet. | Colab Kartu Model |
| Pengenalan Tindakan Video MoViNet | Video | Menyempurnakan dan men-deploy model MoViNet untuk inferensi pengenalan tindakan. | Colab Kartu Model |
| Difusi Stabil XL LCM | Vision | Deploy model ini yang menggunakan Latent Consistency Model (LCM) untuk meningkatkan kualitas pembuatan teks-ke-gambar dalam Model Difusi Latent dengan memungkinkan pembuatan gambar yang lebih cepat dan berkualitas tinggi dengan lebih sedikit langkah. | Colab Kartu Model |
| LLaVA 1.5 | Penglihatan, Bahasa | Men-deploy model LLaVA 1.5. | Colab Kartu Model |
| Pytorch-ZipNeRF | Visi, Video | Latih model Pytorch-ZipNeRF yang merupakan penerapan algoritma ZipNeRF yang canggih dalam framework Pytorch, yang dirancang untuk rekonstruksi 3D yang efisien dan akurat dari gambar 2D. | Colab Kartu Model |
| WizardLM | Language | Deploy WizardLM yang merupakan model bahasa besar (LLM) yang dikembangkan oleh Microsoft, yang disesuaikan dengan petunjuk kompleks dengan mengadaptasi metode Evol-Instruksi. | Colab Kartu Model |
| WizardCoder | Language | Deploy WizardCoder yang merupakan model bahasa besar (LLM) yang dikembangkan oleh Microsoft. Fitur ini disesuaikan dengan petunjuk kompleks dengan menyesuaikan metode Evol-Instructions ke domain kode. | Colab Kartu Model |
| Mixtral 8x7 M | Language | Deploy model Mixtral 8x7B yang merupakan model bahasa besar (LLM) Mixture of Experts (MoE) yang dikembangkan oleh Mistral AI. Model ini merupakan model khusus decoder dengan parameter 46,7 miliar dan dilaporkan memiliki kecocokan atau mengungguli LLaMA 2 70B dan GPT 3.5 pada banyak tolok ukur. | Colab Kartu Model |
| Llama 2 (Dikuantisasi) | Language | Sesuaikan & deploy versi terkuantisasi model Llama 2 Meta. | Colab Kartu Model |
| LaMa (Inpainting Mask Besar) | Vision | Deploy LaMa yang menggunakan konvolusi Fourier (FFC) yang cepat, kehilangan persepsi bidang yang reseptif tinggi dan mask pelatihan yang besar memungkinkan inpainting gambar yang tangguh dengan resolusi. | Colab Kartu Model |
| AutoGluon | Tabular | Dengan AutoGluon, Anda dapat melatih dan men-deploy model machine learning dan deep learning berakurasi tinggi untuk data tabel. | Colab Kartu Model |
Daftar model partner yang tersedia di Model Garden
Tabel berikut mencantumkan model yang tersedia dari partner Google di Model Garden:
| Nama model | Modalitas | Deskripsi | Panduan memulai |
|---|---|---|---|
| Claude 3 Sonnet Antropik | Language | Model visi dan teks seimbang yang memadukan kecerdasan dan kecepatan untuk workload perusahaan. Layanan ini dirancang untuk deployment AI berskala rendah dan berbiaya rendah. | Kartu Model |
| Claude 3 Haiku Antropik | Language | Visi dan model teks tercepat dan paling ringkas dari Anthropic untuk respons cepat terhadap kueri sederhana. Hal ini dimaksudkan untuk pengalaman AI yang meniru interaksi manusia. | Kartu Model |
Cara menggunakan kartu model
Klik kartu model untuk menggunakan model yang terkait dengannya. Misalnya, Anda dapat mengklik kartu model untuk menguji perintah, menyesuaikan model, membuat aplikasi, dan melihat contoh kode.
Untuk mempelajari cara menggunakan model yang terkait dengan kartu model, klik salah satu tab berikut:
Perintah pengujian
Gunakan kartu model Vertex AI PaLM API untuk menguji perintah.
Di Konsol Google Cloud, buka halaman Model Garden.
Temukan model yang didukung yang ingin Anda uji, lalu klik Lihat detail.
Klik Open perintah design.
Anda akan diarahkan ke halaman Prompt design.
Di Prompt, masukkan perintah yang ingin diuji.
Opsional: Konfigurasikan parameter model.
Klik Submit.
Menyesuaikan model
Untuk menyesuaikan model yang didukung, gunakan pipeline Vertex AI atau notebook.
Menyesuaikan menggunakan pipeline
Model BERT dan T5-FLAN mendukung penyesuaian model menggunakan pipeline.
Di Konsol Google Cloud, buka halaman Model Garden.
Di Search models, masukkan BERT atau T5-FLAN, lalu klik kaca pembesar untuk melakukan penelusuran.
Klik Lihat detail pada kartu model T5-FLAN atau BERT.
Klik Open fine-tuning pipeline.
Anda akan diarahkan ke halaman pipeline Vertex AI.
Untuk memulai penyesuaian, klik Create run.
Menyesuaikan di notebook
Kartu model untuk sebagian besar model dasar open source dan model yang dapat disesuaikan mendukung penyesuaian di notebook.
Di Konsol Google Cloud, buka halaman Model Garden.
Temukan model yang didukung yang ingin Anda sesuaikan, lalu klik View details.
Klik Open notebook.
Men-deploy model
Kartu model untuk model Stable Diffusion mendukung deployment ke endpoint.
Di Konsol Google Cloud, buka halaman Model Garden.
Temukan model yang didukung dan ingin di-deploy. Pada kartu modelnya, klik View details.
Klik Deploy.
Anda diminta untuk menyimpan salinan model ke Model Registry.
Di Model name, masukkan nama untuk model tersebut.
Klik Save.
Panel Deploy to endpoint akan muncul.
Tentukan endpoint Anda sebagai berikut:
- Endpoint name: Masukkan nama endpoint.
- Region: Pilih region untuk membuat endpoint.
- Akses: Agar endpoint dapat diakses melalui REST API, pilih Standard. Untuk membuat koneksi pribadi ke endpoint, pilih Private.
Klik Lanjutkan.
Ikuti petunjuk di Konsol Google Cloud dan konfigurasikan setelan model Anda.
Klik Continue.
Opsional: Klik tombol Enable model monitoring for this endpoint untuk mengaktifkan pemantauan model.
Klik Deploy.
Lihat contoh kode
Sebagian besar kartu model untuk model solusi khusus tugas berisi contoh kode yang dapat Anda salin dan uji.
Di Konsol Google Cloud, buka halaman Model Garden.
Temukan model yang didukung yang ingin Anda lihat contoh kodenya, lalu klik tab Documentation.
Halaman akan men-scroll ke bagian dokumentasi dengan kode contoh yang disematkan.
Membuat aplikasi vision
Kartu model untuk model computer vision yang berlaku mendukung pembuatan aplikasi vision.
Di Konsol Google Cloud, buka halaman Model Garden.
Temukan model vision di bagian solusi khusus Tugas yang ingin Anda gunakan untuk membuat aplikasi vision, lalu klik View details.
Klik Build app.
Anda akan diarahkan ke Vertex AI Vision.
Di Application name, masukkan nama untuk aplikasi Anda, lalu klik Continue.
Pilih paket penagihan, lalu klik Create.
Anda akan diarahkan ke Vertex AI Vision Studio tempat Anda dapat melanjutkan pembuatan aplikasi computer vision.
Harga
Untuk model open source di Model Garden, Anda akan dikenai biaya untuk penggunaan berikut di Vertex AI:
- Penyesuaian model: Anda akan dikenai biaya untuk resource komputasi yang digunakan dengan tarif yang sama seperti pelatihan kustom. Lihat harga pelatihan kustom.
- Deployment model: Anda dikenai biaya untuk resource komputasi yang digunakan untuk men-deploy model ke endpoint. Lihat harga prediksi.
- Colab Enterprise: Lihat Harga Colab Enterprise.
Langkah selanjutnya
- Pelajari praktik terbaik responsible AI dan filter keamanan Vertex AI.
- Pelajari AI Generatif di Vertex AI.
- Pelajari cara menyesuaikan model dasar.