Model Garden in der Google Cloud Console ist eine ML-Modellbibliothek, mit der Sie Google-eigene Modelle sowie ausgewählte OSS-Modelle und -Assets entdecken, testen, anpassen und bereitstellen können.
In den folgenden Themen werden die in Model Garden verfügbaren KI-Modelle und deren Verwendung vorgestellt.
Modelle entdecken
Die Liste der verfügbaren Vertex AI- und Open Source-Modelle, die stimmbaren und aufgabenspezifischen Modelle finden Sie in der Google Cloud Console auf der Seite "Model Garden".
Folgende Modellkategorien sind in Model Garden verfügbar:
| Kategorie | Beschreibung |
|---|---|
| Basismodelle | Vortrainierte große Modelle mit mehreren Aufgaben, die mithilfe von Vertex AI Studio, Vertex AI API und Vertex AI SDK für Python für bestimmte Aufgaben optimiert oder angepasst werden können. |
| Abstimmbare Modelle | Modelle, die Sie mit einem benutzerdefinierten Notebook oder einer Pipeline optimieren können |
| Aufgabenspezifische Lösungen | Die meisten dieser vordefinierten Modelle sind einsatzbereit. Viele können mit Ihren eigenen Daten angepasst werden. |
Geben Sie Folgendes an, um Modelle im Filterbereich zu filtern:
- Modalitäten: Klicken Sie auf die Modalitäten (Datentypen), die Sie im Modell verwenden möchten.
- Aufgaben: Klicken Sie auf die Aufgabe, die das Modell ausführen soll.
- Features: Klicken Sie auf die gewünschten Features im Modell.
Weitere Informationen zu den einzelnen Modellen erhalten Sie, wenn Sie auf die Modellkarte klicken.
In Model Garden verfügbare Modelle
Sie können in Model Garden eigene Modelle von Google finden und Open-Source-Modelle auswählen.
Liste der eigenen Modelle von Google
In der folgenden Tabelle sind die eigenen Modelle von Google aufgeführt, die in Model Garden verfügbar sind:
| Modellname | Modalität | Beschreibung | Kurzanleitungen |
|---|---|---|---|
| Gemini 1.5 Flash | Sprache, Audio, Vision | Das schnellste, kostengünstigste multimodale Modell von Gemini. Es wurde für Aufgaben mit hohem Volumen und latenzempfindliche, günstige Anwendungen entwickelt. Aufgrund der Reaktionsfähigkeit von Gemini 1.5 Flash ist es eine gute Option, Chatassistenten und On-Demand-Anwendungen zur Inhaltsgenerierung zu erstellen. | Modellkarte |
| Gemini 1.5 Pro, | Sprache, Audio, Vision | Multimodales Modell, das das Hinzufügen von Bild-, Audio-, Video- und PDF-Dateien in Text- oder Chat-Prompts für eine Text- oder Codeantwort unterstützt. | Modellkarte |
| Gemini 1.0 Pro | Sprache | Entwickelt für Natural Language-Aufgaben, Text- und Code-Chats in mehreren Schritten und die Codegenerierung. | Modellkarte |
| Gemini 1.0 Pro Vision | Sprache, Vision | Multimodales Modell, das das Hinzufügen von Bild-, Audio-, Video- und PDF-Dateien in Text- oder Chat-Prompts für eine Text- oder Codeantwort unterstützt. | Modellkarte |
| PaLM 2 für Text | Sprache | Optimiert, um Anweisungen in natürlicher Sprache zu folgen, und für eine Vielzahl von Sprachaufgaben geeignet. | Modellkarte |
| PaLM 2 für Chat | Sprache | Für natürliche Unterhaltungen optimiert. Verwenden Sie dieses Modell, um Ihre eigene Chatbot-Anwendung zu erstellen und anzupassen. | Modellkarte |
| Codey für Codevervollständigung | Sprache | Generiert Code auf Basis von Codeaufforderungen Geeignet für Codevorschläge und das Minimieren von Programmfehlern im Code. | Modellkarte |
| Codey für Codegenerierung | Sprache | Erzeugt Code anhand einer Natural Language-Eingabe. Ideal zum Schreiben von Funktionen, Klassen, Einheitentests und mehr. | Modellkarte |
| Codey für Codechat. | Sprache | Code-Unterstützung über eine natürliche Unterhaltung erhalten. Nützlich für Fragen zu APIs, Syntax in einer unterstützten Sprache und mehr. | Modellkarte |
| Einbettungen für Text | Sprache | Wandelt Textdaten in numerische Vektoren um, die von maschinellen Lernalgorithmen verarbeitet werden können, insbesondere von großen Modellen. | Modellkarte |
| Imagen für die Bildgenerierung | Vision | Erstellen oder bearbeiten Sie Bilder in Studioqualität im großen Stil mit Text-Prompts. | Modellkarte |
| Imagen für Untertitel und VQA | Sprache | Generiert eine relevante Beschreibung für ein bestimmtes Bild. | Modellkarte |
| Einbettungen für multimodale Konfigurationen | Vision | Auf Bildern basierende, generiert Vektoren, die für nachgelagerte Aufgaben wie die Bildklassifizierung und Bildsuche verwendet werden können. | Modellkarte |
| Chirp | Speech | Eine Version eines universellen Sprachmodells mit über 2 Milliarden Parametern, das in einem einzigen Modell in über 100 Sprachen transkribiert werden kann. | Modellkarte |
Liste der Modelle mit Open-Source-Abstimmung oder Bereitstellung von Schemas in Model Garden
In der folgenden Tabelle sind die OSS-Modelle aufgeführt, die Open-Source-Abstimmungs- oder Bereitstellungsschemas in Model Garden unterstützen:
| Modellname | Modalität | Beschreibung | Kurzanleitung |
|---|---|---|---|
| Llama 3.2 | Sprache | Eine Sammlung mehrsprachiger Large Language Models, die vortrainierte und anweisungsorientierte generative Modelle in den Größen 1 B und 3 B sind. | Modellkarte |
| Llama 3.2-Vision | Sprache, Vision | Eine Sammlung multimodaler Large Language Models, die vortrainierte und anweisungsorientierte generative Modelle für die Bilderkennung mit einer Größe von 11 Milliarden und 90 Milliarden Parametern sind. Diese Modelle sind für die visuelle Erkennung, Bildberechnung, Untertitelung und Beantwortung allgemeiner Fragen zu einem Bild optimiert. | Modellkarte |
| Llama Guard 3 | Sprache | Ein vortrainiertes Llama-3.1-8B-Modell, das für die Klassifizierung der Sicherheit von Inhalten optimiert wurde. | Modellkarte |
| Qwen2 | Sprache | Qwen2 bereitstellen, eine Large Language Model-Reihe der Foundation | Colab Modellkarte |
| Phi-3 | Sprache | Phi-3 bereitstellen, eine Large Language Model-Reihe der Foundation | Colab Modellkarte |
| E5 | Sprache | Stellen Sie E5 bereit, eine Texteinbettungsmodell-Serie. | Colab Modellkarte |
| Instant-ID | Sprache, Vision | Instant ID ist ein Modell zur Text-zu-Bild-Generierung, das die Identität der Person bewahrt. | Colab Modellkarte |
| Llama 3 | Sprache | Llama 3-Modelle von Meta (8B, 70B, 405B) in Vertex AI untersuchen und damit Modelle erstellen | Modellkarte |
| Gemma 2 | Sprache | Öffnen Sie Gewichtsmodelle (2B, 7B), die auf derselben Forschung und Technologie basieren, die auch zum Erstellen der Gemini-Modelle von Google verwendet werden. | Modellkarte |
| Gemma | Sprache | Öffnen Sie Gewichtsmodelle (2B, 7B), die auf derselben Forschung und Technologie basieren, die auch zum Erstellen der Gemini-Modelle von Google verwendet werden. | Modellkarte |
| CodeGemma | Sprache | Offene Gewichtsmodelle (2B, 7B), die für die Codegenerierung und Codevervollständigung entwickelt wurden und auf der gleichen Forschung und Technologie basieren, die auch zum Erstellen der Gemini-Modelle von Google verwendet werden. | Modellkarte |
| PaliGemma | Sprache | Offenes Gewicht 3B-Modell, das für Bilduntertitel-Aufgaben und visuelle Fragen- und Beantwortungsaufgaben entwickelt wurde, die auf derselben Forschung und Technologie basieren, die auch zum Erstellen der Gemini-Modelle von Google verwendet werden. | Modellkarte |
| Vicuna v1.5 | Sprache | Stellen Sie Modelle der Serie Vicuna v1.5 bereit. Dies sind Basismodelle, die von LLama2 für die Textgenerierung optimiert wurden. | Modellkarte |
| NLLB | Sprache | NLLB-Modelle für die Übersetzung in mehreren Sprachen bereitstellen. | Modellkarte Colab |
| Mistral-7B | Sprache | Stellen Sie Mistral-7B bereit, ein Foundation Model für die Textgenerierung. | Modellkarte |
| BioGPT | Sprache | Stellen Sie BioGPT bereit, ein generatives Textmodell für den biomedizinischen Bereich. | Modellkarte Colab |
| BiomedCLIP | Sprache, Vision | Stellen Sie BiomedCLIP bereit, ein multimodales Foundation Model für den biomedizinischen Bereich. | Modellkarte Colab |
| ImageBind | Sprache, Vision, Audio |
Stellen Sie ImageBind bereit, ein grundlegendes Modell für die multimodale Einbettung. | Modellkarte Colab |
| DITO | Sprache, Vision | Stellen Sie DITO, ein multimodales Foundation Model für offene Objekterkennungsaufgaben, bereit und optimieren Sie es. | Modellkarte Colab |
| OWL-ViT v2 | Sprache, Vision | Stellen Sie OWL-ViT v2 bereit, ein multimodales Foundation Model für offene Vokabularerkennungsaufgaben. | Modellkarte Colab |
| FaceStylizer (Mediapipe) | Vision | Eine generative Pipeline, um Bilder menschlicher Gesichter in einen neuen Stil zu transformieren. | Modellkarte Colab |
| Llama 2 | Sprache | Llama 2-Grundlagenmodelle von Meta (7B, 13B, 70B) können in Vertex AI optimiert und bereitgestellt werden. | Modellkarte |
| Code Llama | Sprache | Die Code Llama-Grundlagenmodelle von Meta (7B, 13B, 34B) auf Vertex AI bereitstellen. | Modellkarte |
| Falcon-Anleitung | Sprache | Falcon-Anleitungsmodelle (7B, 40B) mit PEFT optimieren und bereitstellen. | Colab Modellkarte |
| OpenLLaMA | Sprache | OpenLLaMA-Modelle (3B, 7B, 13B) mithilfe von PEFT optimieren und bereitstellen. | Colab Modellkarte |
| T5-FLAN | Sprache | T5-FLAN optimieren und bereitstellen (Basis, klein, groß). | Modellkarte (Pipeline zur Feinabstimmung enthalten) |
| BERT | Sprache | BERT mit PEFT optimieren und bereitstellen. | Colab Modellkarte |
| BART-large-cnn | Sprache | Bereitstellung von BART, einem Transformer-Encoder-Encoder-Modell (seq2seq) mit einem bidirektionalen (BERT-ähnlichen) Encoder und einem autoregressiven (GPT-ähnlichen) Decoder. | Colab Modellkarte |
| RoBERTa-large | Sprache | RoBERTa-Large mithilfe von PEFT optimieren und bereitstellen. | Colab Modellkarte |
| XLM-RoBERTa-large | Sprache | Feinabstimmung und Bereitstellung von XLM-RoBERTa-large (mit einer mehrsprachigen Version von RoBERTa) mithilfe von PEFT. | Colab Modellkarte |
| Dolly-v2-7b | Sprache | Dolly-v2-7b bereitstellen, ein anweisungsorientiertes Large Language Model mit 6,9 Milliarden Parametern. | Colab Modellkarte |
| Stable Diffusion XL v1.0 | Sprache, Vision | Stable Diffusion XL v1.0 mit Unterstützung für Text-zu-Bild-Generierung bereitstellen. | Colab Modellkarte |
| Stable Diffusion XL Lightning | Sprache, Vision | Stable Diffusion XL Lightning, ein Modell zur Text-zu-Bild-Generierung, bereitstellen. | Colab Modellkarte |
| Stable Diffusion v2.1 | Sprache, Vision | Stable Diffusion v2.1 (unterstützt Text-zu-Bild-Generierung) mithilfe von Dreambooth optimieren und bereitstellen. | Colab Modellkarte |
| Stable Diffusion 4x upscaler | Sprache, Vision | Stable Diffusion 4x Upscaler bereitstellen, der die Superauflösung von textbedingten Bildern unterstützt. | Colab Modellkarte |
| InstructPix2Pix | Sprache, Vision | InstructPix2Pix bereitstellen, das Bildbearbeitung mithilfe von Textaufforderungen unterstützt. | Colab Modellkarte |
| Stable Diffusion Inpainting | Sprache, Vision | Verfeinern und Bereitstellen von Stable Diffusion Inpainting mit Unterstützung für das Malen in einem maskierten Bild mithilfe einer Textaufforderung. | Colab Modellkarte |
| SAM | Sprache, Vision | Die Funktion „Segment Anything“ bereitstellen, die die Zero-Shot-Bildsegmentierung unterstützt. | Colab Modellkarte |
| Text-to-Video (ModelScope) | Sprache, Vision | ModelScope Text-to-Video bereitstellen, was die Generierung von Text-zu-Video unterstützt. | Colab Modellkarte |
| Pic2Word Composed Image Retrieval | Sprache, Vision | Pic2Word mit Unterstützung für multimodale zusammengesetzte Bildabrufe bereitstellen. | Colab Modellkarte |
| BLIP2 | Sprache, Vision | BLIP2 bereitstellen, das Bilduntertitel und visuelles Question Answering unterstützt. | Colab Modellkarte |
| Open-CLIP | Sprache, Vision | Open-CLIP abstimmen und bereitstellen, das Zero-Shot-Klassifizierung unterstützt. | Colab Modellkarte |
| F-VLM | Sprache, Vision | F-VLM bereitstellen, das die Objekterkennung im Bild mit offenem Vokabular unterstützt | Colab Modellkarte |
| tfhub/EfficientNetV2 | Vision | TensorFlow Vision-Implementierung des Bildklassifizierungsmodells EfficientNetV2 optimieren und bereitstellen. | Colab Modellkarte |
| EfficientNetV2 (TIMM) | Vision | PyTorch-Implementierung des EfficientNetV2-Bild-Klassifizierungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| Proprietary/EfficientNetV2 | Vision | Google-eigenen Prüfpunkt des EfficientNetV2-Bildklassifizierungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| EfficientNetLite (MediaPipe) | Vision | EfficientNetLite-Bildklassifizierungsmodell über den MediaPipe-Modellersteller optimieren. | Colab Modellkarte |
| tfvision/vit | Vision | TensorFlow Vision-Implementierung des ViT-Bildklassifizierungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| ViT (TIMM) | Vision | PyTorch-Implementierung des ViT-Bildklassifizierungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| Proprietary/ViT | Vision | Google-eigenen Prüfpunkt des ViT-Bildklassifizierungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| Proprietary/MaxViT | Vision | Google-eigenen Prüfpunkt des MaxViT-Hybrid-Bildklassifizierungsmodells (CNN + ViT) optimieren und bereitstellen. | Colab Modellkarte |
| ViT (JAX) | Vision | JAX-Implementierung des ViT-Bildklassifizierungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| tfvision/SpineNet | Vision | TensorFlow Vision-Implementierung des SpineNet-Objekterkennungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| Proprietary/Spinenet | Vision | Google-eigenen Prüfpunkt des SpineNet-Objekterkennungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| tfvision/YOLO | Vision | TensorFlow Vision-Implementierung des einstufigen YOLO-Objekterkennungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| Proprietary/YOLO | Vision | Google-eigenen Prüfpunkt des einstufigen YOLO-Objekterkennungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| YOLOv8 (Keras) | Vision | Keras-Implementierung des YOLOv8-Modells zur Objekterkennung optimieren und bereitstellen. | Colab Modellkarte |
| tfvision/YOLOv7 | Vision | YOLOv7-Modell für die Objekterkennung optimieren und bereitstellen. | Colab Modellkarte |
| Video-Objektverfolgung von ByteTrack | Vision | Mit der Video-Objektverfolgung von ByteTrack eine Batchvorhersage ausführen. | Colab Modellkarte |
| ResNeSt (TIMM) | Vision | PyTorch-Implementierung des ResNeSt-Bildklassifizierungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| ConvNeXt (TIMM) | Vision | Optimieren und Bereitstellen von ConvNeXt, einem reinen Faltungsmodell für die Bildklassifizierung, das durch das Design von Vision-Transformern inspiriert ist. | Colab Modellkarte |
| CspNet (TIMM) | Vision | Bildklassifizierungsmodell CSPNet (Cross Stage Partial Network) optimieren und bereitstellen. | Colab Modellkarte |
| Inception (TIMM) | Vision | Inception-Bildklassifizierungsmodell optimieren und bereitstellen. | Colab Modellkarte |
| DeepLabv3+ (mit Prüfpunkt) | Vision | DeepLab-v3 Plus-Modell für die semantische Bildsegmentierung optimieren und bereitstellen. | Colab Modellkarte |
| Faster R-CNN (Detectron2) | Vision | Detectron2-Implementierung des schnelleren R-CNN-Modells zur Bildobjekterkennung optimieren und bereitstellen. | Colab Modellkarte |
| RetinaNet (Detectron2) | Vision | Detectron2-Implementierung des RetinaNet-Modells für die Bildobjekterkennung optimieren und bereitstellen. | Colab Modellkarte |
| Mask R-CNN (Detectron2) | Vision | Detectron2-Implementierung des Mask R-CNN-Modells für die Bildobjekterkennung und -segmentierung optimieren und bereitstellen. | Colab Modellkarte |
| ControlNet | Vision | Text-zu-Bild-Generierungsmodell von ControlNet optimieren und bereitstellen. | Colab Modellkarte |
| MobileNet (TIMM) | Vision | PyTorch-Implementierung des MobileNet-Bildklassifizierungsmodells optimieren und bereitstellen. | Colab Modellkarte |
| MobileNetV2-Bildklassifizierung (MediaPipe) | Vision | MobileNetV2-Bildklassifizierungsmodells mit dem MediaPipe-Modell-Maker optimieren. | Colab Modellkarte |
| Objekterkennung von MobileNetV2 (MediaPipe) | Vision | MobileNetV2-Objekterkennungsmodells mit dem MediaPipe-Modell-Maker optimieren. | Colab Modellkarte |
| MobileNet-MultiHW-AVG (MediaPipe) | Vision | MobileNet-MultiHW-AVG-Objekterkennungsmodell mit dem MediaPipe-Modell-Maker optimieren. | Colab Modellkarte |
| DeiT | Vision | DeiT-Modell (Data-Efficient Image Transformers) für die Bildklassifizierung optimieren und bereitstellen. | Colab Modellkarte |
| BEiT | Vision | BEiT-Modell (Darstellung eines bidirektionalen Encoders aus Bildtransformatoren) für die Bildklassifizierung optimieren und bereitstellen. | Colab Modellkarte |
| Handbewegungserkennung (MediaPipe) | Vision | Modelle zur Handgestenerkennung mithilfe von MediaPipe optimieren und auf dem Gerät bereitstellen. | Colab Modellkarte |
| Klassifikator für durchschnittliche Worteinbettungen (MediaPipe) | Vision | Klassifikatormodelle für durchschnittliche Worteinbettungen mithilfe von MediaPipe optimieren und auf dem Gerät bereitstellen. | Colab Modellkarte |
| MobileBERT-Klassifikator (MediaPipe) | Vision | MobileBERT-Klassifikatormodelle mithilfe von MediaPipe auf dem Gerät optimieren und bereitstellen. | Colab Modellkarte |
| MoViNet-Videoclip-Klassifizierung | Video | MoViNet-Klassifizierungsmodelle für Videoclips optimieren und bereitstellen. | Colab Modellkarte |
| MoViNet-Videoaktionserkennung | Video | MoViNet-Modelle für die Aktionserkennung optimieren und bereitstellen. | Colab Modellkarte |
| Stable Diffusion XL LCM | Vision | Stellen Sie dieses Modell bereit, das das LCM (Laten Consistency Model) verwendet, um die Generierung von Text zu Bild in latenten Diffusionsmodellen zu verbessern, indem Sie eine schnellere und hochwertige Bilderstellung mit weniger Schritten ermöglichen. | Colab Modellkarte |
| LLaVA 1.5 | Vision, Sprache | Stellen Sie LLaVA 1.5-Modelle bereit. | Colab Modellkarte |
| Pytorch-ZipNeRF | Vision, Video | Trainieren Sie das Pytorch-ZipNeRF-Modell, eine hochmoderne Implementierung des ZipNeRF-Algorithmus im Pytorch-Framework, die für eine effiziente und genaue 3D-Rekonstruktion aus 2D-Bildern entwickelt wurde. | Colab Modellkarte |
| Mixtral | Sprache | Stellen Sie das Mixtral-Modell bereit. Dies ist ein von Mistral AI entwickeltes MoE (Mixture of Experts) LLM-Modell. | Modellkarte |
| Llama 2 (quantisiert) | Sprache | Quantisierte Version der Llama 2-Modelle von Meta optimieren und bereitstellen. | Colab Modellkarte |
| LaMa (Große Maskenübermalung) | Vision | Stellen Sie LaMa bereit, das schnelle Fourier-Faltungen (FFCs), einen hohen empfänglichen Feldwahrnehmungsverlust und große Trainingsmasken verwendet, die ein auflösungsstarkes Bild-Inpainting ermöglichen. | Colab Modellkarte |
| AutoGluon | Tabellarisch | Mit AutoGluon können Sie hochpräzise ML- und Deep-Learning-Modelle für tabellarische Daten trainieren und bereitstellen. | Colab Modellkarte |
| MaMMUT | Sprache, Vision | Eine Architektur mit einem Bild-Encoder und einem Text-Decoder für multimodale Aufgaben wie visuelles Frage-Antwort-Spiel, Bild-Text-Retrieval, Text-Bild-Retrieval und Generierung von multimodalen Einbettungen. | Colab Modellkarte |
Liste der in Model Garden verfügbaren Partnermodelle
Einige Partnermodelle werden in Vertex AI Model Garden als verwaltete APIs (auch Model as a Service genannt) angeboten. In der folgenden Tabelle sind die Modelle aufgeführt, die von Google-Partnern in Model Garden verfügbar sind:
| Modellname | Modalität | Beschreibung | Kurzanleitung |
|---|---|---|---|
| Anthropic Claude 3.5 Sonnet | Sprache | Das leistungsstärkste KI-Modell von Anthropic, das die Geschwindigkeit und die Kosten von Anthropic Claude 3 Sonnet beibehält. | Modellkarte |
| Anthropic Claude 3 Opus | Sprache | Das zweitstärkste KI-Modell von Anthropic, das bei hochkomplexen Aufgaben eine gute Leistung bietet. | Modellkarte |
| Anthropic Claude 3 Haiku | Sprache | Das schnellste und kompakteste Vision- und Textmodell von Anthropic, das schnelle Antworten auf einfache Anfragen bietet. Es ist für KI-Funktionen gedacht, die menschliche Interaktionen nachahmen. | Modellkarte |
| Anthropic Claude 3 Sonnet | Sprache | Ein Vision- und Textmodell, das Leistung und Geschwindigkeit für die Verarbeitung von Enterprise-Arbeitslasten in Einklang bringt. Es wurde für kostengünstige, skalierte KI-Bereitstellungen entwickelt. | Modellkarte |
| Jamba 1.5 Large (Vorschau) | Sprache | Jamba 1.5 Large von AI21 Labs ist auf herausragende Antworten, hohen Durchsatz und wettbewerbsfähige Preise im Vergleich zu anderen Modellen in dieser Größenklasse ausgelegt. | Modellkarte |
| Jamba 1.5 Mini (Vorschau) | Sprache | Jamba 1.5 Mini von AI21 Labs bietet ein ausgewogenes Verhältnis zwischen Qualität, Durchsatz und niedrigen Kosten. | Modellkarte |
| Llama 3.2 (Vorabversion) | Sprache, Vision | Ein mittelgroßes multimodales Modell mit 90 Milliarden Parametern, das Bildinferenzen unterstützen kann, z. B. Diagramm- und Grafikanalyse sowie Bilduntertitelung. | Modellkarte |
| Llama 3.1 (Vorabversion) | Sprache | Eine Sammlung mehrsprachiger LLMs, die für mehrsprachige Dialoganwendungsfälle optimiert sind und im Vergleich zu gängigen Branchen-Benchmarks viele der verfügbaren Open-Source- und geschlossenen Chatmodelle übertreffen. | Modellkarte |
| Mistral Large (2407) | Sprache | Mistral Large (2407) ist das Flagship-Modell von Mistral AI für die Textgenerierung. Es erreicht erstklassige Logikleistungen und kann für komplexe mehrsprachige Aufgaben wie Textverständnis, Transformation und Codegenerierung verwendet werden. | Modellkarte |
| Mistral Nemo | Sprache | Das kostengünstigste proprietäre Modell von Mistral AI. Verwenden Sie Mistral Nemo für Arbeitslasten mit niedriger Latenz und einfache Aufgaben, die im Bulk-Verfahren ausgeführt werden können, z. B. Klassifizierung, Kundensupport und Textgenerierung. | Modellkarte |
| Codestral | Code | Ein generatives Modell, das speziell für die Codegenerierung entwickelt und optimiert wurde. Sie können Codestral verwenden, um erweiterte KI-Anwendungen zu entwerfen. | Modellkarte |
Modellkarten verwenden
Klicken Sie auf eine Modellkarte, um das damit verknüpfte Modell zu verwenden. Sie können beispielsweise auf eine Modellkarte klicken, um Prompts zu testen, ein Modell zu optimieren, Anwendungen zu erstellen und Codebeispiele aufzurufen.
Klicken Sie auf einen der folgenden Tabs, um zu erfahren, wie Sie mit Modellkarten verknüpfte Modelle verwenden:
Testaufforderungen
Verwenden Sie die Vertex AI PaLM API-Modellkarte, um Aufforderungen zu testen.
Rufen Sie in der Google Cloud Console die Seite Model Garden auf.
Suchen Sie nach einem unterstützten Modell, das Sie testen möchten, und klicken Sie auf Details ansehen.
Klicken Sie auf Eingabeaufforderung-Design öffnen.
Sie werden zur Seite Eingabeaufforderungsdesign weitergeleitet.
Geben Sie in das Feld Eingabeaufforderung die Eingabeaufforderung ein, die Sie testen möchten.
Optional: Konfigurieren Sie die Modellparameter.
Klicken Sie auf Senden.
Modell abstimmen
Verwenden Sie zum Optimieren unterstützter Modelle eine Vertex AI-Pipeline oder ein Notebook.
Mit einer Pipeline abstimmen
BERT- und T5-FLAN-Modelle unterstützen die Modelloptimierung mithilfe einer Pipeline.
Rufen Sie in der Google Cloud Console die Seite Model Garden auf.
Geben Sie in Modelle suchen die Namen BERT oder T5-FLAN ein und klicken Sie dann auf die Lupe, um zu suchen.
Klicken Sie auf der T5-FLAN-Modellkarte oder auf der BERT-Modellkarte auf Details ansehen.
Klicken Sie auf Pipeline zur Feinabstimmung öffnen.
Sie werden zur Seite "Vertex AI Pipelines" weitergeleitet.
Klicken Sie auf Ausführung erstellen, um die Feinabstimmung zu starten.
In einem Notebook anhören
Die Modellkarten für die meisten Open-Source-Modellionsmodelle und feinabstimmungbare Modelle unterstützen die Feinabstimmung in einem Notebook.
Rufen Sie in der Google Cloud Console die Seite Model Garden auf.
Suchen Sie nach einem unterstützten Modell, das Sie optimieren möchten, und klicken Sie auf Details ansehen.
Klicken Sie auf Notebook öffnen.
Modell bereitstellen
Sie können ein Modell über die entsprechende Modellkarte bereitstellen, z. B. „Stabile Diffusion“. Beim Bereitstellen eines Modells können Sie eine Compute Engine-Reservierung verwenden. Weitere Informationen finden Sie unter Reservierungen mit Prognose verwenden.
Rufen Sie in der Google Cloud Console die Seite Model Garden auf.
Suchen Sie ein unterstütztes Modell, das Sie bereitstellen möchten, und klicken Sie auf die zugehörige Modellkarte.
Klicken Sie auf Bereitstellen, um den Bereich Modell bereitstellen zu öffnen.
Geben Sie im Bereich Modell bereitstellen Details für die Bereitstellung an.
- Verwenden oder ändern Sie die generierten Modell- und Endpunktnamen.
- Wählen Sie einen Speicherort aus, an dem der Endpunkt für Ihr Modell erstellt werden soll.
- Wählen Sie einen Maschinentyp für jeden Knoten Ihrer Bereitstellung aus.
Wenn Sie eine Compute Engine-Reservierung verwenden möchten, wählen Sie unter Bereitstellungseinstellungen die Option Erweitert aus.
Wählen Sie im Feld Reservierungstyp einen Reservierungstyp aus. Die Reservierung muss mit den angegebenen Maschinenspezifikationen übereinstimmen.
- Erstellte Reservierung automatisch verwenden: Vertex AI wählt automatisch eine zulässige Reservierung mit übereinstimmenden Eigenschaften aus. Wenn in der automatisch ausgewählten Reservierung keine Kapazität vorhanden ist, verwendet Vertex AI den allgemeinen Google Cloud-Ressourcenpool.
- Spezifische Reservierungen auswählen: Vertex AI verwendet eine bestimmte Reservierung. Wenn für die ausgewählte Reservierung keine Kapazität vorhanden ist, wird ein Fehler ausgegeben.
- Nicht verwenden (Standardeinstellung): Vertex AI verwendet den allgemeinen Google Cloud-Ressourcenpool. Dieser Wert hat denselben Effekt wie das Auslassen einer Reservierung.
Klicken Sie auf Bereitstellen.
Codebeispiele ansehen
Die meisten Modellkarten für aufgabenspezifische Lösungsmodelle enthalten Codebeispiele, die Sie kopieren und testen können.
Rufen Sie in der Google Cloud Console die Seite Model Garden auf.
Suchen Sie nach einem unterstützten Modell, für das Sie Codebeispiele aufrufen möchten, und klicken Sie auf den Tab Dokumentation.
Auf der Seite wird zum Abschnitt „Dokumentation“ mit eingebettetem Beispielcode gescrollt.
Vision-App erstellen
Die Modellkarten für anwendbare Modelle für maschinelles Sehen unterstützen die Erstellung einer Vision-Anwendung.
Rufen Sie in der Google Cloud Console die Seite Model Garden auf.
Suchen Sie im Abschnitt „Aufgabenspezifische Lösungen“ nach einem Vision-Modell, das Sie zum Erstellen einer Vision-Anwendung verwenden möchten, und klicken Sie auf Details ansehen.
Klicken Sie auf App erstellen.
Sie werden zu Vertex AI Vision weitergeleitet.
Geben Sie unter Anwendungsname einen Namen für Ihre Anwendung ein und klicken Sie auf Weiter.
Wählen Sie einen Abrechnungstarif aus und klicken Sie auf Erstellen.
Sie werden zu Vertex AI Vision Studio weitergeleitet, wo Sie die Anwendung für maschinelles Sehen weiter erstellen können.
Preise
Für die Open-Source-Modelle in Model Garden wird Ihnen die Nutzung von Vertex AI in Rechnung gestellt:
- Modelloptimierung: Ihnen werden die verwendeten Compute-Ressourcen zum gleichen Preis wie das benutzerdefinierte Training in Rechnung gestellt. Siehe Benutzerdefinierte Trainingspreise.
- Modellbereitstellung: Ihnen werden die Rechenressourcen in Rechnung gestellt, die zur Bereitstellung des Modells auf einem Endpunkt verwendet wurden. Siehe Preise für Vorhersagen.
- Colab Enterprise: Siehe Colab Enterprise-Preise.
Zugriff auf bestimmte Modelle steuern
Sie können eine Model Garden-Organisationsrichtlinie auf Organisations-, Ordner- oder Projektebene festlegen, um den Zugriff auf bestimmte Modelle in Model Garden zu steuern. Sie können beispielsweise den Zugriff auf bestimmte Modelle zulassen, die Sie geprüft haben, und den Zugriff auf alle anderen verweigern.
Nächste Schritte
- Verantwortungsbewusste Best Practices für KI und Sicherheitsfilter von Vertex AI
- Generative AI in Vertex AI
- Grundlagenmodelle optimieren