Generative AI für Vertex AI (auch genAI oder gen AI bezeichnet) bietet Ihnen Zugriff auf Gemini-Modelle und andere große generative KI-Modelle, sodass Sie diese bewerten, optimieren und für den Einsatz in KI-gestützten Anwendungen bereitstellen können. Diese Seite bietet eine Übersicht über den Workflow der generativen KI in Vertex Generative AI, die verfügbaren APIs und Modelle (einschließlich der Vertex AI API für Gemini), und Links zu Ressourcen für den Einstieg.
Workflow generativer KI
Das folgende Diagramm bietet eine allgemeine Übersicht über den Workflow generativer KI.
Eingabeaufforderung
|
Der Generative AI-Workflow beginnt in der Regel mit Prompts. Ein Prompt ist eine Anfrage, die an ein generatives KI-Modell gesendet wird, um eine Antwort auszulösen. Je nach Modell kann ein Prompt Text, Bilder, Videos, Audio, Dokumente und andere oder sogar mehrere Modalitäten (multimodal) enthalten. Das Erstellen eines Prompts zum Abrufen der gewünschten Antwort vom Modell ist eine Methode, die als Prompt-Design bezeichnet wird. Das Prompt-Design ist zwar ein Versuch-und-Irrtums-Prozess, aber es gibt Prompt-Design-Prinzipien und -Strategien, mit denen Sie das Modell dazu bewegen können, sich wie gewünscht zu verhalten. Vertex AI Studio bietet ein Tool zur Prompt-Verwaltung, mit dem Sie Ihre Prompts verwalten können. |
Basismodelle
|
Prompts werden zur Antwortgenerierung an ein generatives KI-Modell gesendet. Vertex Generative AI bietet eine Vielzahl von generativen KI-Foundation Models, auf die über eine verwaltete API zugegriffen werden kann. Dazu gehören:
Die Modelle unterscheiden sich in Größe, Modalität und Kosten. Sie können Google-Modelle sowie offene Modelle und Modelle von Google-Partnern in Model Garden erkunden. |
Modellanpassung
|
Sie können das Standardverhalten der Grundlagenmodelle von Google so anpassen, dass sie die gewünschten Ergebnisse konsistent mit komplexen Prompts generieren. Dieser Anpassungsprozess wird als Modellabstimmung bezeichnet. Durch die Modelloptimierung können Sie die Kosten und Latenz Ihrer Anfragen reduzieren, indem Sie die Prompts vereinfachen. Vertex Generative AI bietet auch Tools zur Modellbewertung, mit denen Sie die Leistung Ihres feinabgestimmten Modells bewerten können. Sobald Ihr abgestimmtes Modell produktionsbereit ist, können Sie es auf einem Endpunkt bereitstellen und die Leistung wie in standardmäßigen MLOps-Workflows überwachen. |
Erweiterung anfordern
|
Vertex Generative AI bietet auf Anfrage mehrere Erweiterungsoptionen, die dem Modell Zugriff auf externe APIs und Echtzeitinformationen gewähren.
|
Zitationsprüfung
|
Nachdem die Antwort generiert wurde, prüft Vertex Generative AI, ob Zitationen in die Antwort aufgenommen werden müssen. Wenn ein beträchtlicher Teil des Antworttextes aus einer bestimmten Quelle stammt, wird diese Quelle den Zitationsmetadaten in der Antwort hinzugefügt. |
Verantwortungsbewusste KI und Sicherheit
|
Die letzte Prüfungsebene, die den Prompt und die Antwort durchlaufen, bevor sie zurückgegeben werden, sind die Sicherheitsfilter. Vertex Generative AI prüft sowohl die Prompts als auch die Antwort darauf, wie stark der Prompt oder Antwort zu einer Sicherheitskategorie gehört. Wenn der Schwellenwert für eine oder mehrere Kategorien überschritten wird, wird die Antwort blockiert und Vertex Generative AI gibt eine Fallback-Antwort zurück. |
Antwort
|
Wenn der Prompt und die Antwort die Sicherheitsfilterprüfungen bestehen, wird die Antwort zurückgegeben. Normalerweise wird die Antwort alle auf einmal zurückgegeben. Sie können Antworten aber auch schrittweise empfangen, während sie generiert werden, indem Sie das Streaming aktivieren. |
APIs und Modelle für generative KI
Die in Vertex Generative AI verfügbaren generativen KI-Modelle, auch Basismodelle genannt, werden nach der Art der Inhalte kategorisiert, die sie generieren soll. Zu diesen Inhalten gehören Text, Chat, Bilder, Code, Video, multimodale Daten und Einbettungen. Jedes Modell wird über einen Publisher-Endpunkt bereitgestellt, der für Ihr Google Cloud-Projekt spezifisch ist. Daher muss das Foundation Model nicht bereitgestellt werden, es sei denn, Sie müssen es für einen bestimmten Anwendungsfall optimieren.
Angebote für die Gemini AP
Die Vertex AI Gemini API enthält die Publisher-Endpunkte für die von Google DeepMind entwickelten Modelle. Sie können die Vertex AI API für Gemini in dieser Kurzanleitung testen.
- Gemini 1.5 Flash ist ein multimodales Modell, mit dem Sie Textgenerierungs- und Chat-Anwendungen erstellen können. Sie können Text, Bilder, Audio, Video und PDF-Dateien in Ihre Prompt-Anfragen aufnehmen. Diese Version nutzt dasselbe Kontextfenster wie Gemini 1.5 Pro, um große Mengen multimodaler Daten zu verarbeiten. Gemini 1.5 Flash ist kleiner und schneller als Gemini 1.5 Pro und eignet sich daher gut zum Erstellen von Chatassistenten und Anwendungen zur Generierung von On-Demand-Inhalten.
- Gemini 1.5 Pro unterstützt multimodale Prompts. Sie können Text, Bilder, Audio-, Video- und PDF-Dateien in Ihre Prompt-Anfragen aufnehmen und Text- oder Codeantworten erhalten. Gemini 1.5 Pro kann größere Sammlungen von Bildern, größere Textdokumente und längere Videos als Gemini 1.0 Pro Vision verarbeiten.
- Gemini 1.0 Pro wurde für Natural Language-Aufgaben, Text- und Code-Chats in mehreren Schritten und die Codegenerierung entwickelt.
- Gemini 1.0 Pro Vision unterstützt multimodale Prompts. Sie können Text, Bilder, Videos und PDFs in Ihre Anfragen aufnehmen und Text- oder Codeantworten erhalten.
Die folgende Tabelle zeigt einige Unterschiede zwischen den Gemini-Modellen, anhand derer Sie das für Sie am besten geeignete Modell auswählen können:
| Gemini-Modell | Betriebsarten | Verlaufszeitraum |
|---|---|---|
| Gemini 1.5 Flash |
|
|
| Gemini 1.5 Pro, |
|
|
| Gemini 1.0 Pro / Gemini 1.0 Pro Vision |
|
|
Andere Angebote für generative KI
Durch die Texteinbettung werden Vektoreinbettungen für Eingabetext generiert. Sie können Einbettungen für Aufgaben wie die semantische Suche, die Empfehlung, Klassifizierung und die Ausreißererkennung verwenden.
Die multimodale Einbettung generiert Vektoreinbettungen basierend auf Bild- und Texteingaben. Diese Einbettungen können später für andere nachfolgende Aufgaben wie die Bildklassifizierung oder Inhaltsempfehlungen verwendet werden.
Mit Imagen, unserem Text-to-Image Foundation Model, können Sie skalierte Bilder in Studioqualität generieren und anpassen.
Partnermodelle sind eine ausgewählte Liste generativer KI-Modelle, die von Partnerunternehmen von Google entwickelt wurden. Diese generativen KI-Modelle werden als verwaltete APIs angeboten. Anthropic stellt beispielsweise seine Claude-Modelle als Dienst für Vertex Generative AI bereit.
Offene Modelle wie Llama stehen Ihnen zur Bereitstellung auf Vertex Generative AI oder anderen Plattformen zur Verfügung.
MedLM ist eine Familie von Foundation Models, die für die Gesundheitsbranche optimiert wurden.
Zertifizierungen und Sicherheitskontrollen
Vertex Generative AI unterstützt CMEK, VPC Service Controls, Datenstandort und Access Transparency. Es gibt einige Einschränkungen für Funktionen der generativen KI. Weitere Informationen finden Sie unter Generative AI-Sicherheitskontrollen.
Mehr erfahren
- Wagen Sie sich an eine Kurzeinführung mit Generative AI Studio oder der Vertex AI API.
- Vortrainierte Modelle in Model Garden untersuchen.
- Sehen Sie sich die Referenz zum Vertex AI Gemini API SDK für Python, Node.js ,Java ,Go oder C#an.
- Foundation Model optimieren
- Best Practices für die verantwortungsbewusste Anwendung von KI und Sicherheitsfilter von Vertex Generative AI
- Informationen zu Kontingenten und Limits
- Informationen zu Preisen.