Generative AI für Vertex AI (auch als genAI oder Gen AI bezeichnet) bietet Ihnen Zugriff auf viele große generative KI-Modelle, damit Sie diese bewerten, optimieren und bereitstellen können. für den Einsatz in KI-gestützten Anwendungen. Auf dieser Seite erhalten Sie einen Überblick über den Workflow der generativen KI in Vertex AI sowie die verfügbaren Features und Modelle. Außerdem werden Sie zu Ressourcen für den Einstieg weitergeleitet.
Workflow generativer KI
Das folgende Diagramm bietet eine allgemeine Übersicht über den Workflow generativer KI.
Eingabeaufforderung
|
Der Generative AI-Workflow beginnt in der Regel mit Prompts. Ein Prompt ist eine Anfrage, die an ein generatives KI-Modell gesendet wird, um eine Antwort auszulösen. Je nach Modell kann ein Prompt Text, Bilder, Videos, Audio enthalten. , Dokumente und andere Modalitäten oder sogar mehrere Modalitäten (multimodal). Das Erstellen eines Prompts zum Abrufen der gewünschten Antwort vom Modell ist eine Methode, die als Prompt-Design bezeichnet wird. Das Prompt-Design ist zwar ein Versuch-und-Irrtums-Prozess, aber es gibt Prompt-Design-Prinzipien und -Strategien, mit denen Sie das Modell dazu bewegen können, sich wie gewünscht zu verhalten. Vertex AI Studio bietet ein Tool zur Verwaltung von Prompts, mit dem Sie Ihre Prompts verwalten können. |
Basismodelle
|
Prompts werden zur Antwortgenerierung an ein generatives KI-Modell gesendet. Vertex AI bietet eine Vielzahl von generativen KI-Foundation Models, auf die über eine verwaltete API zugegriffen werden kann. Dazu gehören:
Die Modelle unterscheiden sich in Größe, Modalität und Kosten. Sie können Google-Modelle sowie offene Modelle und Modelle von Google-Partnern in Model Garden erkunden. |
Modellanpassung
|
Sie können das Standardverhalten der Grundlagenmodelle von Google so anpassen, dass sie die gewünschten Ergebnisse konsistent mit komplexen Prompts generieren. Dieser Anpassungsprozess wird als Modellabstimmung bezeichnet. Durch die Modelloptimierung können Sie die Kosten und Latenz Ihrer Anfragen reduzieren, indem Sie die Prompts vereinfachen. Vertex AI bietet auch Tools zur Modellbewertung, mit denen Sie die Leistung Ihres feinabgestimmten Modells bewerten können. Sobald Ihr abgestimmtes Modell produktionsbereit ist, können Sie es auf einem Endpunkt bereitstellen und die Leistung wie in standardmäßigen MLOps-Workflows überwachen. |
Erweiterung anfordern
|
Vertex AI bietet mehrere Methoden zur Anfrageerweiterung, die dem Modell Zugriff auf externe APIs und Echtzeitinformationen gewähren.
|
Zitationsprüfung
|
Nachdem die Antwort generiert wurde, prüft Vertex AI, ob Zitationen in die Antwort aufgenommen werden müssen. Wenn ein beträchtlicher Teil des Antworttextes aus einer bestimmten Quelle stammt, wird diese Quelle den Zitationsmetadaten in der Antwort hinzugefügt. |
Verantwortungsbewusste KI und Sicherheit
|
Die letzte Prüfungsebene, die den Prompt und die Antwort durchlaufen, bevor sie zurückgegeben werden, sind die Sicherheitsfilter. Vertex AI prüft sowohl die Prompts als auch die Antwort darauf, wie stark der Prompt oder Antwort zu einer Sicherheitskategorie gehört. Wenn der Schwellenwert für eine oder mehrere Kategorien überschritten wird, wird die Antwort blockiert und Vertex AI gibt eine Fallback-Antwort zurück. |
Antwort
|
Wenn der Prompt und die Antwort die Sicherheitsfilterprüfungen bestehen, wird die Antwort zurückgegeben. Normalerweise wird die Antwort alle auf einmal zurückgegeben. Sie können Antworten aber auch schrittweise empfangen, während sie generiert werden, indem Sie das Streaming aktivieren. |
APIs und Modelle für generative KI
Die in Vertex AI verfügbaren generativen KI-Modelle, auch Basismodelle genannt, werden nach der Art der Inhalte kategorisiert, die sie generieren soll. Zu diesen Inhalten gehören Text, Chat, Bilder, Code, Video, multimodale Daten und Einbettungen. Jedes Modell wird über einen Publisher-Endpunkt bereitgestellt, der für Ihr Google Cloud-Projekt spezifisch ist. Daher muss das Foundation Model nicht bereitgestellt werden, es sei denn, Sie müssen es für einen bestimmten Anwendungsfall optimieren.
Angebote für die Gemini AP
Die Vertex AI Gemini API enthält die Publisher-Endpunkte für die von Google DeepMind entwickelten Modelle.
- Gemini 1.5 Pro (Vorschau) unterstützt multimodale Prompts. Sie können Text, Bilder, Audio-, Video- und PDF-Dateien in Ihre Prompt-Anfragen aufnehmen und Text- oder Codeantworten erhalten. Gemini 1.5 Pro (Vorschau) kann größere Sammlungen von Bildern, größere Textdokumente und längere Videos als Gemini 1.0 Pro Vision verarbeiten.
- Gemini 1.0 Pro wurde für Natural Language-Aufgaben, Text- und Code-Chats in mehreren Schritten und die Codegenerierung entwickelt.
- Gemini 1.0 Pro Vision unterstützt multimodale Prompts. Sie können Text, Bilder, Videos und PDFs in Ihre Anfragen aufnehmen und Text- oder Codeantworten erhalten.
Die folgende Tabelle zeigt einige Unterschiede zwischen den Gemini-Modellen, anhand derer Sie die für Sie am besten geeigneten Modelle auswählen können:
| Gemini-Modell | Betriebsarten | Verlaufszeitraum |
|---|---|---|
| Gemini 1.0 Pro / Gemini 1.0 Pro Vision |
|
|
| Gemini 1.5 Pro (Vorschau) |
|
|
PaLM API-Angebote
Die Vertex AI PaLM API enthält die Publisher-Endpunkte für das Pathway Language Model 2 (PaLM 2) von Google, bei denen es sich um Large Language Models (LLMs) handelt, die als Reaktion auf natürlichsprachliche Prompts Text und Code generieren.
- Die PaLM API für Text ist für Sprachaufgaben wie Klassifizierung, Zusammenfassung und Entitätsextraktion optimiert.
- Die PaLM API für Chats ist für den wechselseitigen Chat optimiert, bei dem das Modell vorherige Nachrichten im Chat verfolgt und als Kontext zum Generieren neuer Antworten verwendet.
Andere Angebote für generative KI
Durch die Texteinbettung werden Vektoreinbettungen für Eingabetext generiert. Sie können Einbettungen für Aufgaben wie die semantische Suche, die Empfehlung, Klassifizierung und die Ausreißererkennung verwenden.
Die multimodale Einbettung generiert Vektoreinbettungen basierend auf Bild- und Texteingaben. Diese Einbettungen können später für andere nachfolgende Aufgaben wie die Bildklassifizierung oder Inhaltsempfehlungen verwendet werden.
Mit Imagen, unserem Text-to-Image Foundation Model, können Sie skalierte Bilder in Studioqualität generieren und anpassen.
Partnermodelle sind eine ausgewählte Liste generativer KI-Modelle, die von Partnerunternehmen von Google entwickelt wurden. Diese generativen KI-Modelle werden als verwaltete APIs angeboten. Anthropic stellt beispielsweise seine Claude-Modelle als Dienst in Vertex AI bereit.
Offene Modelle wie Llama stehen Ihnen zur Bereitstellung auf Vertex AI oder anderen Plattformen zur Verfügung.
MedLM ist eine Familie von Foundation Models, die für die Gesundheitsbranche optimiert wurden.
Zertifizierungen und Sicherheitskontrollen
Vertex AI unterstützt CMEK, VPC Service Controls, Datenstandort und Access Transparency. Es gibt einige Einschränkungen für Funktionen der generativen KI. Weitere Informationen finden Sie unter Generative AI-Sicherheitskontrollen.
Mehr erfahren
- Wagen Sie sich an eine Kurzeinführung mit Generative AI Studio oder der Vertex AI API.
- Vortrainierte Modelle in Model Garden untersuchen.
- Foundation Model optimieren
- Verantwortungsbewusste Best Practices für KI und die Sicherheitsfilter von Vertex AI
- Informationen zu Kontingenten und Limits
- Informationen zu Preisen.