Generative AI für Vertex AI (auch als genAI oder Gen AI bezeichnet) bietet Ihnen Zugriff auf die großen generativen KI-Modelle von Google, damit Sie diese für den Einsatz in Ihren KI-gestützten Anwendungen testen, anpassen und einsetzen können. Diese Seite bietet eine Übersicht über den generativen KI-Workflow in Vertex AI, die verfügbaren Features und Modelle und führt Sie zu Ressourcen für den Einstieg.
Generativer KI-Workflow
Das folgende Diagramm zeigt eine allgemeine Übersicht über den generativen KI-Workflow.
Eingabeaufforderung
|
Der Generative AI-Workflow beginnt in der Regel mit Prompts. Ein Prompt ist eine Anfrage in natürlicher Sprache, die an ein Sprachmodell gesendet wird, um eine Antwort auszulösen. Das Schreiben eines Prompts zum Abrufen der gewünschten Antwort vom Modell ist eine Methode, die als Prompt-Design bezeichnet wird. Das sofortige Design ist ein Prozess, bei dem es sich um Experimente und Fehler handelt. Es gibt jedoch Designprinzipien und Strategien, mit denen Sie das Modell so verhalten können, dass es sich wie gewünscht verhält. |
Basismodelle
|
Prompts werden zur Antwortgenerierung an ein Modell gesendet. Vertex AI bietet eine Vielzahl von generativen KI-Grundlagenmodellen, auf die über eine API zugegriffen werden kann, darunter:
Die Modelle unterscheiden sich in Größe, Modalität und Kosten. Die proprietären Modelle und OSS-Modelle von Google finden Sie in Model Garden. |
Modellanpassung
|
Sie können das Standardverhalten der Grundlagenmodelle von Google so anpassen, dass sie die gewünschten Ergebnisse konsistent mit komplexen Prompts generieren. Dieser Anpassungsvorgang wird als Modelloptimierung bezeichnet. Durch die Modelloptimierung können Sie die Kosten und Latenz Ihrer Anfragen reduzieren, indem Sie die Prompts vereinfachen. Vertex AI bietet auch Modellbewertungstools, mit denen Sie die Leistung Ihres abgestimmten Modells bewerten können. Sobald das abgestimmte Modell produktionsbereit ist, können Sie es auf einem Endpunkt bereitstellen und die Leistung wie in Standard-MLOps-Workflows überwachen. |
Vertex AI-Ground-Service
|
Wenn Sie möchten, dass Modellantworten auf einer "Source of Truth" festgelegt werden, beispielsweise in Ihrem eigenen Datenkorpus, können Sie Grounding in Vertex AI verwenden. Durch das Nullniveau können die Modellstrukturierungen reduziert werden, insbesondere bei unbekannten Themen. Außerdem erhält das Modell Zugriff auf neue Informationen. |
Zitationsprüfung
|
Nachdem die Antwort generiert wurde, prüft Vertex AI, ob Zitate in der Antwort enthalten sein müssen. Wenn ein erheblicher Teil des Texts in der Antwort von einer bestimmten Quelle stammt, wird diese Quelle den Zitationsmetadaten in der Antwort hinzugefügt. |
Verantwortungsbewusste KI und Sicherheit
|
Die letzte Prüfungsebene, die den Prompt und die Antwort durchlaufen, bevor sie zurückgegeben werden, sind die Sicherheitsfilter. Vertex AI prüft sowohl die Prompts als auch die Antwort darauf, wie stark der Prompt oder Antwort zu einer Sicherheitskategorie gehört. Wenn der Schwellenwert für eine oder mehrere Kategorien überschritten wird, wird die Antwort blockiert und Vertex AI gibt eine Fallback-Antwort zurück. |
Antwort
|
Wenn der Prompt und die Antwort die Sicherheitsfilterprüfungen bestehen, wird die Antwort zurückgegeben. In der Regel wird die Antwort alle auf einmal zurückgegeben. Sie können jedoch auch Antworten schrittweise empfangen, indem Sie Streaming aktivieren. |
Generative KI APIs und Modelle
Die in Vertex AI verfügbaren generativen KI-Modelle werden auch nach Art der Inhalte kategorisiert, die sie generieren sollen. Diese Inhalte umfassen Text, Chat, Bild, Code, Video, multimodale Daten und Einbettungen. Jedes Modell wird über einen Publisher-Endpunkt bereitgestellt, der für Ihr Google Cloud-Projekt spezifisch ist, sodass Sie das Grundlagenmodell nur bereitstellen müssen, wenn Sie es für einen bestimmten Anwendungsfall optimieren müssen.
Angebote für die Gemini AP
Die Vertex AI Gemini API enthält die Publisher-Endpunkte für die von Google DeepMind entwickelten Modelle.
- Gemini Pro wurde für Natural Language Tasks, mehrsprachige Text- und Codechats und die Codegenerierung entwickelt.
- Gemini Pro Vision unterstützt multimodale Eingabeaufforderungen. Sie können Text, Bilder und Videos in Ihre Anfrage-Anfragen aufnehmen und Text- oder Codeantworten erhalten.
PaLM API-Angebote
Die Vertex AI PaLM API enthält die Publisher-Endpunkte für das Pathway Language Model 2 (PaLM 2) von Google, bei denen es sich um Large Language Models (LLMs) handelt, die als Reaktion auf natürlichsprachliche Prompts Text und Code generieren.
- Die PaLM API für Text ist für Sprachaufgaben wie Klassifizierung, Zusammenfassung und Entitätsextraktion optimiert.
- Die PaLM API für Chats ist für den wechselseitigen Chat optimiert, bei dem das Modell vorherige Nachrichten im Chat verfolgt und als Kontext zum Generieren neuer Antworten verwendet.
Weitere Angebote für generative KI
Die Codey APIs generieren Code. Die Codey APIs umfassen drei Modelle, die Code generieren, Code für die Vervollständigung von Code vorschlagen und Entwicklern erlauben, bei Code-bezogenen Fragen zu chatten. Weitere Informationen finden Sie unter Übersicht über Codemodelle.
Die Text Embed API generiert Vektoreinbettungen für Eingabetext. Sie können Einbettungen für Aufgaben wie die semantische Suche, Empfehlungen, Klassifizierung und Ausreißererkennung verwenden.
Multimodale Einbettungen generieren Einbettungsvektoren basierend auf Bild- und Texteingaben. Diese Einbettungen können später für andere nachfolgende Aufgaben wie die Bildklassifizierung oder Inhaltsempfehlungen verwendet werden. Weitere Informationen finden Sie auf der Seite Multimodale Einbettungen.
Mit Imagen, unserem Text-to-Image Foundation Model, können Organisationen skalierte Bilder für jede geschäftliche Anforderung generieren und anpassen. Weitere Informationen finden Sie in der Übersicht zu Imagen in Vertex AI.
MedLM ist eine Familie von Grundlagenmodellen, die für die Gesundheitsbranche optimiert sind. Weitere Informationen finden Sie in der Übersicht über MedLM-Modelle.
Vertex AI Studio
Vertex AI Studio ist ein Tool der Google Cloud Console zum schnellen Prototyping und Testen generativer KI-Modelle. Sie können Beispiel-Prompts testen, eigene Prompts entwerfen und Foundation Models anpassen, um Aufgaben zu verarbeiten, die die Anforderungen Ihrer Anwendung erfüllen. Auf dieser Seite werden die verschiedenen Aufgaben vorgestellt, die Sie in Vertex AI Studio ausführen können. Dazu gehören:
- Modelle mit Beispiel-Prompts testen
- Entwerfen und speichern Sie Ihre eigenen Prompts.
- Grundlagenmodelle optimieren
- Zwischen Sprache und Text konvertieren
Modelle mit Beispiel-Prompts testen
Die Prompt-Galerie im Abschnitt Sprache von Vertex AI Studio enthält eine Reihe von Beispiel-Prompts, die zur Veranschaulichung der Modellfunktionen entwickelt wurden. Die Beispiel-Prompts werden nach Aufgabentyp kategorisiert, z. B. Zusammenfassung, Klassifizierung und Extraktion. Jeder Prompt ist mit einem angegebenen Modell und Parameterwerten vorkonfiguriert. Sie können also einfach den Beispiel-Prompt öffnen und auf Senden klicken, damit das Modell eine Antwort generiert.
Eigene Prompts entwerfen und speichern
„Prompt-Design“ ist der Prozess prompts zu erstellen, die die gewünschte Antwort aus einem Sprachmodell auslösen. Durch sorgfältiges Erstellen der Prompts können Sie das Modell dazu bewegen, ein gewünschtes Ergebnis zu erzielen. Das Prompt-Design kann eine effiziente Möglichkeit sein, um mit der Anpassung eines Sprachmodells für einen bestimmten Anwendungsfall zu experimentieren.
Sie können in Vertex AI Studio eigene Prompts erstellen und speichern. Beim Erstellen eines neuen Prompts geben Sie den Prompt-Text ein, geben das zu verwendende Modell an, konfigurieren Parameterwerte und testen den Prompt durch Generieren einer Antwort. Sie können den Prompt und seine Konfigurationen iterieren, bis Sie die gewünschten Ergebnisse erhalten. Wenn Sie mit der Entwicklung des Prompts fertig sind, können Sie sie in Vertex AI Studio speichern.
Antwort-Zitation
Wenn Sie in Vertex AI Studio ein Textmodell wie text-bison verwenden, erhalten Sie basierend auf Ihrer Eingabe Textantworten. Unsere Funktionen sollen Originalinhalte erstellen und keine vorhandenen Inhalte replizieren. Wenn Vertex AI Studio ausführlich aus einer Webseite zitiert, wird diese Seite in der Ausgabe zitiert.
Sie können die Qualität der Antworten ändern, indem Sie die Temperatur ändern (zufällige Ausgabe) und mit anderen Antwortparametern in Vertex AI Studio experimentieren.
Zitate sind in Vertex AI Studio und in der API verfügbar. Weitere Informationen zu verantwortungsbewusster KI und Zitaten finden Sie unter Zitationsmetadaten.
Generative KI-Modelle in Model Garden entdecken
Model Garden ist eine Plattform, mit der Sie Vertex AI ermitteln, testen, anpassen und bereitstellen sowie OSS-Modelle und -Assets auswählen können. Informationen zu den in Vertex AI verfügbaren generativen KI-Modellen und APIs finden Sie in der Model Console in der Google Cloud Console.
Weitere Informationen zu Model Garden, einschließlich der verfügbaren Modelle und Funktionen, finden Sie unter KI-Modelle in Model Garden entdecken.
Foundation Model abstimmen
Ein schnelles Design eignet sich hervorragend für schnelle Experimente. Wenn jedoch Trainingsdaten verfügbar sind, kann durch eine Feinabstimmung des Modells selbst eine höhere Qualität erreicht werden. Durch das Optimieren eines Modells können Sie die Antwort des Modells anhand von Beispielen der Aufgabe anpassen, die das Modell ausführen soll.
Informationen zum Optimieren eines Foundation Models finden Sie unter Foundations Models optimieren.
Zwischen Sprache und Text konvertieren
Im Sprachtool von Vertex AI Studio können Sie ein Text-Snippet erstellen und in eine Sprachaudiodatei umwandeln, die Sie abspielen und herunterladen können. Sie können aus mehreren Stimmen auswählen und die Sprechgeschwindigkeit anpassen.
Wenn Sie eine Audiodatei haben, können Sie sie auch in Vertex AI Studio hochladen und in Text transkribieren lassen.
Weitere Informationen finden Sie auf den folgenden Seiten:
Vertex AI Studio testen
Vertex AI Studio befindet sich auf der Seite „Vertex AI“ der Google Cloud Console.
Zertifizierungen und Sicherheitskontrollen
Vertex AI unterstützt CMEK, VPC Service Controls, Datenstandort und Access Transparency. Es gibt einige Einschränkungen für Funktionen der generativen KI. Weitere Informationen finden Sie unter Generative AI-Sicherheitskontrollen.
Mehr erfahren
- Wagen Sie sich an eine Kurzeinführung mit Generative AI Studio oder der Vertex AI API.
- Vortrainierte Modelle in Model Garden untersuchen.
- Grundlagenmodell optimieren
- Verantwortungsbewusste Best Practices für KI und Sicherheitsfilter von Vertex AI
- Informationen zu Kontingenten und Limits
- Informationen zu Preisen.