In Vertex AI Studio können Sie Prompts entwerfen und iterieren und Ergebnisse aus verschiedenen Konfigurationen und Modellen vergleichen. Wenn Sie mit der Entwicklung Ihres Prompts fertig sind, können Sie ihn als Webanwendung bereitstellen, um ihn mit Ihren Mitarbeitern oder Zielnutzern zu teilen und ihnen die Möglichkeit zu geben, die Webanwendung zu testen. Die Webanwendung wird in Cloud Run gehostet und ist außerhalb der Google Cloud -Konsole verfügbar.
In dieser Kurzanleitung werden folgende Schritte erläutert:
- Prompt mit Prompt-Variablen erstellen
- Prompt als Webanwendung bereitstellen
- Bereitstellungsfortschritt überwachen und bereitgestellte Anwendung testen
- Prompt aktualisieren und neu bereitstellen
- Prompt-Übermittlung mit multimodaler Unterstützung testen
Vorbereitung
Wenn Sie Vertex AI Studio noch nie verwendet haben, können Sie einer anderen Kurzanleitung folgen oder den Google Cloud Skills Boost-Kurs absolvieren, um die Grundlagen von Vertex AI Studio kennenzulernen. Für diesen Leitfaden benötigen Sie Folgendes:
- Ein Google Cloud-Projekt mit aktivierter Abrechnung
- Vertex AI API aktiviert
Zusätzliche Berechtigungen erforderlich
Zusätzlich zu den vorhandenen Berechtigungen für die Verwendung von Vertex AI Studio benötigen Sie die folgenden Berechtigungen, um Ihren Prompt bereitzustellen:
| Aktion | Erforderliche Berechtigungen | Zweck |
|---|---|---|
| Zusätzliche APIs aktivieren | serviceusage.services.enable |
Aktivieren Sie die folgenden APIs:
|
| Berechtigungen für Dienstkonten gewähren | resourcemanager.projects.setIamPolicy |
Weisen Sie dem
Compute Engine-Standarddienstkonto die folgenden Rollen zu:
|
| Bestimmte Berechtigungen bereitstellen |
|
Während der Bereitstellung wird eine Reihe von Quellcodes in Cloud Storage hochgeladen und dann in Cloud Run bereitgestellt. Dabei wird ein neuer Dienst erstellt. Die artifactregistry.repositories.create
ist erforderlich, um ein Repository für das Container-Image zu erstellen.
Die run.services.setIamPolicy ist erforderlich, um den Dienst öffentlich zugänglich zu machen.
|
Wenn Sie Inhaber Ihres Projekts sind, müssen Sie keine zusätzlichen Maßnahmen ergreifen, sondern nur den Anleitungen in Vertex AI Studio folgen. Wenn Sie nicht der Inhaber Ihres Projekts sind, bitten Sie Ihren Projektadministrator, die ersten beiden Aktionen auszuführen und Ihnen dann die Rollen Bearbeiter (roles/editor) und Cloud Run-Administrator (roles/run.admin) zuzuweisen.
Prompt mit Prompt-Variablen erstellen
Rufen Sie die Seite Prompt erstellen in Vertex AI Studio auf und klicken Sie dann im Eingabefeld für den Prompt auf Variable hinzufügen.
Geben Sie im Dialogfeld Prompt-Variablen verwalten einen Variablennamen ein und weisen Sie ihm einen Wert zu. Klicken Sie dann auf Übernehmen.
Geben Sie den Prompt mit der Variablen in das Eingabefeld ein und passen Sie dann die anderen Parameter an. Sie können beispielsweise Fundierung mit Google Suche aktivieren und „Hole immer das aktuelle Wetter aus dem Web“ als Systemanweisung festlegen.
Prompt als Webanwendung bereitstellen
Wenn Sie Ihren Prompt als Webanwendung bereitstellen möchten, klicken Sie oben rechts auf die Schaltfläche Mit Code erstellen. Klicken Sie dann auf Als App bereitstellen.
Prompt speichern
Das Dialogfeld zum Speichern des Prompts wird angezeigt, da ein Prompt vor der Bereitstellung gespeichert werden muss. Das Dialogfeld für die Bereitstellung wird automatisch geöffnet, sobald der Prompt gespeichert wurde.
APIs für die erste Bereitstellung aktivieren und Berechtigungen erteilen
- Sobald der Prompt gespeichert wurde, wird der Bereitstellungsprozess fortgesetzt. Wenn dies Ihre erste Bereitstellung ist, wird ein Dialogfeld zum Aktivieren der erforderlichen APIs angezeigt. Klicken Sie auf Erforderliche APIs aktivieren.
-
Nachdem die APIs aktiviert wurden, wird das Dialogfeld Web-App erstellen angezeigt. Sie können Authentifizierung erforderlich (über Identity-Aware Proxy) oder Öffentlichen Zugriff zulassen auswählen.
- Wenn die erforderliche Authentifizierung ausgewählt ist, folgen Sie der Anleitung zum Gewähren des Zugriffs (einschließlich Ihnen selbst).
- Wenn Sie „Öffentlichen Zugriff zulassen“ auswählen, kann jeder auf die App zugreifen. Geben Sie daher keine vertraulichen Informationen oder personenbezogenen Daten in den Prompt ein. Klicken Sie auf das Kästchen Mir ist bewusst, dass diese Anwendung öffentlich bereitgestellt wird, um die Bestätigung zu aktivieren.
- Klicken Sie auf App erstellen, um die Bereitstellung zu starten.
- Wenn dies Ihre erste Bereitstellung ist, wird ein weiteres Dialogfeld angezeigt, in dem Sie aufgefordert werden, dem Dienstkonto die erforderlichen Rollen zuzuweisen. Klicken Sie auf Alle gewähren, um fortzufahren.
Wenn dies Ihre erste Bereitstellung ist, wird ein weiteres Dialogfeld angezeigt, in dem Sie aufgefordert werden, dem Dienstkonto die erforderlichen Rollen zuzuweisen. Klicken Sie auf Alle gewähren, um fortzufahren.
Bereitstellung wird gestartet
Vertex AI Studio erstellt eine ZIP-Datei mit dem Quellcode für die Webanwendung und lädt die ZIP-Datei in einen Cloud Storage-Bucket hoch. Nach dem Start der Bereitstellung wird das Dialogfeld Web-App verwalten mit Informationen zu Ihrer Bereitstellung angezeigt, z. B. der Name Ihrer Anwendung, wann sie zuletzt bereitgestellt wurde und ihr Bereitstellungsstatus.
Bereitstellungsstatus überwachen
Die Bereitstellung dauert 2 bis 3 Minuten. Der Bereitstellungsstatus wird im Dialogfeld Web-App verwalten in der Spalte Status angezeigt. Wenn Sie das Dialogfeld Web-App verwalten schließen, können Sie es über das Menü unter der Schaltfläche Mit Code erstellen wieder öffnen.
Wenn die Bereitstellung abgeschlossen ist, ändert sich die Spalte „Status“ in Bereit und neben dem Anwendungsnamen wird die Schaltfläche Öffnen angezeigt.
Zugriffssteuerung und geheimer Schlüssel
Ihre Webanwendung wird standardmäßig mit aktivierter Allow unauthenticated-Zugriffssteuerung bereitgestellt. Sie können die Funktion deaktivieren, indem Sie auf das Stiftsymbol klicken. Weitere Informationen finden Sie im Abschnitt Öffentlichen Zugriff deaktivieren.
Für einen grundlegenden Schutz muss der URL zum Senden des Prompts ein Secret-Schlüssel angehängt werden. Den geheimen Schlüssel finden Sie in der Spalte Secret Key. Wenn Sie die Webanwendung über Vertex AI Studio öffnen, wird der Schlüssel automatisch an die URL angehängt.
Webanwendung öffnen und Prompt eingeben
Klicken Sie im Dialogfeld Web-App verwalten auf Öffnen, um auf die bereitgestellte Anwendung zuzugreifen. Die Anwendung sollte mit dem geheimen Schlüssel geöffnet werden, der im Format ?key=SECRET_KEY an die URL angehängt wird.
Geben Sie einen Wert für die Variable ein und klicken Sie auf Senden. Die Ergebnisse sollten rechts angezeigt werden.
Webanwendung über das Menü der Schaltfläche „Mit Code erstellen“ öffnen
Wenn Ihre Webanwendung fertig ist, können Sie sie auch über das Menü der Schaltfläche Mit Code erstellen öffnen.
Cloud Run ist ein serverloser Dienst. Das bedeutet, dass der Container für die Anwendung heruntergefahren wird, wenn er nicht aktiv verwendet wird. Daher kann es manchmal einige Sekunden dauern, bis die Webanwendung geladen ist. Außerdem kann es sein, dass eine Einreichung nicht funktioniert, wenn Sie die Webanwendung zu lange im Leerlauf gelassen haben. Eine Aktualisierung der Seite sollte das Problem beheben.
Status über die Benachrichtigungsglocke im Blick behalten
Sie können den Status auch über das Menü Benachrichtigungen aufrufen, indem Sie auf das Glockensymbol klicken. Die Ladeanimation des Glockensymbols wird beendet und ein grüner Kreis wird angezeigt, wenn die Bereitstellung erfolgreich abgeschlossen wurde.
Wenn Sie auf die Benachrichtigung klicken, werden Sie zur Cloud Run-Seite weitergeleitet. An die URL auf der Cloud Run-Seite ist der geheime Schlüssel nicht angehängt. Sie müssen ihn manuell im Format ?key=SECRET_KEY anhängen.
Prompt aktualisieren und neu bereitstellen
Sie können Ihren Prompt in Vertex AI Studio weiter bearbeiten und in eine Konversation umwandeln. Klicken Sie dann auf die Schaltfläche Mit Code erstellen und auf App verwalten, um das Dialogfeld Webanwendung verwalten zu öffnen. Klicken Sie auf App aktualisieren, um Ihre Webanwendung mit dem aktualisierten Prompt neu bereitzustellen.
Daraufhin wird ein Bestätigungsdialogfeld eingeblendet. Sie werden darauf hingewiesen, dass Sie bei einer erneuten Bereitstellung alle Änderungen verlieren, die Sie außerhalb von Vertex AI Studio an der bereitgestellten Webanwendung vorgenommen haben, z. B. im Cloud Run-Quellcodeeditor. Klicken Sie auf Bestätigen, um fortzufahren.
Das Dialogfeld Webanwendung verwalten wird wieder angezeigt. Der Vorgang ähnelt der ersten Bereitstellung. Sie können den Fortschritt genauso wie bei der ersten Bereitstellung überwachen.
Nach dem Update können Sie die Webanwendung wieder öffnen. Die Benutzeroberfläche für Unterhaltungen mit der Prompt-Variablen wird angezeigt. Geben Sie den Wert ein und geben Sie einen beliebigen nicht leeren Inhalt ein, um das Gespräch fortzusetzen.
Multimodale Inhalte einfügen
Sie können Eingaben wie Bilder, Videos, Audio und Dokumente in die Benutzeroberfläche für Unterhaltungen einfügen. Welche Eingaben unterstützt werden, hängt vom für den Prompt ausgewählten Modell ab. Weitere Informationen finden Sie in der Dokumentation zur multimodalen Unterstützung für die einzelnen Modelle.
Wenn Sie eine Datei einfügen möchten, klicken Sie im Eingabefeld für Unterhaltungen auf die Schaltfläche mit dem -Clipsymbol.
Sie können mit dem Modell interagieren, indem Sie Eingaben machen.
Weiterführende Informationen
Sobald Sie mit dem Bereitstellungsprozess vertraut sind, können Sie die folgenden Aktionen in Betracht ziehen.
Quellcode in Cloud Run bearbeiten
Wenn Sie die Webanwendung anpassen möchten, können Sie Änderungen am Quellcode in Cloud Run vornehmen. Öffnen Sie die Seite mit dem Cloud Run-Quellcode über das Dialogfeld Web-App verwalten. Klicken Sie dazu am Ende der Zeile auf das -Symbol.
Alternativ können Sie auch über den Link Quellcode-Editor in der Webanwendung zur Sicherheitsseite navigieren.
Klicken Sie auf der Seite mit dem Cloud Run-Quellcode auf Quelle bearbeiten, um den Bearbeitungsmodus zu starten. Klicken Sie abschließend auf Speichern und neu bereitstellen.
Nachdem die erneute Bereitstellung abgeschlossen ist, müssen Sie die Anwendung in Vertex AI Studio öffnen. Über den Link im Badge Aus Vertex AI bereitgestellt können Sie die Seite „Vertex AI Studio“ aufrufen.
Zugriff gewähren
So gewähren Sie Nutzern oder Gruppen Zugriff auf die App:
- Öffnen Sie das Dialogfeld Web-App verwalten.
- Klicken Sie in der Spalte Zugriffssteuerung auf das Stiftsymbol . Die Cloud Run-Sicherheitsseite wird in einem neuen Tab geöffnet.
- Suchen Sie auf der Cloud Run-Sicherheitsseite nach dem Kästchen für Identity-Aware Proxy (IAP). Achten Sie darauf, dass das Kästchen aktiviert ist, und klicken Sie dann auf Richtlinie bearbeiten.
-
Eine Unteraufgabe wird angezeigt, in der Sie den Zugriff bearbeiten können. Geben Sie die E-Mail-Adressen von Nutzern oder Gruppen in das Feld Hauptkonto ein.
Wenn Sie Nutzer in einer Organisation sind, können Sie nur Nutzer aus derselben Organisation hinzufügen.
- Lassen Sie das Feld für die Zugriffsebenen leer.
- Klicken Sie auf Speichern.
-
Klicken Sie nach dem Schließen der untergeordneten Aufgabe noch einmal auf der Cloud Run-Seite auf Speichern.
Öffentlichen Zugriff deaktivieren
Wenn die Webanwendung nicht öffentlich zugänglich sein muss, können Sie sie in Cloud Run deaktivieren. Öffnen Sie das Dialogfeld Web-App verwalten und klicken Sie in der Spalte Zugriffssteuerung auf das Stiftsymbol . Die Cloud Run-Sicherheitsseite wird in einem neuen Tab geöffnet.
Sie können die Sicherheitsseite auch über die Webanwendung aufrufen, indem Sie auf den Link Sicherheitseinstellungen klicken.
Aktivieren Sie auf der Seite „Sicherheit“ des entsprechenden Cloud Run-Dienstes Ihrer Webanwendung die Option Cloud IAM zum Authentifizieren von eingehenden Anfragen verwenden und wählen Sie Authentifizierung erforderlich aus. Klicken Sie auf Speichern.
Ihre Webanwendung ist dann nicht mehr über die URL zugänglich. Wenn Sie versuchen, darauf zuzugreifen, wird die Seite Fehler: Nicht zulässig angezeigt.
Öffentlichen Zugriff wieder aktivieren
Wenn Sie den öffentlichen Zugriff wieder aktivieren möchten, entfernen Sie das Häkchen aus dem Kästchen Cloud IAM zum Authentifizieren von eingehenden Anfragen verwenden und speichern Sie die Änderungen. Wenn Sie Nicht authentifizierte Aufrufe zulassen auswählen, funktioniert das nicht, wenn sich Ihr Projekt in einer Organisation befindet. Weitere Informationen finden Sie unter Authentifizierung in Cloud Run.
Lokalen Zugriff für die Entwicklung einrichten
In der öffentlichen Vorschau wird die Zugriffssteuerung noch nicht unterstützt. Wenn Sie den öffentlichen Zugriff deaktivieren, können Sie nur noch über einen lokalen Proxy auf die Webanwendung zugreifen. Dazu können Sie gcloud-Befehle verwenden. Öffnen Sie zuerst Cloud Shell über die Schaltfläche mit dem -Terminalsymbol oben rechts in der Google Cloud Console. Sie werden aufgefordert, Cloud Shell zu autorisieren. Klicken Sie auf Autorisieren, um fortzufahren.
Öffnen Sie anschließend das Dialogfeld Webanwendung verwalten und klicken Sie am Ende der Zeile auf das Dreipunkt-Menü , um weitere Aktionen aufzurufen. Klicken Sie auf Lokalen Zugriff über Cloud Shell einrichten.
Ein Befehl wird in Ihre Cloud Shell eingefügt. Drücken Sie die Eingabetaste und warten Sie, bis der Druckvorgang abgeschlossen ist. Klicken Sie auf den Link in der Zeile, die mit Click on the
link to preview beginnt. Sie können sich Ihre Bewerbung ansehen. Dieser Link funktioniert nur, wenn Sie den gcloud-Befehl ausführen.
Allgemeine Probleme
Authentifizierungsfehler: Kein geheimer Schlüssel
Wenn der folgende Fehler angezeigt wird, bedeutet das, dass der URL kein geheimer Schlüssel angehängt ist. Folgen Sie der Anleitung, um die Webanwendung in Vertex AI Studio zu öffnen, oder kopieren Sie den geheimen Schlüssel aus dem Dialogfeld App verwalten und hängen Sie ihn im Format ?key=SECRET_KEY an die URL an.
Authentifizierungsfehler: Ungültiger Geheimschlüssel
Der folgende Fehler bedeutet, dass der an die URL angehängte Schlüssel ungültig ist. Der geheime Schlüssel ist für jeden Prompt eindeutig. Wenn Sie einen geheimen Schlüssel aus einem anderen Prompt haben, funktioniert er nicht. Folgen Sie der Anleitung, um die Webanwendung richtig zu öffnen.
400 – Ungültiges Argument: leere Eingabe
Der folgende Fehler tritt auf, wenn Sie Eingaben in der Prompt-Variablen haben, der Chat aber leer ist. Es wird eine 400-Fehlermeldung angezeigt. Sie können das Problem beheben, indem Sie einen beliebigen Text eingeben und die Anfrage noch einmal senden.
400 Ungültiges Argument: mimeType wird nicht unterstützt
Wenn Sie einen Dateityp auswählen, der vom Modell nicht unterstützt wird, wird ein 400-Fehler zurückgegeben. Das ist normal. Sie müssen andere Dateitypen verwenden, die vom Modell unterstützt werden. Dokumentation zur multimodalen Unterstützung für die einzelnen Modelle
Nächste Schritte
Weitere Funktionen in Vertex AI Studio finden Sie in der Dokumentation oder im Google Cloud Skills Boost-Kurs „Introduction to Vertex AI Studio“.