Demo: Multimodale Einbettungen generieren

In dieser Demonstration erfahren Sie, wie Sie multimodale Einbindungen generieren, indem Sie mit dem Vertex AI SDK für ABAP multimodale Eingaben, z. B. Text und ein Bild, an ein Einbindungsmodell übergeben.

Hinweise

Bevor Sie diese Demo ausführen, müssen Sie oder Ihre Administratoren die folgenden Voraussetzungen erfüllt haben:

• Sie haben die Vertex AI API in Ihrem Google Cloud-Projekt aktiviert.
• Sie haben die Authentifizierung eingerichtet, um auf die Vertex AI API zuzugreifen.
• Konfigurierte Parameter zur Modellgenerierung Für das Generieren von Einbettungen sind nur die folgenden Parameter erforderlich: Client Key, Model Key, Model ID, Google Cloud Region Location und Publisher.

Multimodale Einbettungen generieren

Führen Sie die folgenden Schritte aus, um multimodale Einbettungen zu generieren:

1. Führen Sie in der SAP-GUI den Transaktionscode /GOOG/SDK_IMG aus.

   Alternativ können Sie den Transaktionscode SPRO ausführen und dann auf SAP-Referenz-IMG klicken.

2. Gehen Sie zu ABAP SDK for Google Cloud > Demos.

3. Demo: Multimodale Einbettungsmodelle aufrufen

4. Wählen Sie Multimodale Einbettungen generieren aus.

5. Geben Sie im Feld Clientschlüssel den Clientschlüssel für die Authentifizierung ein.

6. Geben Sie im Feld Modellschlüssel den Modellschlüssel ein, der in den Parametern für die Modellgenerierung konfiguriert ist.

7. Geben Sie im Feld Dimensionen die Anzahl der Dimensionen für die Ausgabeeinbettungen ein, z. B. 1408. Für multimodale Einbettungen sind die verfügbaren Dimensionen 128, 256, 512 und 1408.

8. Geben Sie je nach Bedarf Werte für die folgenden Felder an:

   • GCS-URI des Bildes: Um Ihrer Anfrage ein Bild hinzuzufügen, geben Sie den URI des Bildes an, das in einem Cloud Storage-Bucket gespeichert ist.
   • Bild hochladen: Wenn Sie Ihrer Anfrage ein Bild hinzufügen möchten, laden Sie es von Ihrem lokalen System hoch.
   • GCS-URI des Videos: Wenn Sie Ihrer Anfrage ein Video hinzufügen möchten, geben Sie den URI des Videos an, das in einem Cloud Storage-Bucket gespeichert ist.

   Sie können entweder den URI einer Datei aus Cloud Storage angeben oder eine Datei von Ihrem lokalen System hochladen.

9. Geben Sie im Feld Text eingeben den gewünschten Text ein.

10. Starten Sie das Programm. Im Bereich Antwort vom LLM werden die generierten Einbettungen angezeigt.