Über einen Workflow auf Vertex AI-Modelle zugreifen

Mit generativer KI in Vertex AI (auch als genAI oder genAI bezeichnet) erhalten Sie Zugriff auf die Generative AI-Modelle von Google für verschiedene Modalitäten (Text, Code, Bilder, Sprache). Sie können diese Large Language Models (LLM) testen und optimieren und dann zur Verwendung in Ihren KI-gestützten Anwendungen bereitstellen. Weitere Informationen finden Sie in der Übersicht über Generative AI in Vertex AI.

Vertex AI bietet eine Vielzahl von generativen KI-Basismodellen, die über eine API zugänglich sind, einschließlich der Modelle, die in den folgenden Beispielen verwendet werden:

Gemini Pro wurde für Natural Language-Aufgaben, Multi-Turn-Text- und Codechats sowie die Codegenerierung entwickelt.
Gemini Pro Vision unterstützt multimodale Prompts. Sie können Text, Bilder und Videos in Ihre Anfragen aufnehmen und Text- oder Codeantworten abrufen.
Pathways Language Model 2 (PaLM 2) für Text wurde für Sprachaufgaben wie Klassifizierung, Zusammenfassung und Entitätsextraktion optimiert.

Jedes Modell wird über einen Publisher-Endpunkt bereitgestellt, der für Ihr Google Cloud-Projekt spezifisch ist. Das Basismodell muss daher nur bereitgestellt werden, wenn Sie es für einen bestimmten Anwendungsfall anpassen müssen. Sie können eine Aufforderung an den Endpunkt des Verlags oder Webpublishers senden. Eine Aufforderung ist eine Anfrage in natürlicher Sprache, die an ein LLM gesendet wird, um eine Antwort anzufordern.

In dieser Anleitung werden vier Workflows veranschaulicht, die Antworten aus Vertex AI-Modellen generieren, indem Text-Prompts über HTTP-POST-Anfragen an die Endpunkte des Publishers gesendet werden. Sie können jeden Workflow unabhängig voneinander bereitstellen und ausführen.

Lernziele

In dieser Anleitung werden Sie Folgendes tun:

Aktivieren Sie die Vertex AI und Workflows APIs und gewähren Sie Ihrem Dienstkonto die Rolle „Vertex AI User“ (roles/aiplatform.user). Diese Rolle ermöglicht den Zugriff auf die meisten Vertex AI-Funktionen. Weitere Informationen zum Einrichten von Vertex AI finden Sie unter In Google Cloud einrichten.
Workflow bereitstellen und ausführen, der ein Vertex AI-Modell (Gemini Pro Vision) auffordert, ein Bild zu beschreiben, das über Cloud Storage öffentlich verfügbar ist. Weitere Informationen finden Sie unter Daten öffentlich machen.
Stellen Sie einen Workflow bereit und führen Sie ihn aus, der parallel eine Liste von Ländern durchläuft und ein Vertex AI-Modell (Gemini Pro) auffordert, den Verlauf der Länder zu generieren und zurückzugeben. Mit parallelen Zweigen können Sie die Gesamtausführungszeit reduzieren, indem Sie die Aufrufe an das LLM gleichzeitig starten und warten, bis alle abgeschlossen sind, bevor Sie die Ergebnisse kombinieren. Weitere Informationen finden Sie unter Workflowschritte parallel ausführen.
Stellen Sie einen ähnlichen Workflow wie den vorherigen bereit. Fordern Sie jedoch ein Vertex AI-Modell (PaLM 2 für Text) auf, den Verlauf der Länder zu generieren und zurückzugeben. Weitere Informationen zur Auswahl eines Modells finden Sie unter Modellinformationen.
Stellen Sie einen Workflow bereit, mit dem sich große Dokumente zusammenfassen lassen. Da es ein Limit für das Kontextfenster gibt, das festlegt, wie weit das Modell während des Trainings und für Prognosen zurückschaut, teilt der Workflow das Dokument in kleinere Teile auf und fordert dann ein Vertex AI-Modell (Gemini Pro) auf, jeden Teil parallel zusammenzufassen. Weitere Informationen finden Sie unter Zusammenfassungsaufforderungen und Prognosezeitraum, Kontextfenster und Prognosefenster.

Kosten

In diesem Dokument verwenden Sie die folgenden kostenpflichtigen Komponenten von Google Cloud:

Mit dem Preisrechner können Sie eine Kostenschätzung für Ihre voraussichtliche Nutzung vornehmen. Neuen Google Cloud-Nutzern steht möglicherweise eine kostenlose Testversion zur Verfügung.

Nach Abschluss der in diesem Dokument beschriebenen Aufgaben können Sie weitere Kosten vermeiden, indem Sie die erstellten Ressourcen löschen. Weitere Informationen finden Sie unter Bereinigen.

Hinweise

Bevor Sie die Beispiele in dieser Anleitung ausprobieren, müssen Sie Folgendes erledigt haben:

Console

Melden Sie sich bei Ihrem Google Cloud-Konto an. Wenn Sie mit Google Cloud noch nicht vertraut sind, erstellen Sie ein Konto, um die Leistungsfähigkeit unserer Produkte in der Praxis sehen und bewerten zu können. Neukunden erhalten außerdem ein Guthaben von 300 $, um Arbeitslasten auszuführen, zu testen und bereitzustellen.

Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

Zur Projektauswahl

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

Vertex AI and Workflows APIs aktivieren.

Aktivieren Sie die APIs

Erstellen Sie ein Dienstkonto:

Wechseln Sie in der Google Cloud Console zur Seite Dienstkonto erstellen.
Zur Seite „Dienstkonto erstellen“
Wählen Sie Ihr Projekt aus.
Geben Sie im Feld Dienstkontoname einen Namen ein. Die Google Cloud Console füllt das Feld Dienstkonto-ID anhand dieses Namens aus.

Geben Sie im Feld Dienstkontobeschreibung eine Beschreibung ein. Beispiel: Service account for quickstart.
Klicken Sie auf Erstellen und fortfahren.
Weisen Sie dem Dienstkonto die Rolle Vertex AI > Vertex AI User zu.

Wenn Sie die Rolle zuweisen möchten, suchen Sie die Liste Rolle auswählen und wählen Sie Vertex AI > Vertex AI User aus.

Hinweis: Das Feld Rolle hat Einfluss darauf, auf welche Ressourcen in Ihrem Projekt das Dienstkonto zugreifen kann. Sie können diese Rollen später widerrufen oder zusätzliche Rollen erteilen. In Produktionsumgebungen sollten Sie die Inhaber-, Bearbeiter- und Betrachterrolle nicht zuweisen. Gewähren Sie stattdessen eine vordefinierte Rolle oder eine benutzerdefinierte Rolle, die Ihren Anforderungen entspricht.
Klicken Sie auf Weiter.
Klicken Sie auf Fertig, um das Erstellen des Dienstkontos abzuschließen.

Wählen Sie in der Google Cloud Console auf der Seite der Projektauswahl ein Google Cloud-Projekt aus oder erstellen Sie eines.

Zur Projektauswahl

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

Vertex AI and Workflows APIs aktivieren.

Aktivieren Sie die APIs

Erstellen Sie ein Dienstkonto:

Wechseln Sie in der Google Cloud Console zur Seite Dienstkonto erstellen.
Zur Seite „Dienstkonto erstellen“
Wählen Sie Ihr Projekt aus.
Geben Sie im Feld Dienstkontoname einen Namen ein. Die Google Cloud Console füllt das Feld Dienstkonto-ID anhand dieses Namens aus.

Geben Sie im Feld Dienstkontobeschreibung eine Beschreibung ein. Beispiel: Service account for quickstart.
Klicken Sie auf Erstellen und fortfahren.
Weisen Sie dem Dienstkonto die Rolle Vertex AI > Vertex AI User zu.

Wenn Sie die Rolle zuweisen möchten, suchen Sie die Liste Rolle auswählen und wählen Sie Vertex AI > Vertex AI User aus.

Hinweis: Das Feld Rolle hat Einfluss darauf, auf welche Ressourcen in Ihrem Projekt das Dienstkonto zugreifen kann. Sie können diese Rollen später widerrufen oder zusätzliche Rollen erteilen. In Produktionsumgebungen sollten Sie die Inhaber-, Bearbeiter- und Betrachterrolle nicht zuweisen. Gewähren Sie stattdessen eine vordefinierte Rolle oder eine benutzerdefinierte Rolle, die Ihren Anforderungen entspricht.
Klicken Sie auf Weiter.
Klicken Sie auf Fertig, um das Erstellen des Dienstkontos abzuschließen.

gcloud

Installieren Sie die Google Cloud CLI.

Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Google Cloud-Projekt erstellen oder auswählen.

Erstellen Sie ein Google Cloud-Projekt:
```
gcloud projects create PROJECT_ID
```
Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud-Projekt, das Sie erstellen.
Wählen Sie das von Ihnen erstellte Google Cloud-Projekt aus:
```
gcloud config set project PROJECT_ID
```
Ersetzen Sie PROJECT_ID durch den Namen Ihres Google Cloud-Projekts.

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

Aktivieren Sie die Vertex AI and Workflows APIs:

gcloud services enable aiplatform.googleapis.com workflows.googleapis.com

Richten Sie die Authentifizierung ein:

Erstellen Sie das Dienstkonto:
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
```
Ersetzen Sie SERVICE_ACCOUNT_NAME mit einem Namen für das Dienstkonto.
Weisen Sie dem Dienstkonto die IAM-Rolle roles/aiplatform.user zu.
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/aiplatform.user
```
Dabei gilt:
- SERVICE_ACCOUNT_NAME: der Name des Dienstkontos
- PROJECT_ID: die Projekt-ID, unter der Sie das Dienstkonto erstellt haben
Hinweis: Das Flag --role hat Einfluss darauf, auf welche Ressourcen in Ihrem Projekt das Dienstkonto zugreifen kann. Sie können diese Rollen später widerrufen oder zusätzliche Rollen erteilen. In Produktionsumgebungen sollten Sie die Inhaber-, Bearbeiter- und Betrachterrolle nicht zuweisen. Gewähren Sie stattdessen eine vordefinierte Rolle oder eine benutzerdefinierte Rolle, die Ihren Anforderungen entspricht.

Installieren Sie die Google Cloud CLI.

Führen Sie folgenden Befehl aus, um die gcloud CLI zu initialisieren:

gcloud init

Google Cloud-Projekt erstellen oder auswählen.

Erstellen Sie ein Google Cloud-Projekt:
```
gcloud projects create PROJECT_ID
```
Ersetzen Sie PROJECT_ID durch einen Namen für das Google Cloud-Projekt, das Sie erstellen.
Wählen Sie das von Ihnen erstellte Google Cloud-Projekt aus:
```
gcloud config set project PROJECT_ID
```
Ersetzen Sie PROJECT_ID durch den Namen Ihres Google Cloud-Projekts.

Die Abrechnung für das Google Cloud-Projekt muss aktiviert sein.

Aktivieren Sie die Vertex AI and Workflows APIs:

gcloud services enable aiplatform.googleapis.com workflows.googleapis.com

Richten Sie die Authentifizierung ein:

Erstellen Sie das Dienstkonto:
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
```
Ersetzen Sie SERVICE_ACCOUNT_NAME mit einem Namen für das Dienstkonto.
Weisen Sie dem Dienstkonto die IAM-Rolle roles/aiplatform.user zu.
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/aiplatform.user
```
Dabei gilt:
- SERVICE_ACCOUNT_NAME: der Name des Dienstkontos
- PROJECT_ID: die Projekt-ID, unter der Sie das Dienstkonto erstellt haben
Hinweis: Das Flag --role hat Einfluss darauf, auf welche Ressourcen in Ihrem Projekt das Dienstkonto zugreifen kann. Sie können diese Rollen später widerrufen oder zusätzliche Rollen erteilen. In Produktionsumgebungen sollten Sie die Inhaber-, Bearbeiter- und Betrachterrolle nicht zuweisen. Gewähren Sie stattdessen eine vordefinierte Rolle oder eine benutzerdefinierte Rolle, die Ihren Anforderungen entspricht.

Workflow zur Beschreibung eines Bildes bereitstellen (Gemini Pro Vision)

Stellen Sie einen Workflow bereit, der eine http.post-Anfrage an einen Gemini Pro Vision-Publisher-Endpunkt sendet.

Der Workflow enthält eine Text-Prompts und den URI eines Bildes, das in einem Cloud Storage-Bucket öffentlich verfügbar ist. Sie können sich das Image und in der Google Cloud Console die Objektdetails ansehen.

Der Workflow gibt eine Beschreibung des Bildes aus der generierten Antwort des Modells zurück.

Weitere Informationen zu den Parametern des HTTP-Anfragetexts, die bei der Aufforderung an das LLM verwendet werden, und den Antworttextelementen finden Sie in der Referenz zur Gemini API.

Console

Öffnen Sie in der Google Cloud Console die Seite Workflows.

Zur Seite "Workflows"
Klicken Sie auf Erstellen.
Geben Sie einen Namen für den neuen Workflow ein: describe-image.
Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.
Wählen Sie unter Dienstkonto das zuvor erstellte Dienstkonto aus.
Klicken Sie auf Next (Weiter).

Geben Sie im Workflow-Editor die folgende Definition für den Workflow ein:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "gemini-1.0-pro-vision"
            - method: "generateContent"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - text_combined: ""
    - ask_llm:
        call: http.post
        args:
            url: ${llm_api_endpoint}
            auth:
                type: OAuth2
            body:
                contents:
                    role: user
                    parts:
                    - fileData:
                        mimeType: image/jpeg
                        fileUri: ${args.image_url}
                    - text: Describe this picture in detail
                generation_config:
                    temperature: 0.4
                    max_output_tokens: 2048
                    top_p: 1
                    top_k: 32
        result: llm_response
    - return_result:
        return:
            image_url: ${args.image_url}
            image_description: ${llm_response.body.candidates[0].content.parts[0].text}

Je nach verwendetem Modell müssen Sie möglicherweise unnötige Leerzeichen aus der Antwort entfernen.

Klicken Sie auf Bereitstellen.

gcloud

Erstellen Sie eine Quellcodedatei für Ihren Workflow:
```
touch describe-image.yaml
```

Kopieren Sie in einem Texteditor den folgenden Workflow in Ihre Quellcodedatei:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "gemini-1.0-pro-vision"
            - method: "generateContent"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - text_combined: ""
    - ask_llm:
        call: http.post
        args:
            url: ${llm_api_endpoint}
            auth:
                type: OAuth2
            body:
                contents:
                    role: user
                    parts:
                    - fileData:
                        mimeType: image/jpeg
                        fileUri: ${args.image_url}
                    - text: Describe this picture in detail
                generation_config:
                    temperature: 0.4
                    max_output_tokens: 2048
                    top_p: 1
                    top_k: 32
        result: llm_response
    - return_result:
        return:
            image_url: ${args.image_url}
            image_description: ${llm_response.body.candidates[0].content.parts[0].text}

Je nach verwendetem Modell müssen Sie möglicherweise unnötige Leerzeichen aus der Antwort entfernen.

Stellen Sie den Workflow bereit. Geben Sie hierzu den folgenden Befehl ein:

gcloud workflows deploy describe-image \
    --source=describe-image.yaml \
    --location=us-central1 \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Workflow ausführen

Bei der Ausführung eines Workflows wird die aktuelle Workflowdefinition ausgeführt, die dem Workflow zugeordnet ist.

Console

Öffnen Sie in der Google Cloud Console die Seite Workflows.

Zur Seite "Workflows"
Wählen Sie auf der Seite Workflows den Workflow describe-image aus, um die zugehörige Detailseite aufzurufen.
Klicken Sie auf der Seite Workflowdetails auf Ausführen.

Geben Sie unter Eingabe Folgendes ein:

{"image_url":"gs://generativeai-downloads/images/scones.jpg"}

Klicken Sie noch einmal auf Ausführen.

Sehen Sie sich die Ergebnisse des Workflows im Bereich Ausgabe an.

Die Ausgabe sollte in etwa so aussehen:

{
  "image_description": "There are three pink peony flowers on the right side of the picture[]...]There is a white napkin on the table.",
  "image_url": "gs://generativeai-downloads/images/scones.jpg"
}

gcloud

Öffnen Sie ein Terminalfenster.

Führen Sie den Workflow aus:

gcloud workflows run describe-image \
    --data='{"image_url":"gs://generativeai-downloads/images/scones.jpg"}'

Die Ausführungsergebnisse sollten in etwa so aussehen:

  Waiting for execution [258b530e-a093-46d7-a4ff-cbf5392273c0] to complete...done.
  argument: '{"image_url":"gs://generativeai-downloads/images/scones.jpg"}'
  createTime: '2024-02-09T13:59:32.166409938Z'
  duration: 4.174708484s
  endTime: '2024-02-09T13:59:36.341118422Z'
  name: projects/1051295516635/locations/us-central1/workflows/describe-image/executions/258b530e-a093-46d7-a4ff-cbf5392273c0
  result: "{\"image_description\":\"The picture shows a rustic table with a white surface,\
    \ on which there are several scones with blueberries, as well as two cups of coffee\
    [...]
    \ on the table. The background of the table is a dark blue color.\",\"image_url\"\
    :\"gs://generativeai-downloads/images/scones.jpg\"}"
  startTime: '2024-02-09T13:59:32.166409938Z'
  state: SUCCEEDED

Workflow zur Erstellung von Länderverläufen bereitstellen (Gemini Pro)

Stellen Sie einen Workflow bereit, der eine Eingabeliste von Ländern parallel durchläuft. Stellen Sie dazu eine http.post-Anfrage an einen Gemini Pro-Publisher-Endpunkt.

Der Workflow gibt den vom Modell generierten Länderverlauf zurück und kombiniert sie in einer Karte.

Weitere Informationen zu den Parametern des HTTP-Anfragetexts, die bei der Aufforderung an das LLM verwendet werden, und den Antworttextelementen finden Sie in der Referenz zur Gemini API.

Console

Öffnen Sie in der Google Cloud Console die Seite Workflows.

Zur Seite "Workflows"
Klicken Sie auf Erstellen.
Geben Sie einen Namen für den neuen Workflow ein: gemini-pro-country-histories.
Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.
Wählen Sie unter Dienstkonto das zuvor erstellte Dienstkonto aus.
Klicken Sie auf Next (Weiter).

Geben Sie im Workflow-Editor die folgende Definition für den Workflow ein:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "gemini-1.0-pro"
            - method: "generateContent"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - histories: {}
    - loop_over_countries:
        parallel:
            shared: [histories]
            for:
                value: country
                in: ${args.countries}
                steps:
                    - ask_llm:
                        call: http.post
                        args:
                            url: ${llm_api_endpoint}
                            auth:
                                type: OAuth2
                            body:
                                contents:
                                    role: "USER"
                                    parts:
                                        text: ${"Can you tell me about the history of " + country}
                                generation_config:
                                    temperature: 0.5
                                    max_output_tokens: 2048
                                    top_p: 0.8
                                    top_k: 40
                        result: llm_response
                    - add_to_histories:
                        assign:
                            - histories[country]: ${llm_response.body.candidates[0].content.parts[0].text}
    - return_result:
        return: ${histories}

Klicken Sie auf Bereitstellen.

gcloud

Erstellen Sie eine Quellcodedatei für Ihren Workflow:
```
touch gemini-pro-country-histories.yaml
```

Kopieren Sie in einem Texteditor den folgenden Workflow in Ihre Quellcodedatei:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "gemini-1.0-pro"
            - method: "generateContent"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - histories: {}
    - loop_over_countries:
        parallel:
            shared: [histories]
            for:
                value: country
                in: ${args.countries}
                steps:
                    - ask_llm:
                        call: http.post
                        args:
                            url: ${llm_api_endpoint}
                            auth:
                                type: OAuth2
                            body:
                                contents:
                                    role: "USER"
                                    parts:
                                        text: ${"Can you tell me about the history of " + country}
                                generation_config:
                                    temperature: 0.5
                                    max_output_tokens: 2048
                                    top_p: 0.8
                                    top_k: 40
                        result: llm_response
                    - add_to_histories:
                        assign:
                            - histories[country]: ${llm_response.body.candidates[0].content.parts[0].text}
    - return_result:
        return: ${histories}

Stellen Sie den Workflow bereit. Geben Sie hierzu den folgenden Befehl ein:

gcloud workflows deploy gemini-pro-country-histories \
    --source=gemini-pro-country-histories.yaml \
    --location=us-central1 \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Workflow ausführen

Bei der Ausführung eines Workflows wird die aktuelle Workflowdefinition ausgeführt, die dem Workflow zugeordnet ist.

Console

Öffnen Sie in der Google Cloud Console die Seite Workflows.

Zur Seite "Workflows"
Wählen Sie auf der Seite Workflows den Workflow gemini-pro-country-histories aus, um die zugehörige Detailseite aufzurufen.
Klicken Sie auf der Seite Workflowdetails auf Ausführen.

Geben Sie unter Eingabe Folgendes ein:

{"countries":["Argentina", "Bhutan", "Cyprus", "Denmark", "Ethiopia"]}

Klicken Sie noch einmal auf Ausführen.

Sehen Sie sich die Ergebnisse des Workflows im Bereich Ausgabe an.

Die Ausgabe sollte in etwa so aussehen:

{
  "Argentina": "The history of Argentina is a complex and fascinating one, marked by periods of prosperity and decline, political [...]
  "Bhutan": "The history of Bhutan is a rich and fascinating one, dating back to the 7th century AD. Here is a brief overview: [...]
  "Cyprus": "The history of Cyprus is a long and complex one, spanning over 10,000 years. The island has been ruled by a succession [...]
  "Denmark": "1. **Prehistory and Early History (c. 12,000 BC - 800 AD)**\\n   - The earliest evidence of human habitation in Denmark [...]
  "Ethiopia": "The history of Ethiopia is a long and complex one, stretching back to the earliest human civilizations. The country is [...]
}

gcloud

Öffnen Sie ein Terminalfenster.

Führen Sie den Workflow aus:

gcloud workflows run gemini-pro-country-histories \
    --data='{"countries":["Argentina", "Bhutan", "Cyprus", "Denmark", "Ethiopia"]}' \
    --location=us-central1

Die Ausführungsergebnisse sollten in etwa so aussehen:

  Waiting for execution [7ae1ccf1-29b7-4c2c-99ec-7a12ae289391] to complete...done.
  argument: '{"countries":["Argentina","Bhutan","Cyprus","Denmark","Ethiopia"]}'
  createTime: '2024-02-09T16:25:16.742349156Z'
  duration: 12.075968673s
  endTime: '2024-02-09T16:25:28.818317829Z'
  name: projects/1051295516635/locations/us-central1/workflows/gemini-pro-country-histories/executions/7ae1ccf1-29b7-4c2c-99ec-7a12ae289391
  result: "{\"Argentina\":\"The history of Argentina can be traced back to the arrival\
    [...]
    n* 2015: Argentina elects Mauricio Macri as president.\",\"Bhutan\":\"The history\
    [...]
    \ natural beauty, ancient monasteries, and friendly people.\",\"Cyprus\":\"The history\
    [...]
    ,\"Denmark\":\"The history of Denmark can be traced back to the Stone Age, with\
    [...]
    \ a high standard of living.\",\"Ethiopia\":\"The history of Ethiopia is long and\
    [...]
  startTime: '2024-02-09T16:25:16.742349156Z'
  state: SUCCEEDED

Workflow zur Generierung von Länderverläufen bereitstellen (PaLM 2 für Text)

Sie sollten Gemini Pro nicht als Modell verwenden. Im folgenden Beispiel wird ein ähnlicher Workflow wie der vorherige verwendet. Die http.post-Anfrage wird jedoch an ein PaLM 2-Element für den Text-Publisher-Endpunkt gesendet.

Weitere Informationen zu den Parametern für den HTTP-Anfragetext, die bei der Aufforderung an das LLM verwendet werden, und zu den Antworttextelementen finden Sie in der Referenz zur Text API zu PaLM 2.

Console

Öffnen Sie in der Google Cloud Console die Seite Workflows.

Zur Seite "Workflows"
Klicken Sie auf Erstellen.
Geben Sie einen Namen für den neuen Workflow ein: text-bison-country-histories.
Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.
Wählen Sie unter Dienstkonto das zuvor erstellte Dienstkonto aus.
Klicken Sie auf Next (Weiter).

Geben Sie im Workflow-Editor die folgende Definition für den Workflow ein:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "text-bison"
            - method: "predict"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - histories: {}
    - loop_over_countries:
        parallel:
            shared: [histories]
            for:
                value: country
                in: ${args.countries}
                steps:
                    - ask_llm:
                        call: http.post
                        args:
                            url: ${llm_api_endpoint}
                            auth:
                                type: OAuth2
                            body:
                                instances:
                                    - prompt: '${"Can you tell me about the history of " + country}'
                                parameters:
                                    temperature: 0.5
                                    maxOutputTokens: 2048
                                    topP: 0.8
                                    topK: 40
                        result: llm_response
                    - add_to_histories:
                        assign:
                            - history: ${llm_response.body.predictions[0].content}
                            # Remove leading whitespace from start of text
                            - history: ${text.substring(history, 1, len(history))}
                            - histories[country]: ${history}
    - return_result:
        return: ${histories}

Je nach verwendetem Modell müssen Sie möglicherweise unnötige Leerzeichen aus der Antwort entfernen.

Klicken Sie auf Bereitstellen.

gcloud

Erstellen Sie eine Quellcodedatei für Ihren Workflow:
```
touch text-bison-country-histories.yaml
```

Kopieren Sie in einem Texteditor den folgenden Workflow in Ihre Quellcodedatei:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "text-bison"
            - method: "predict"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - histories: {}
    - loop_over_countries:
        parallel:
            shared: [histories]
            for:
                value: country
                in: ${args.countries}
                steps:
                    - ask_llm:
                        call: http.post
                        args:
                            url: ${llm_api_endpoint}
                            auth:
                                type: OAuth2
                            body:
                                instances:
                                    - prompt: '${"Can you tell me about the history of " + country}'
                                parameters:
                                    temperature: 0.5
                                    maxOutputTokens: 2048
                                    topP: 0.8
                                    topK: 40
                        result: llm_response
                    - add_to_histories:
                        assign:
                            - history: ${llm_response.body.predictions[0].content}
                            # Remove leading whitespace from start of text
                            - history: ${text.substring(history, 1, len(history))}
                            - histories[country]: ${history}
    - return_result:
        return: ${histories}

Je nach verwendetem Modell müssen Sie möglicherweise unnötige Leerzeichen aus der Antwort entfernen.

Stellen Sie den Workflow bereit. Geben Sie hierzu den folgenden Befehl ein:

gcloud workflows deploy text-bison-country-histories \
    --source=text-bison-country-histories.yaml \
    --location=us-central1 \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Einen Workflow bereitstellen, der ein großes Dokument zusammenfasst (Gemini Pro)

Stellen Sie einen Workflow bereit, mit dem ein großes Dokument in kleinere Teile aufgeteilt wird. Stellen Sie http.post-Anfragen an einen Gemini Pro-Publisher-Endpunkt parallel, damit das Modell alle Teile gleichzeitig zusammenfassen kann. Der Workflow kombiniert schließlich alle Teilzusammenfassungen zu einer vollständigen Zusammenfassung.

Weitere Informationen zu den Parametern des HTTP-Anfragetexts, die bei der Aufforderung an das LLM verwendet werden, und den Antworttextelementen finden Sie in der Referenz zur Gemini API.

Die Workflowdefinition geht davon aus, dass Sie einen Cloud Storage-Bucket erstellt haben, in den Sie eine Textdatei hochladen können. Weitere Informationen zum Workflows-Connector (googleapis.storage.v1.objects.get), mit dem Objekte aus dem Cloud Storage-Bucket abgerufen werden, finden Sie in der Referenz zu Connectors.

Nachdem Sie den Workflow bereitgestellt haben, können Sie ihn ausführen, indem Sie einen geeigneten Eventarc-Trigger erstellen und dann eine Datei in den Bucket hochladen. Weitere Informationen finden Sie unter Cloud Storage-Ereignisse an Workflows weiterleiten. Es müssen zusätzliche APIs aktiviert und zusätzliche Rollen gewährt werden. Dazu gehört auch die Zuweisung der Rolle „Storage Object User“ (roles/storage.objectUser), die die Verwendung von Cloud Storage-Objekten unterstützt, Ihrem Dienstkonto. Weitere Informationen finden Sie im Abschnitt Trigger erstellen.

Console

Öffnen Sie in der Google Cloud Console die Seite Workflows.

Zur Seite "Workflows"
Klicken Sie auf Erstellen.
Geben Sie einen Namen für den neuen Workflow ein: gemini-pro-summaries.
Wählen Sie in der Liste Region die Option us-central1 (Iowa) aus.
Wählen Sie unter Dienstkonto das zuvor erstellte Dienstkonto aus.
Klicken Sie auf Next (Weiter).

Geben Sie im Workflow-Editor die folgende Definition für den Workflow ein:

main:
    params: [input]
    steps:
    - assign_file_vars:
        assign:
            - file_size: ${int(input.data.size)}
            - chunk_size: 64000
            - n_chunks: ${int(file_size / chunk_size)}
            - summaries: []
            - all_summaries_concatenated: ""
    - loop_over_chunks:
        parallel:
            shared: [summaries]
            for:
                value: chunk_idx
                range: ${[0, n_chunks]}
                steps:
                    - assign_bounds:
                        assign:
                            - lower_bound: ${chunk_idx * chunk_size}
                            - upper_bound: ${(chunk_idx + 1) * chunk_size}
                            - summaries: ${list.concat(summaries, "")}
                    - dump_file_content:
                        call: http.get
                        args:
                            url: ${"https://storage.googleapis.com/storage/v1/b/" + input.data.bucket + "/o/" + input.data.name + "?alt=media"}
                            auth:
                                type: OAuth2
                            headers:
                                Range: ${"bytes=" + lower_bound + "-" + upper_bound}
                        result: file_content
                    - assign_chunk:
                        assign:
                            - chunk: ${file_content.body}
                    - generate_chunk_summary:
                        call: ask_gemini_for_summary
                        args:
                            textToSummarize: ${chunk}
                        result: summary
                    - assign_summary:
                        assign:
                            - summaries[chunk_idx]: ${summary}
    - concat_summaries:
        for:
            value: summary
            in: ${summaries}
            steps:
                - append_summaries:
                    assign:
                        - all_summaries_concatenated: ${all_summaries_concatenated + "\n" + summary}
    - reduce_summary:
        call: ask_gemini_for_summary
        args:
            textToSummarize: ${all_summaries_concatenated}
        result: final_summary
    - return_result:
        return:
            - summaries: ${summaries}
            - final_summary: ${final_summary}

ask_gemini_for_summary:
    params: [textToSummarize]
    steps:
        - init:
            assign:
                - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                - location: "us-central1"
                - model: "gemini-pro"
                - summary: ""
        - call_gemini:
            call: http.post
            args:
                url: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":generateContent"}
                auth:
                    type: OAuth2
                body:
                    contents:
                        role: user
                        parts:
                            - text: '${"Make a summary of the following text:\n\n" + textToSummarize}'
                    generation_config:
                        temperature: 0.2
                        maxOutputTokens: 2000
                        topK: 10
                        topP: 0.9
            result: gemini_response
        # Sometimes, there's no text, for example, due to safety settings
        - check_text_exists:
            switch:
            - condition: ${not("parts" in gemini_response.body.candidates[0].content)}
              next: return_summary
        - extract_text:
            assign:
                - summary: ${gemini_response.body.candidates[0].content.parts[0].text}
        - return_summary:
            return: ${summary}

Klicken Sie auf Bereitstellen.

gcloud

Erstellen Sie eine Quellcodedatei für Ihren Workflow:
```
touch gemini-pro-summaries.yaml
```

Kopieren Sie in einem Texteditor den folgenden Workflow in Ihre Quellcodedatei:

main:
    params: [input]
    steps:
    - assign_file_vars:
        assign:
            - file_size: ${int(input.data.size)}
            - chunk_size: 64000
            - n_chunks: ${int(file_size / chunk_size)}
            - summaries: []
            - all_summaries_concatenated: ""
    - loop_over_chunks:
        parallel:
            shared: [summaries]
            for:
                value: chunk_idx
                range: ${[0, n_chunks]}
                steps:
                    - assign_bounds:
                        assign:
                            - lower_bound: ${chunk_idx * chunk_size}
                            - upper_bound: ${(chunk_idx + 1) * chunk_size}
                            - summaries: ${list.concat(summaries, "")}
                    - dump_file_content:
                        call: http.get
                        args:
                            url: ${"https://storage.googleapis.com/storage/v1/b/" + input.data.bucket + "/o/" + input.data.name + "?alt=media"}
                            auth:
                                type: OAuth2
                            headers:
                                Range: ${"bytes=" + lower_bound + "-" + upper_bound}
                        result: file_content
                    - assign_chunk:
                        assign:
                            - chunk: ${file_content.body}
                    - generate_chunk_summary:
                        call: ask_gemini_for_summary
                        args:
                            textToSummarize: ${chunk}
                        result: summary
                    - assign_summary:
                        assign:
                            - summaries[chunk_idx]: ${summary}
    - concat_summaries:
        for:
            value: summary
            in: ${summaries}
            steps:
                - append_summaries:
                    assign:
                        - all_summaries_concatenated: ${all_summaries_concatenated + "\n" + summary}
    - reduce_summary:
        call: ask_gemini_for_summary
        args:
            textToSummarize: ${all_summaries_concatenated}
        result: final_summary
    - return_result:
        return:
            - summaries: ${summaries}
            - final_summary: ${final_summary}

ask_gemini_for_summary:
    params: [textToSummarize]
    steps:
        - init:
            assign:
                - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                - location: "us-central1"
                - model: "gemini-pro"
                - summary: ""
        - call_gemini:
            call: http.post
            args:
                url: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":generateContent"}
                auth:
                    type: OAuth2
                body:
                    contents:
                        role: user
                        parts:
                            - text: '${"Make a summary of the following text:\n\n" + textToSummarize}'
                    generation_config:
                        temperature: 0.2
                        maxOutputTokens: 2000
                        topK: 10
                        topP: 0.9
            result: gemini_response
        # Sometimes, there's no text, for example, due to safety settings
        - check_text_exists:
            switch:
            - condition: ${not("parts" in gemini_response.body.candidates[0].content)}
              next: return_summary
        - extract_text:
            assign:
                - summary: ${gemini_response.body.candidates[0].content.parts[0].text}
        - return_summary:
            return: ${summary}

Stellen Sie den Workflow bereit. Geben Sie hierzu den folgenden Befehl ein:

gcloud workflows deploy gemini-pro-summaries \
    --source=gemini-pro-summaries.yaml \
    --location=us-central1 \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Bereinigen

Damit Ihrem Google Cloud-Konto die in dieser Anleitung verwendeten Ressourcen nicht in Rechnung gestellt werden, löschen Sie entweder das Projekt, das die Ressourcen enthält, oder Sie behalten das Projekt und löschen die einzelnen Ressourcen.

Projekt löschen

Console

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Wechseln Sie in der Google Cloud Console zur Seite Ressourcen verwalten.
Zur Seite „Ressourcen verwalten“
Wählen Sie in der Projektliste das Projekt aus, das Sie löschen möchten, und klicken Sie dann auf Löschen.
Geben Sie im Dialogfeld die Projekt-ID ein und klicken Sie auf Shut down (Beenden), um das Projekt zu löschen.

gcloud

Achtung: Das Löschen von Projekten hat folgende Auswirkungen:

Alle Inhalte des Projekts werden gelöscht. Wenn Sie für die Aufgaben in diesem Dokument ein bereits bestehendes Projekt verwendet haben und dieses löschen, werden auch alle anderen im Rahmen des Projekts erstellten Daten gelöscht.
Benutzerdefinierte Projekt-IDs gehen verloren. Beim Erstellen dieses Projekts haben Sie möglicherweise eine benutzerdefinierte Projekt-ID erstellt, die Sie weiterhin verwenden möchten. Damit die URLs, die die Projekt-ID nutzen, z. B. eine appspot.com-URL, erhalten bleiben, sollten Sie ausgewählte Ressourcen innerhalb des Projekts löschen, statt das gesamte Projekt.

Wenn Sie mehrere Architekturen, Anleitungen und Kurzanleitungen durcharbeiten möchten, können Sie die Überschreitung von Projektkontingenten verhindern, indem Sie Projekte wiederverwenden.

Google Cloud-Projekt löschen:

gcloud projects delete PROJECT_ID

Einzelne Ressourcen löschen

Löschen Sie die Workflows, die Sie in dieser Anleitung erstellt haben.

Nächste Schritte

Weitere Informationen zum Stellen einer HTTP-Anfrage
Weitere Informationen zur streamGenerateContent-Methode von Vertex AI.
Weitere Informationen zur predict-Methode von Vertex AI.