Accéder aux modèles Vertex AI à partir d'un workflow

L'IA générative sur Vertex AI (également appelée genAI ou genAI) vous donne accès aux modèles d'IA générative de Google pour plusieurs modalités (texte, code, images, voix). Vous pouvez tester et régler ces grands modèles de langage (LLM), puis les déployer pour les utiliser dans vos applications basées sur l'IA. Pour en savoir plus, consultez la page Présentation de l'IA générative sur Vertex AI.

Vertex AI propose divers modèles de fondation d'IA générative accessibles via une API, y compris les modèles utilisés dans les exemples suivants:

Gemini Pro est conçu pour gérer les tâches en langage naturel, le chat textuel et de code multitours, ainsi que la génération de code.
Gemini Pro Vision est compatible avec les requêtes multimodales. Vous pouvez inclure du texte, des images et des vidéos dans vos requêtes d'invite et obtenir des réponses textuelles ou de code.
PaLM 2 (Pathways Language Model 2) pour le texte est optimisé pour les tâches linguistiques telles que la classification, la synthèse et l'extraction d'entités.

Chaque modèle est exposé via un point de terminaison d'éditeur spécifique à votre projet Google Cloud. Il n'est donc pas nécessaire de déployer le modèle de fondation, sauf si vous devez le régler pour un cas d'utilisation spécifique. Vous pouvez envoyer une invite au point de terminaison de l'éditeur. Une requête est une requête en langage naturel envoyée à un LLM pour déclencher une réponse.

Ce tutoriel présente quatre workflows qui génèrent des réponses à partir de modèles Vertex AI en envoyant des requêtes textuelles via des requêtes HTTP POST aux points de terminaison de l'éditeur. Notez que vous pouvez déployer et exécuter chaque workflow indépendamment l'un de l'autre.

Objectifs

Dans ce tutoriel, vous allez effectuer les opérations suivantes:

Activez les API Vertex AI et Workflows, puis attribuez le rôle Utilisateur Vertex AI (roles/aiplatform.user) à votre compte de service. Ce rôle permet d'accéder à la plupart des fonctionnalités de Vertex AI. Pour en savoir plus sur la configuration de Vertex AI, consultez la page Configurer Vertex AI.
Déployez et exécutez un workflow qui invite un modèle Vertex AI (Gemini Pro Vision) à décrire une image accessible au public via Cloud Storage. Pour en savoir plus, consultez la page Rendre des données publiques.
Déployez et exécutez un workflow qui parcourt en parallèle une liste de pays, puis demande à un modèle Vertex AI (Gemini Pro) de générer et de renvoyer l'historique des pays. L'utilisation de branches parallèles vous permet de réduire la durée d'exécution totale en démarrant les appels au LLM en même temps et en attendant qu'ils se terminent tous avant de combiner les résultats. Pour en savoir plus, consultez la section Exécuter des étapes de workflow en parallèle.
Déployez un workflow semblable au précédent, mais demandez à un modèle Vertex AI (PaLM 2 pour le texte) de générer et de renvoyer les historiques des pays. Pour savoir comment choisir un modèle, consultez la section Informations sur le modèle.
Déployez un workflow capable de résumer un document volumineux. Étant donné qu'il existe une limite à la fenêtre de contexte qui définit jusqu'à quelle date le modèle doit remonter pendant l'entraînement (et pour les prévisions), le workflow divise le document en parties plus petites, puis demande à un modèle Vertex AI (Gemini Pro) de résumer chaque partie en parallèle. Pour en savoir plus, consultez Invites de synthèse et Horizon de prévision, fenêtre de contexte et fenêtre de prévision.

Coûts

Dans ce document, vous utilisez les composants facturables suivants de Google Cloud :

Obtenez une estimation des coûts en fonction de votre utilisation prévue à l'aide du simulateur de coût. Les nouveaux utilisateurs de Google Cloud peuvent bénéficier d'un essai gratuit.

Une fois que vous avez terminé les tâches décrites dans ce document, vous pouvez éviter de continuer à payer des frais en supprimant les ressources que vous avez créées. Pour en savoir plus, consultez la section Effectuer un nettoyage.

Avant de commencer

Avant d'essayer les exemples de ce tutoriel, assurez-vous d'avoir effectué les opérations suivantes.

Console

Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Activer les API Vertex AI and Workflows.

Activer les API

Créez un compte de service :

Dans la console Google Cloud, accédez à la page Créer un compte de service.
Accéder à la page "Créer un compte de service"
Sélectionnez votre projet.
Dans le champ Nom du compte de service, saisissez un nom. La console Google Cloud remplit le champ ID du compte de service en fonction de ce nom.

Dans le champ Description du compte de service, saisissez une description. Exemple : Service account for quickstart.
Cliquez sur Créer et continuer.
Attribuez le rôle Vertex AI > Vertex AI User au compte de service.

Pour accorder le rôle, trouvez la liste Sélectionner un rôle, puis sélectionnez Vertex AI > Vertex AI User.

Remarque : Le champ Rôle détermine les ressources auxquelles le compte de service peut accéder dans votre projet. Vous pouvez révoquer ces rôles ou attribuer des rôles supplémentaires ultérieurement. Dans les environnements de production, n'attribuez pas les rôles Propriétaire, Éditeur et Lecteur. Attribuez plutôt un rôle prédéfini ou un rôle personnalisé répondant à vos besoins.
Cliquez sur Continuer.
Cliquez sur OK pour terminer la création du compte de service.

Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

Accéder au sélecteur de projet

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Activer les API Vertex AI and Workflows.

Activer les API

Créez un compte de service :

Dans la console Google Cloud, accédez à la page Créer un compte de service.
Accéder à la page "Créer un compte de service"
Sélectionnez votre projet.
Dans le champ Nom du compte de service, saisissez un nom. La console Google Cloud remplit le champ ID du compte de service en fonction de ce nom.

Dans le champ Description du compte de service, saisissez une description. Exemple : Service account for quickstart.
Cliquez sur Créer et continuer.
Attribuez le rôle Vertex AI > Vertex AI User au compte de service.

Pour accorder le rôle, trouvez la liste Sélectionner un rôle, puis sélectionnez Vertex AI > Vertex AI User.

Remarque : Le champ Rôle détermine les ressources auxquelles le compte de service peut accéder dans votre projet. Vous pouvez révoquer ces rôles ou attribuer des rôles supplémentaires ultérieurement. Dans les environnements de production, n'attribuez pas les rôles Propriétaire, Éditeur et Lecteur. Attribuez plutôt un rôle prédéfini ou un rôle personnalisé répondant à vos besoins.
Cliquez sur Continuer.
Cliquez sur OK pour terminer la création du compte de service.

gcloud

Installez Google Cloud CLI.

Pour initialiser gcloudCLI, exécutez la commande suivante :

gcloud init

Créez ou sélectionnez un projet Google Cloud.

Créez un projet Google Cloud :
```
gcloud projects create PROJECT_ID
```
Remplacez PROJECT_ID par le nom du projet Google Cloud que vous créez.
Sélectionnez le projet Google Cloud que vous avez créé :
```
gcloud config set project PROJECT_ID
```
Remplacez PROJECT_ID par le nom de votre projet Google Cloud.

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Activer les API Vertex AI and Workflows :

gcloud services enable aiplatform.googleapis.com workflows.googleapis.com

Configurez l'authentification :

Créez le compte de service :
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
```
Remplacez SERVICE_ACCOUNT_NAME par le nom que vous souhaitez donner au compte de service.
Attribuez le rôle IAM roles/aiplatform.user au compte de service.
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/aiplatform.user
```
Remplacez les éléments suivants :
- SERVICE_ACCOUNT_NAME : nom du compte de service.
- PROJECT_ID : ID du projet dans lequel vous avez créé le compte de service.
Remarque : L'option --role détermine les ressources auxquelles le compte de service peut accéder dans votre projet. Vous pouvez révoquer ces rôles ou attribuer des rôles supplémentaires ultérieurement. Dans les environnements de production, n'attribuez pas les rôles Propriétaire, Éditeur et Lecteur. Attribuez plutôt un rôle prédéfini ou un rôle personnalisé répondant à vos besoins.

Installez Google Cloud CLI.

Pour initialiser gcloudCLI, exécutez la commande suivante :

gcloud init

Créez ou sélectionnez un projet Google Cloud.

Créez un projet Google Cloud :
```
gcloud projects create PROJECT_ID
```
Remplacez PROJECT_ID par le nom du projet Google Cloud que vous créez.
Sélectionnez le projet Google Cloud que vous avez créé :
```
gcloud config set project PROJECT_ID
```
Remplacez PROJECT_ID par le nom de votre projet Google Cloud.

Vérifiez que la facturation est activée pour votre projet Google Cloud.

Activer les API Vertex AI and Workflows :

gcloud services enable aiplatform.googleapis.com workflows.googleapis.com

Configurez l'authentification :

Créez le compte de service :
```
gcloud iam service-accounts create SERVICE_ACCOUNT_NAME
```
Remplacez SERVICE_ACCOUNT_NAME par le nom que vous souhaitez donner au compte de service.
Attribuez le rôle IAM roles/aiplatform.user au compte de service.
```
gcloud projects add-iam-policy-binding PROJECT_ID --member="serviceAccount:SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com" --role=roles/aiplatform.user
```
Remplacez les éléments suivants :
- SERVICE_ACCOUNT_NAME : nom du compte de service.
- PROJECT_ID : ID du projet dans lequel vous avez créé le compte de service.
Remarque : L'option --role détermine les ressources auxquelles le compte de service peut accéder dans votre projet. Vous pouvez révoquer ces rôles ou attribuer des rôles supplémentaires ultérieurement. Dans les environnements de production, n'attribuez pas les rôles Propriétaire, Éditeur et Lecteur. Attribuez plutôt un rôle prédéfini ou un rôle personnalisé répondant à vos besoins.

Déployer un workflow décrivant une image (Gemini Pro Vision)

Déployez un workflow qui envoie une requête http.post au point de terminaison de l'éditeur Gemini Pro Vision.

Le workflow fournit une invite textuelle et l'URI d'une image accessible au public dans un bucket Cloud Storage. Vous pouvez afficher l'image et, dans la console Google Cloud, afficher les détails de l'objet.

Le workflow renvoie une description de l'image à partir de la réponse générée par le modèle.

Pour en savoir plus sur les paramètres de corps de requête HTTP utilisés lors de l'envoi d'une requête au LLM et sur les éléments du corps de la réponse, consultez la documentation de référence de l'API Gemini.

Console

Dans la console Google Cloud, accédez à la page Workflows.

Accéder à "Workflows"
Cliquez sur Créer.
Attribuez un nom au nouveau workflow: describe-image.
Dans la liste Région, sélectionnez us-central1 (Iowa).
Dans le champ Compte de service, sélectionnez le compte de service que vous avez créé précédemment.
Cliquez sur Suivant.

Dans l'éditeur de workflow, saisissez la définition suivante pour votre workflow:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "gemini-1.0-pro-vision"
            - method: "generateContent"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - text_combined: ""
    - ask_llm:
        call: http.post
        args:
            url: ${llm_api_endpoint}
            auth:
                type: OAuth2
            body:
                contents:
                    role: user
                    parts:
                    - fileData:
                        mimeType: image/jpeg
                        fileUri: ${args.image_url}
                    - text: Describe this picture in detail
                generation_config:
                    temperature: 0.4
                    max_output_tokens: 2048
                    top_p: 1
                    top_k: 32
        result: llm_response
    - return_result:
        return:
            image_url: ${args.image_url}
            image_description: ${llm_response.body.candidates[0].content.parts[0].text}

Notez que, selon le modèle utilisé, vous devrez peut-être supprimer tout espace blanc inutile de la réponse.

Cliquez sur Deploy (Déployer).

gcloud

Créez un fichier de code source pour votre workflow:
```
touch describe-image.yaml
```

Dans un éditeur de texte, copiez le workflow suivant dans votre fichier de code source:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "gemini-1.0-pro-vision"
            - method: "generateContent"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - text_combined: ""
    - ask_llm:
        call: http.post
        args:
            url: ${llm_api_endpoint}
            auth:
                type: OAuth2
            body:
                contents:
                    role: user
                    parts:
                    - fileData:
                        mimeType: image/jpeg
                        fileUri: ${args.image_url}
                    - text: Describe this picture in detail
                generation_config:
                    temperature: 0.4
                    max_output_tokens: 2048
                    top_p: 1
                    top_k: 32
        result: llm_response
    - return_result:
        return:
            image_url: ${args.image_url}
            image_description: ${llm_response.body.candidates[0].content.parts[0].text}

Notez que, selon le modèle utilisé, vous devrez peut-être supprimer tout espace blanc inutile de la réponse.

Déployez le workflow en saisissant la commande suivante :

gcloud workflows deploy describe-image \
    --source=describe-image.yaml \
    --location=us-central1 \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Exécuter le workflow

L'exécution d'un workflow exécute la définition actuelle du workflow associé au workflow.

Console

Dans la console Google Cloud, accédez à la page Workflows.

Accéder à "Workflows"
Sur la page Workflows, sélectionnez le workflow describe-image pour accéder à sa page d'informations.
Sur la page Détails du workflow, cliquez sur Exécuter.

Dans le champ Entrée, saisissez ce qui suit:

{"image_url":"gs://generativeai-downloads/images/scones.jpg"}

Cliquez à nouveau sur Exécuter.

Affichez les résultats du workflow dans le volet Output (Résultat).

La sortie devrait ressembler à ce qui suit :

{
  "image_description": "There are three pink peony flowers on the right side of the picture[]...]There is a white napkin on the table.",
  "image_url": "gs://generativeai-downloads/images/scones.jpg"
}

gcloud

Ouvrez un terminal.

Exécutez le workflow :

gcloud workflows run describe-image \
    --data='{"image_url":"gs://generativeai-downloads/images/scones.jpg"}'

Les résultats de l'exécution doivent ressembler à ce qui suit:

  Waiting for execution [258b530e-a093-46d7-a4ff-cbf5392273c0] to complete...done.
  argument: '{"image_url":"gs://generativeai-downloads/images/scones.jpg"}'
  createTime: '2024-02-09T13:59:32.166409938Z'
  duration: 4.174708484s
  endTime: '2024-02-09T13:59:36.341118422Z'
  name: projects/1051295516635/locations/us-central1/workflows/describe-image/executions/258b530e-a093-46d7-a4ff-cbf5392273c0
  result: "{\"image_description\":\"The picture shows a rustic table with a white surface,\
    \ on which there are several scones with blueberries, as well as two cups of coffee\
    [...]
    \ on the table. The background of the table is a dark blue color.\",\"image_url\"\
    :\"gs://generativeai-downloads/images/scones.jpg\"}"
  startTime: '2024-02-09T13:59:32.166409938Z'
  state: SUCCEEDED

Déployer un workflow qui génère des historiques de pays (Gemini Pro)

Déployez un workflow qui parcourt en parallel une liste d'entrée de pays, en envoyant une requête http.post au point de terminaison de l'éditeur Gemini Pro.

Le workflow renvoie les historiques de pays générés par le modèle, en les combinant sur une carte.

Console

Dans la console Google Cloud, accédez à la page Workflows.

Accéder à "Workflows"
Cliquez sur Créer.
Attribuez un nom au nouveau workflow: gemini-pro-country-histories.
Dans la liste Région, sélectionnez us-central1 (Iowa).
Dans le champ Compte de service, sélectionnez le compte de service que vous avez créé précédemment.
Cliquez sur Suivant.

Dans l'éditeur de workflow, saisissez la définition suivante pour votre workflow:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "gemini-1.0-pro"
            - method: "generateContent"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - histories: {}
    - loop_over_countries:
        parallel:
            shared: [histories]
            for:
                value: country
                in: ${args.countries}
                steps:
                    - ask_llm:
                        call: http.post
                        args:
                            url: ${llm_api_endpoint}
                            auth:
                                type: OAuth2
                            body:
                                contents:
                                    role: "USER"
                                    parts:
                                        text: ${"Can you tell me about the history of " + country}
                                generation_config:
                                    temperature: 0.5
                                    max_output_tokens: 2048
                                    top_p: 0.8
                                    top_k: 40
                        result: llm_response
                    - add_to_histories:
                        assign:
                            - histories[country]: ${llm_response.body.candidates[0].content.parts[0].text}
    - return_result:
        return: ${histories}

Cliquez sur Deploy (Déployer).

gcloud

Créez un fichier de code source pour votre workflow:
```
touch gemini-pro-country-histories.yaml
```

Dans un éditeur de texte, copiez le workflow suivant dans votre fichier de code source:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "gemini-1.0-pro"
            - method: "generateContent"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - histories: {}
    - loop_over_countries:
        parallel:
            shared: [histories]
            for:
                value: country
                in: ${args.countries}
                steps:
                    - ask_llm:
                        call: http.post
                        args:
                            url: ${llm_api_endpoint}
                            auth:
                                type: OAuth2
                            body:
                                contents:
                                    role: "USER"
                                    parts:
                                        text: ${"Can you tell me about the history of " + country}
                                generation_config:
                                    temperature: 0.5
                                    max_output_tokens: 2048
                                    top_p: 0.8
                                    top_k: 40
                        result: llm_response
                    - add_to_histories:
                        assign:
                            - histories[country]: ${llm_response.body.candidates[0].content.parts[0].text}
    - return_result:
        return: ${histories}

Déployez le workflow en saisissant la commande suivante :

gcloud workflows deploy gemini-pro-country-histories \
    --source=gemini-pro-country-histories.yaml \
    --location=us-central1 \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Exécuter le workflow

L'exécution d'un workflow exécute la définition actuelle du workflow associé au workflow.

Console

Dans la console Google Cloud, accédez à la page Workflows.

Accéder à "Workflows"
Sur la page Workflows, sélectionnez le workflow gemini-pro-country-histories pour accéder à sa page d'informations.
Sur la page Détails du workflow, cliquez sur Exécuter.

Dans le champ Entrée, saisissez ce qui suit:

{"countries":["Argentina", "Bhutan", "Cyprus", "Denmark", "Ethiopia"]}

Cliquez à nouveau sur Exécuter.

Affichez les résultats du workflow dans le volet Output (Résultat).

La sortie devrait ressembler à ce qui suit :

{
  "Argentina": "The history of Argentina is a complex and fascinating one, marked by periods of prosperity and decline, political [...]
  "Bhutan": "The history of Bhutan is a rich and fascinating one, dating back to the 7th century AD. Here is a brief overview: [...]
  "Cyprus": "The history of Cyprus is a long and complex one, spanning over 10,000 years. The island has been ruled by a succession [...]
  "Denmark": "1. **Prehistory and Early History (c. 12,000 BC - 800 AD)**\\n   - The earliest evidence of human habitation in Denmark [...]
  "Ethiopia": "The history of Ethiopia is a long and complex one, stretching back to the earliest human civilizations. The country is [...]
}

gcloud

Ouvrez un terminal.

Exécutez le workflow :

gcloud workflows run gemini-pro-country-histories \
    --data='{"countries":["Argentina", "Bhutan", "Cyprus", "Denmark", "Ethiopia"]}' \
    --location=us-central1

Les résultats de l'exécution doivent ressembler à ce qui suit:

  Waiting for execution [7ae1ccf1-29b7-4c2c-99ec-7a12ae289391] to complete...done.
  argument: '{"countries":["Argentina","Bhutan","Cyprus","Denmark","Ethiopia"]}'
  createTime: '2024-02-09T16:25:16.742349156Z'
  duration: 12.075968673s
  endTime: '2024-02-09T16:25:28.818317829Z'
  name: projects/1051295516635/locations/us-central1/workflows/gemini-pro-country-histories/executions/7ae1ccf1-29b7-4c2c-99ec-7a12ae289391
  result: "{\"Argentina\":\"The history of Argentina can be traced back to the arrival\
    [...]
    n* 2015: Argentina elects Mauricio Macri as president.\",\"Bhutan\":\"The history\
    [...]
    \ natural beauty, ancient monasteries, and friendly people.\",\"Cyprus\":\"The history\
    [...]
    ,\"Denmark\":\"The history of Denmark can be traced back to the Stone Age, with\
    [...]
    \ a high standard of living.\",\"Ethiopia\":\"The history of Ethiopia is long and\
    [...]
  startTime: '2024-02-09T16:25:16.742349156Z'
  state: SUCCEEDED

Déployer un workflow qui génère des historiques de pays (PaLM 2 pour le texte)

Il est possible que vous ne souhaitiez pas utiliser Gemini Pro comme modèle. L'exemple suivant utilise un workflow semblable au précédent. Cependant, la requête http.post est envoyée à un PaLM 2 pour le point de terminaison de l'éditeur de texte.

Console

Dans la console Google Cloud, accédez à la page Workflows.

Accéder à "Workflows"
Cliquez sur Créer.
Attribuez un nom au nouveau workflow: text-bison-country-histories.
Dans la liste Région, sélectionnez us-central1 (Iowa).
Dans le champ Compte de service, sélectionnez le compte de service que vous avez créé précédemment.
Cliquez sur Suivant.

Dans l'éditeur de workflow, saisissez la définition suivante pour votre workflow:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "text-bison"
            - method: "predict"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - histories: {}
    - loop_over_countries:
        parallel:
            shared: [histories]
            for:
                value: country
                in: ${args.countries}
                steps:
                    - ask_llm:
                        call: http.post
                        args:
                            url: ${llm_api_endpoint}
                            auth:
                                type: OAuth2
                            body:
                                instances:
                                    - prompt: '${"Can you tell me about the history of " + country}'
                                parameters:
                                    temperature: 0.5
                                    maxOutputTokens: 2048
                                    topP: 0.8
                                    topK: 40
                        result: llm_response
                    - add_to_histories:
                        assign:
                            - history: ${llm_response.body.predictions[0].content}
                            # Remove leading whitespace from start of text
                            - history: ${text.substring(history, 1, len(history))}
                            - histories[country]: ${history}
    - return_result:
        return: ${histories}

Notez que, selon le modèle utilisé, vous devrez peut-être supprimer tout espace blanc inutile de la réponse.

Cliquez sur Deploy (Déployer).

gcloud

Créez un fichier de code source pour votre workflow:
```
touch text-bison-country-histories.yaml
```

Dans un éditeur de texte, copiez le workflow suivant dans votre fichier de code source:

main:
    params: [args]
    steps:
    - init:
        assign:
            - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
            - location: "us-central1"
            - model: "text-bison"
            - method: "predict"
            - llm_api_endpoint: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":" + method}
            - histories: {}
    - loop_over_countries:
        parallel:
            shared: [histories]
            for:
                value: country
                in: ${args.countries}
                steps:
                    - ask_llm:
                        call: http.post
                        args:
                            url: ${llm_api_endpoint}
                            auth:
                                type: OAuth2
                            body:
                                instances:
                                    - prompt: '${"Can you tell me about the history of " + country}'
                                parameters:
                                    temperature: 0.5
                                    maxOutputTokens: 2048
                                    topP: 0.8
                                    topK: 40
                        result: llm_response
                    - add_to_histories:
                        assign:
                            - history: ${llm_response.body.predictions[0].content}
                            # Remove leading whitespace from start of text
                            - history: ${text.substring(history, 1, len(history))}
                            - histories[country]: ${history}
    - return_result:
        return: ${histories}

Notez que, selon le modèle utilisé, vous devrez peut-être supprimer tout espace blanc inutile de la réponse.

Déployez le workflow en saisissant la commande suivante :

gcloud workflows deploy text-bison-country-histories \
    --source=text-bison-country-histories.yaml \
    --location=us-central1 \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Déployer un workflow qui résume un document volumineux (Gemini Pro)

Déployez un workflow qui divise un document volumineux en parties plus petites, en envoyant des requêtes http.post à un point de terminaison d'éditeur Gemini Pro en parallel, afin que le modèle puisse résumer chaque partie simultanément. Le workflow combine enfin tous les résumés partiels en un résumé complet.

La définition du workflow suppose que vous avez créé un bucket Cloud Storage dans lequel vous pouvez importer un fichier texte. Pour en savoir plus sur le connecteur Workflows (googleapis.storage.v1.objects.get) utilisé pour récupérer des objets dans le bucket Cloud Storage, consultez la documentation de référence sur les connecteurs.

Après avoir déployé le workflow, vous pouvez l'exécuter en créant un déclencheur Eventarc approprié, puis en important un fichier dans le bucket. Pour en savoir plus, consultez la section Acheminer des événements Cloud Storage vers Workflows. Notez que des API supplémentaires doivent être activées et que des rôles supplémentaires doivent être attribués, y compris l'attribution à votre compte de service du rôle Utilisateur des objets Storage (roles/storage.objectUser) compatible avec l'utilisation d'objets Cloud Storage. Pour en savoir plus, consultez la section Préparer la création d'un déclencheur.

Console

Dans la console Google Cloud, accédez à la page Workflows.

Accéder à "Workflows"
Cliquez sur Créer.
Attribuez un nom au nouveau workflow: gemini-pro-summaries.
Dans la liste Région, sélectionnez us-central1 (Iowa).
Dans le champ Compte de service, sélectionnez le compte de service que vous avez créé précédemment.
Cliquez sur Suivant.

Dans l'éditeur de workflow, saisissez la définition suivante pour votre workflow:

main:
    params: [input]
    steps:
    - assign_file_vars:
        assign:
            - file_size: ${int(input.data.size)}
            - chunk_size: 64000
            - n_chunks: ${int(file_size / chunk_size)}
            - summaries: []
            - all_summaries_concatenated: ""
    - loop_over_chunks:
        parallel:
            shared: [summaries]
            for:
                value: chunk_idx
                range: ${[0, n_chunks]}
                steps:
                    - assign_bounds:
                        assign:
                            - lower_bound: ${chunk_idx * chunk_size}
                            - upper_bound: ${(chunk_idx + 1) * chunk_size}
                            - summaries: ${list.concat(summaries, "")}
                    - dump_file_content:
                        call: http.get
                        args:
                            url: ${"https://storage.googleapis.com/storage/v1/b/" + input.data.bucket + "/o/" + input.data.name + "?alt=media"}
                            auth:
                                type: OAuth2
                            headers:
                                Range: ${"bytes=" + lower_bound + "-" + upper_bound}
                        result: file_content
                    - assign_chunk:
                        assign:
                            - chunk: ${file_content.body}
                    - generate_chunk_summary:
                        call: ask_gemini_for_summary
                        args:
                            textToSummarize: ${chunk}
                        result: summary
                    - assign_summary:
                        assign:
                            - summaries[chunk_idx]: ${summary}
    - concat_summaries:
        for:
            value: summary
            in: ${summaries}
            steps:
                - append_summaries:
                    assign:
                        - all_summaries_concatenated: ${all_summaries_concatenated + "\n" + summary}
    - reduce_summary:
        call: ask_gemini_for_summary
        args:
            textToSummarize: ${all_summaries_concatenated}
        result: final_summary
    - return_result:
        return:
            - summaries: ${summaries}
            - final_summary: ${final_summary}

ask_gemini_for_summary:
    params: [textToSummarize]
    steps:
        - init:
            assign:
                - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                - location: "us-central1"
                - model: "gemini-pro"
                - summary: ""
        - call_gemini:
            call: http.post
            args:
                url: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":generateContent"}
                auth:
                    type: OAuth2
                body:
                    contents:
                        role: user
                        parts:
                            - text: '${"Make a summary of the following text:\n\n" + textToSummarize}'
                    generation_config:
                        temperature: 0.2
                        maxOutputTokens: 2000
                        topK: 10
                        topP: 0.9
            result: gemini_response
        # Sometimes, there's no text, for example, due to safety settings
        - check_text_exists:
            switch:
            - condition: ${not("parts" in gemini_response.body.candidates[0].content)}
              next: return_summary
        - extract_text:
            assign:
                - summary: ${gemini_response.body.candidates[0].content.parts[0].text}
        - return_summary:
            return: ${summary}

Cliquez sur Deploy (Déployer).

gcloud

Créez un fichier de code source pour votre workflow:
```
touch gemini-pro-summaries.yaml
```

Dans un éditeur de texte, copiez le workflow suivant dans votre fichier de code source:

main:
    params: [input]
    steps:
    - assign_file_vars:
        assign:
            - file_size: ${int(input.data.size)}
            - chunk_size: 64000
            - n_chunks: ${int(file_size / chunk_size)}
            - summaries: []
            - all_summaries_concatenated: ""
    - loop_over_chunks:
        parallel:
            shared: [summaries]
            for:
                value: chunk_idx
                range: ${[0, n_chunks]}
                steps:
                    - assign_bounds:
                        assign:
                            - lower_bound: ${chunk_idx * chunk_size}
                            - upper_bound: ${(chunk_idx + 1) * chunk_size}
                            - summaries: ${list.concat(summaries, "")}
                    - dump_file_content:
                        call: http.get
                        args:
                            url: ${"https://storage.googleapis.com/storage/v1/b/" + input.data.bucket + "/o/" + input.data.name + "?alt=media"}
                            auth:
                                type: OAuth2
                            headers:
                                Range: ${"bytes=" + lower_bound + "-" + upper_bound}
                        result: file_content
                    - assign_chunk:
                        assign:
                            - chunk: ${file_content.body}
                    - generate_chunk_summary:
                        call: ask_gemini_for_summary
                        args:
                            textToSummarize: ${chunk}
                        result: summary
                    - assign_summary:
                        assign:
                            - summaries[chunk_idx]: ${summary}
    - concat_summaries:
        for:
            value: summary
            in: ${summaries}
            steps:
                - append_summaries:
                    assign:
                        - all_summaries_concatenated: ${all_summaries_concatenated + "\n" + summary}
    - reduce_summary:
        call: ask_gemini_for_summary
        args:
            textToSummarize: ${all_summaries_concatenated}
        result: final_summary
    - return_result:
        return:
            - summaries: ${summaries}
            - final_summary: ${final_summary}

ask_gemini_for_summary:
    params: [textToSummarize]
    steps:
        - init:
            assign:
                - project: ${sys.get_env("GOOGLE_CLOUD_PROJECT_ID")}
                - location: "us-central1"
                - model: "gemini-pro"
                - summary: ""
        - call_gemini:
            call: http.post
            args:
                url: ${"https://" + location + "-aiplatform.googleapis.com" + "/v1/projects/" + project + "/locations/" + location + "/publishers/google/models/" + model + ":generateContent"}
                auth:
                    type: OAuth2
                body:
                    contents:
                        role: user
                        parts:
                            - text: '${"Make a summary of the following text:\n\n" + textToSummarize}'
                    generation_config:
                        temperature: 0.2
                        maxOutputTokens: 2000
                        topK: 10
                        topP: 0.9
            result: gemini_response
        # Sometimes, there's no text, for example, due to safety settings
        - check_text_exists:
            switch:
            - condition: ${not("parts" in gemini_response.body.candidates[0].content)}
              next: return_summary
        - extract_text:
            assign:
                - summary: ${gemini_response.body.candidates[0].content.parts[0].text}
        - return_summary:
            return: ${summary}

Déployez le workflow en saisissant la commande suivante :

gcloud workflows deploy gemini-pro-summaries \
    --source=gemini-pro-summaries.yaml \
    --location=us-central1 \
    --service-account=SERVICE_ACCOUNT_NAME@PROJECT_ID.iam.gserviceaccount.com

Effectuer un nettoyage

Pour éviter que les ressources utilisées lors de ce tutoriel soient facturées sur votre compte Google Cloud, supprimez le projet contenant les ressources, ou conservez le projet et supprimez les ressources individuelles.

Supprimer le projet

Console

Attention : La suppression d'un projet aura les effets suivants :

Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches de ce document, lorsque vous le supprimez, vous supprimez également tout autre travail effectué dans le projet.
Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

Dans la console Google Cloud, accédez à la page Gérer les ressources.
Accéder à la page Gérer les ressources
Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

gcloud

Attention : La suppression d'un projet aura les effets suivants :

Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches de ce document, lorsque vous le supprimez, vous supprimez également tout autre travail effectué dans le projet.
Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

Supprimez un projet Google Cloud :

gcloud projects delete PROJECT_ID

Supprimer des ressources individuelles

Supprimez les workflows que vous avez créés dans ce tutoriel.

Étapes suivantes

Découvrez comment effectuer une requête HTTP.
En savoir plus sur la méthode streamGenerateContent de Vertex AI.
En savoir plus sur la méthode predict de Vertex AI.