Utiliser l'outil de reformulation de requêtes

Essayer la génération d'images (Vertex AI Studio)

Essayer Imagen dans Colab

Imagen sur Vertex AI propose un outil de réécriture des requêtes basé sur un LLM, également appelé réécrivain de requêtes. Le réécriveur de requêtes vous aide à obtenir des images de meilleure qualité en ajoutant plus de détails à votre requête.

Si vous désactivez le réécriveur de requêtes, la qualité des images et la fidélité de la sortie par rapport à la requête que vous avez fournie peuvent être affectées. Cette fonctionnalité est activée par défaut pour les versions de modèle suivantes :

  • imagen-4.0-generate-001
  • imagen-4.0-fast-generate-001
  • imagen-4.0-ultra-generate-001
  • imagen-3.0-generate-002

La requête reformulée n'est envoyée par la réponse de l'API que si la requête d'origine contient moins de 30 mots.

Utiliser l'outil de reformulation de requêtes

Pour utiliser le réécriveur de requêtes :

Console

  1. Dans la console Google Cloud , accédez à la page Vertex AI>Media Studio.

    Accéder à Media Studio

  2. Cliquez sur Imagen. La page de génération d'images d'Imagen Media Studio s'affiche.

  3. Dans le panneau Paramètres, ajustez les options suivantes :

    • Modèle : sélectionnez un modèle parmi les options disponibles.

      Pour en savoir plus sur les modèles disponibles, consultez Modèles Imagen.

    • Nombre de résultats : ajustez le curseur ou saisissez une valeur comprise entre 1 et 4.

    • Dans la zone Requête négative, saisissez une requête décrivant ce que vous ne souhaitez pas voir dans l'image.

  4. Dans la zone Saisissez votre requête, cliquez sur M'aider à écrire.

    La fenêtre Améliorer mon prompt s'affiche.

  5. Dans la zone Requête actuelle, rédigez votre requête, puis cliquez sur Améliorer.

    La requête réécrite s'affiche dans la zone Requête améliorée. Vous pouvez modifier la requête améliorée ou l'utiliser telle quelle.

  6. Cliquez sur Insérer pour utiliser la requête affichée.

    La requête est insérée dans la zone Écrivez votre requête.

  7. Cliquez sur Générer.

REST

Avant d'utiliser les données de requête, effectuez les remplacements suivants :

  • PROJECT_ID : ID de votre projet Google Cloud .
  • MODEL_VERSION : version du modèle de génération d'images à utiliser.

    Pour en savoir plus sur les versions et les fonctionnalités des modèles, consultez Versions de modèles.

  • LOCATION : région de votre projet. (us-central1, europe-west2 ou asia-northeast3, par exemple). Pour obtenir la liste des régions disponibles, consultez IA générative sur les emplacements Vertex AI.
  • TEXT_PROMPT : la requête textuelle qui guide le modèle pour la génération d'images. Avant la génération des images, cette requête de base est améliorée avec un langage plus détaillé et descriptif à l'aide de l'outil de reformulation de requête basé sur un LLM.
  • IMAGE_COUNT : entier décrivant le nombre d'images à générer. Les valeurs acceptées sont comprises entre 1 et 4. La valeur par défaut est 4.
  • PROMPT_SETTING : valeur booléenne. true active les requêtes améliorées et false les désactive. La valeur par défaut est true.

Méthode HTTP et URL : 

POST https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_VERSION:predict

Corps JSON de la requête : 

{
  "instances": [
    {
      "prompt": "TEXT_PROMPT"
    }
  ],
  "parameters": {
    "sampleCount": IMAGE_COUNT,
    "enhancePrompt": PROMPT_SETTING
  }
}

Pour envoyer votre requête, choisissez l'une des options suivantes :

curl

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

curl -X POST \
     -H "Authorization: Bearer $(gcloud auth print-access-token)" \
     -H "Content-Type: application/json; charset=utf-8" \
     -d @request.json \
     "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_VERSION:predict"

PowerShell

Enregistrez le corps de la requête dans un fichier nommé request.json, puis exécutez la commande suivante :

$cred = gcloud auth print-access-token
$headers = @{ "Authorization" = "Bearer $cred" }

Invoke-WebRequest `
    -Method POST `
    -Headers $headers `
    -ContentType: "application/json; charset=utf-8" `
    -InFile request.json `
    -Uri "https://LOCATION-aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/LOCATION/publishers/google/models/MODEL_VERSION:predict" | Select-Object -Expand Content
Lorsque l'amélioration des requêtes est activée, la réponse inclut un champ prompt supplémentaire qui affiche la requête améliorée et l'image générée qui lui est associée : 
  {
    "predictions": [
      {
        "mimeType": "MIME_TYPE",
        "prompt": "ENHANCED_PROMPT_1",
        "bytesBase64Encoded": "BASE64_IMG_BYTES_1"
      },
      {
        "mimeType": "MIME_TYPE",
        "prompt": "ENHANCED_PROMPT_2",
        "bytesBase64Encoded": "BASE64_IMG_BYTES_2"
      }
    ]
  }

Par exemple, l'exemple de réponse suivant concerne une requête avec "sampleCount": 2 et "prompt": "A raccoon wearing formal clothes, wearing a top hat. Oil painting in the style of Vincent Van Gogh.". La réponse renvoie deux objets de prédiction, chacun avec leur requête améliorée et les octets d'image générés encodés en base64. 

{
  "predictions": [
    {
      "mimeType": "image/png",
      "prompt": "An oil painting in the style of Vincent van Gogh,
        depicting a raccoon adorned in a finely tailored tuxedo, complete with a
        crisp white shirt and a bow tie. The raccoon also sports a classic top
        hat, perched jauntily on its head. The painting uses thick, swirling
        brushstrokes characteristic of van Gogh, with vibrant hues of blue,
        yellow, and green in the background, contrasting with the dark tones of
        the raccoon's attire. The light source is subtly placed, casting a
        dramatic shadow of the raccoon's attire onto the surface it sits upon,
        further enhancing the depth and dimensionality of the composition. The
        overall impression is one of a whimsical and sophisticated character, a
        raccoon elevated to a higher class through its formal attire, rendered
        in van Gogh's iconic style.",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    },
    {
      "mimeType": "image/png",
      "prompt": "An oil painting in the style of Vincent van Gogh featuring
        a raccoon in a dapper suit, complete with a black jacket, crisp white
        shirt, and a black bow tie. The raccoon is wearing a black top hat,
        adding a touch of elegance to its ensemble. The painting is rendered
        with characteristic van Gogh brushwork, utilizing thick, impasto strokes
        of color. The background is a swirl of blues, greens, and yellows,
        creating a vibrant yet slightly chaotic atmosphere that contrasts with
        the raccoon's formal attire. The lighting is dramatic, casting sharp
        shadows and highlighting the textures of the fabric and the raccoon's
        fur, enhancing the sense of realism within the fantastical scene. The
        composition focuses on the raccoon's proud posture, highlighting the
        whimsical contrast of a wild animal dressed in formal attire, captured
        in the unique artistic language of van Gogh. ",
      "bytesBase64Encoded": "BASE64_IMG_BYTES"
    }
  ]
}

Étapes suivantes