Tutoriels et exemples sur les notebooks Jupyter Imagen sur Vertex AI

Ce document contient une liste de tutoriels sur les notebooks Jupyter Imagen sur Vertex AI ainsi que des articles avec des exemples de code.

Vous pouvez héberger des notebooks Jupyter dans de nombreux environnements. Vous pouvez :

  • les télécharger depuis GitHub et les exécuter sur votre ordinateur ;
  • les télécharger depuis GitHub et les exécuter sur un serveur Jupyter ou JupyterLab dans votre réseau local ;

  • les exécuter dans le cloud à l'aide d'un service tel que Colaboratory (Colab) ou Vertex AI Workbench.

Colab

L'exécution d'un notebook Jupyter dans Colab vous permet de démarrer rapidement.

Pour ouvrir un tutoriel sur les notebooks dans Colab, cliquez sur le lien Colab dans la liste des notebooks. Colab crée une instance de VM disposant de toutes les dépendances requises, lance l'environnement Colab et charge le notebook.

Vertex AI Workbench

Vous pouvez également exécuter le notebook à l'aide de notebooks gérés par l'utilisateur. Lorsque vous créez une instance de notebook gérée par l'utilisateur avec Vertex AI Workbench, vous contrôlez entièrement la VM d'hébergement. Vous pouvez spécifier la configuration et l'environnement de la VM hôte.

Pour ouvrir un tutoriel de notebook dans une instance Vertex AI Workbench, procédez comme suit :

  1. Cliquez sur le lien Vertex AI Workbench dans la liste des notebooks. Le lien ouvre la console Vertex AI Workbench.
  2. Sur l'écran Déployer sur le notebook, saisissez un nom pour votre nouvelle instance Vertex AI Workbench, puis cliquez sur Créer.
  3. Dans la boîte de dialogue Prêt à ouvrir le notebook qui s'affiche après le démarrage de l'instance, cliquez sur Ouvrir.
  4. Sur la page Confirm deployment to notebook server (Confirmer le déploiement sur le serveur de notebooks), sélectionnez Confirm (Confirmer).
  5. Avant d'exécuter le notebook, sélectionnez Noyau > Redémarrer le noyau et supprimer tous les éléments de sortie.

Liste des notebooks

Fonctionnalités Description Ouvrir dans
Génération d'images (Imagen 2)
 Génération d'images avec Imagen sur Vertex AI.
Dans ce notebook, vous explorez les fonctionnalités de génération d'images d'Imagen à l'aide du SDK Vertex AI pour Python. En savoir plus sur la fonctionnalité de génération d'images d'Imagen.

Étapes du tutoriel

  • Générer des images à l'aide d'invites de texte.
  • Tester différents paramètres, par exemple :
    • Augmenter le nombre d'images à générer.
    • Corriger un numéro source pour la reproductibilité.
    • Influencer les images de sortie à l'aide d'invites négatives.
 		Colab
GitHub
Vertex AI Workbench
Génération d'images (Imagen 2)

Génération de texte (Gemini 1.0 Pro)

Mise en forme du texte de sortie (Gemini 1.0 Pro) 		Créer des éléments visuels de haute qualité avec Imagen et Gemini 1.0 Pro.
Dans ce notebook, vous créez des éléments visuels de haute qualité pour un menu de restaurant à l'aide d'Imagen et Gemini 1.0 Pro. En savoir plus sur la génération d'images et les modèles multimodaux.

Étapes du tutoriel

  • Générer une invite d'image avec Gemini 1.0 Pro.
  • Utiliser Imagen pour créer des images de haute qualité à l'aide d'invites.
  • Implémenter un pipeline court pour produire des éléments visuels très détaillés.
 		Colab
GitHub
Vertex AI Workbench
Descriptions d'images / Visual Captioning (Imagen) Visual Captioning avec Imagen sur Vertex AI.
Dans ce notebook, vous apprendrez à utiliser le SDK Vertex AI pour Python afin de générer des légendes d'images. En savoir plus sur la fonctionnalité Visual Captioning d'Imagen.

Étapes du tutoriel

  • Générer des légendes d'images à l'aide des fonctionnalités de Visual Captioning d'Imagen.
  • Tester différents paramètres, par exemple :
    • Nombre de légendes à générer.
    • Langue des légendes générées.
    • Type et version du modèle utilisé pour générer les légendes.
 		Colab
GitHub
Vertex AI Workbench
Visual Question Answering (VQA) (Imagen) Visual Question Answering (VQA) avec Imagen sur Vertex AI.
Dans ce notebook, vous apprendrez à utiliser le SDK Vertex AI pour Python afin de générer des réponses aux questions que vous posez sur une image. En savoir plus sur la fonctionnalité Visual Question Answering (VQA) d'Imagen.

Étapes du tutoriel

  • Répondre à des questions sur des images à l'aide de la fonctionnalité Visual Question Answering d'Imagen.
  • Tester différents paramètres, par exemple :
    • Nombre de réponses que le modèle doit fournir.
 		Colab
GitHub
Vertex AI Workbench

Liste d'articles avec des exemples

Fonctionnalités Description Liens
Modification d'images (Imagen)
 Modification d'arrière-plan avec Imagen sur Vertex AI : guide par étapes.
Cet article explique comment effectuer des modifications basées sur des masques à l'aide du SDK Vertex AI pour Python. La modification de l'arrière-plan implique les étapes suivantes :
  • Supprimer l'arrière-plan existant.
  • Créer un masque et une image de masque inversée.
  • Encoder une image en chaîne.
  • Créer une charge utile de requête.
En savoir plus sur la fonctionnalité de modification d'images d'Imagen. 		Lien vers l'article
GitHub
Génération d'images (Imagen)

Génération de texte (PaLM 2 pour le texte) 		Google Imagen (via Google Cloud Vertex AI Studio) en tant qu'assistant de conception de mode.

Dans cet article, nous verrons comment l'IA générative peut aider des stylistes et créateurs de mode à générer de nouvelles idées et de nouveaux designs à l'aide de la suite de modèles génératifs de Google pour la génération de texte et d'images. Cet article explique comment utiliser le modèle text-bison PaLM 2 pour le texte dans la console Google Cloud et avec le SDK Vertex AI pour Python. Il explique ensuite comment utiliser les invites générées afin de s'en servir comme entrée pour la génération d'images à l'aide du modèle imagegeneration d'Imagen.

En savoir plus sur la fonctionnalité de génération d'images d'Imagen et sur la fonctionnalité de génération de texte de PaLM 2 pour le texte.

Lien vers l'article
Génération d'images (Imagen 2)

Modification d'images (Imagen) 		Génération d'images avec Imagen et LangChain4j (Java).

Dans cet article, nous verrons comment générer et modifier des images avec Imagen dans LangChain4j.

En savoir plus sur les fonctionnalités de génération d'images et de modification d'images d'Imagen.

Lien vers l'article