Utiliser Imagen avec Visual Captioning et Visual Question Answering (VQA) de de Vertex AI pour obtenir des informations sur les images (console)

Utiliser Imagen avec Visual Captioning et Visual Question Answering (VQA) de de Vertex AI pour obtenir des informations sur les images (console)

Découvrez comment utiliser Imagen sur les fonctionnalités Visual Captioning et Visual Question Answering (VQA) de Vertex AI pour obtenir des informations textuelles sur une image. Ce guide de démarrage rapide vous explique comment utiliser les sous-titres visuels et VQA dans la console Google Cloud.

Source de l'image : Worachat Sodsri sur Unsplash (image recadrée, affichée dans la console Google Cloud).

Avant de commencer

1. Connectez-vous à votre compte Google Cloud. Si vous débutez sur Google Cloud, créez un compte pour évaluer les performances de nos produits en conditions réelles. Les nouveaux clients bénéficient également de 300 $ de crédits gratuits pour exécuter, tester et déployer des charges de travail.

2. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

3. Vérifiez que la facturation est activée pour votre projet Google Cloud.

4. Activez l'API Vertex AI

   Activer l'API

5. Dans Google Cloud Console, sur la page de sélection du projet, sélectionnez ou créez un projet Google Cloud.

   Remarque : Si vous ne comptez pas conserver les ressources créées dans cette procédure, créez un projet au lieu de sélectionner un projet existant. Après avoir suivi ces étapes, vous pouvez supprimer le projet. Cela entraîne la suppression de toutes les ressources qui lui sont associées.

   Accéder au sélecteur de projet

6. Vérifiez que la facturation est activée pour votre projet Google Cloud.

7. Activez l'API Vertex AI

   Activer l'API

Obtenir l'exemple d'image

Une fois que vous avez configuré votre environnement, vous pouvez obtenir un exemple d'image et utiliser les sous-titres visuels et les systèmes de questions-réponses visuels pour obtenir des informations sur l'image.

Source de l'image : Worachat Sodsri sur Unsplash (image recadrée).

Pour obtenir l'exemple d'image, téléchargez l'image directement à partir de Cloud Storage ou utilisez la commande suivante pour l'enregistrer dans le répertoire actuel :

curl -O https://storage.googleapis.com/cloud-samples-data/generative-ai/image/vcap-vqa-quickstart_fish.jpg

Générer des descriptions d'images grâce à Visual Captioning

Une fois que vous avez obtenu l'exemple d'image, vous pouvez envoyer la requête de sous-titrage visuel pour obtenir une description textuelle de l'image.

Console

1. Dans la console Google Cloud, ouvrez l'onglet Vertex AI Studio > Vision du tableau de bord Vertex AI.

   Accéder à l'onglet Vertex AI Studio

2. Dans le menu inférieur, cliquez sur Légende.

3. Cliquez sur Importer une image et sélectionnez l'image locale à sous-titrer.

4. Dans le panneau Parameters (Paramètres), définissez les éléments suivants :

   1. Nombre de sous-titres : sélectionnez 2.
   2. Langue : si ce n'est pas déjà fait, sélectionnez English (en).

5. Cliquez sur Générer des sous-titres.

Générer des réponses aux questions avec VQA

Enfin, vous pouvez utiliser la même image pour poser une question à propos de l'image et obtenir une réponse à l'aide de la fonctionnalité VQA.

Console

1. Dans la console Google Cloud, ouvrez l'onglet Vertex AI Studio > Vision du tableau de bord Vertex AI.

   Accéder à l'onglet Vertex AI Studio

2. Dans le menu inférieur, cliquez sur Questions/Réponses visuelles.

3. Cliquez sur Importer une image, puis sélectionnez l'image locale.

4. Dans le panneau Paramètres, sélectionnez deux comme Nombre de réponses.

5. Dans le champ d'invite (Poser une question ici), saisissez le texte suivant :

   What color is the left fish?
   

6. Cliquez sur Generate (Générer).

Félicitations ! Vous venez d'utiliser les fonctionnalités Visual Captioning et VQA d'Imagen pour obtenir des informations sur une image.

Effectuer un nettoyage

Pour éviter que les ressources utilisées sur cette page soient facturées sur votre compte Google Cloud, procédez comme suit :

Supprimer le projet

Attention : La suppression d'un projet aura les effets suivants :

• Tout le contenu du projet est supprimé. Si vous avez utilisé un projet existant pour les tâches de ce document, lorsque vous le supprimez, vous supprimez également tout autre travail effectué dans le projet.
• Les ID de projets personnalisés sont perdus. Lorsque vous avez créé ce projet, vous avez peut-être créé un ID de projet personnalisé que vous souhaitez utiliser à l'avenir. Pour conserver les URL qui utilisent l'ID de projet, telle qu'une URL appspot.com, supprimez les ressources sélectionnées dans le projet au lieu de supprimer l'ensemble du projet.

Si vous envisagez d'explorer plusieurs architectures, tutoriels et guides de démarrage rapide, réutiliser des projets peut vous aider à ne pas dépasser les limites de quotas des projets.

1. Dans la console Google Cloud, accédez à la page Gérer les ressources.

   Accéder à la page Gérer les ressources

2. Dans la liste des projets, sélectionnez le projet que vous souhaitez supprimer, puis cliquez sur Supprimer.
3. Dans la boîte de dialogue, saisissez l'ID du projet, puis cliquez sur Arrêter pour supprimer le projet.

Étapes suivantes

• Consultez les consignes d'utilisation d'Imagen sur Vertex AI.
• Découvrez les modèles pré-entraînés dans le jardin de modèles.
• Découvrez les bonnes pratiques d'IA responsable et les filtres de sécurité de Vertex AI.