Découvrir des modèles d'IA dans le jardin de modèles

Model Garden dans la console Google Cloud est une bibliothèque de modèles de ML qui vous aide à découvrir, tester, personnaliser et déployer des modèles et des éléments propriétaires de Google et de sélectionner des modèles des éléments OSS.

Les rubriques suivantes présentent les modèles d'IA disponibles dans le jardin de modèles et expliquent comment les utiliser.

Explorer les modèles

Pour afficher la liste des modèles Vertex AI et Open Source disponibles (modèles de base, réglables ou spécifiques à une tâche) accédez à la page "Jardin de modèles" dans la console Google Cloud.

Accéder à la page "Jardin de modèles"

Les catégories de modèles disponibles dans le jardin de modèles sont les suivantes :

Catégorie Description
Modèles de base Grands modèles multitâches pré-entraînés, qui peuvent être paramétrés ou personnalisés pour des tâches spécifiques à l'aide de Vertex AI Studio, de l'API Vertex AI et du SDK Vertex AI pour Python.
Modèles ajustables Modèles que vous pouvez ajuster en utilisant un notebook ou un pipeline personnalisé.
Solutions spécifiques à une tâche La plupart de ces modèles prédéfinis sont prêts à l'emploi. Bon nombre d'entre eux peuvent être personnalisés à l'aide de vos propres données.

Pour filtrer les modèles dans le volet de filtrage, spécifiez les éléments suivants :

  • Modalités : cliquez sur les modalités (types de données) que vous souhaitez inclure dans le modèle.
  • Tâches : cliquez sur la tâche que vous souhaitez que le modèle exécute.
  • Caractéristiques : cliquez sur les caractéristiques que vous souhaitez inclure dans le modèle.

Pour en savoir plus sur chaque modèle, cliquez sur la fiche de modèle.

Modèles disponibles Model Garden

Vous pouvez trouver les modèles propriétaires de Google et sélectionner des modèles Open Source dans Model Garden.

Liste des modèles propriétaires de Google

Le tableau suivant répertorie les modèles propriétaires de Google disponibles dans Model Garden :

Nom du modèle Modalité Description Guides de démarrage rapide
Gemini 1.0 Pro Langue Conçu pour gérer les tâches en langage naturel, le chat textuel et de code multitour, ainsi que la génération de code. fiche de modèle
Gemini 1.0 Pro Vision Langage, vision Modèle multimodal qui permet d'ajouter des images et des vidéos dans des invites de texte ou de chat pour une réponse textuelle ou de code. fiche de modèle
PaLM 2 pour le texte Langue Optimisé pour suivre les instructions en langage naturel et adapté à diverses tâches linguistiques. fiche de modèle
PaLM 2 pour Chat Langue Optimisation de la conversation naturelle Utilisez ce modèle pour créer et personnaliser votre propre application de chatbot. fiche de modèle
Codey pour la saisie de code Langue Génère du code en fonction des invites de code. Idéal pour les suggestions de code et la réduction des bugs de code. fiche de modèle
Codey pour la génération de code Langue Génère du code basé sur une entrée en langage naturel. Idéal pour l'écriture de fonctions, de classes, de tests unitaires, etc. fiche de modèle
Codey pour le chat de code Langue Obtenez de l'aide sur le code grâce à des conversations naturelles. Vous trouverez ci-dessous des informations utiles sur les API, la syntaxe dans un langage compatible, etc. fiche de modèle
Représentations vectorielles continues pour le texte Langue Convertit des données textuelles en vecteurs numériques pouvant être traités par des algorithmes de machine learning, en particulier des modèles volumineux. fiche de modèle
Imagen pour la génération d'images Vision Créer ou modifier des images de qualité studio à grande échelle à l'aide d'invites de texte. fiche de modèle
Imagen pour le sous-titrage et le contrôle qualité Langue Génère une description pertinente pour une image donnée. fiche de modèle
Représentations vectorielles continues multimodales Vision Génère des vecteurs basés sur des images, qui peuvent être utilisés pour des tâches en aval telles que la classification et la recherche d'images. fiche de modèle
Sec-PaLM2 Langue Vous êtes pré-entraîné pour diverses tâches spécifiques à la sécurité, telles que les renseignements sur les menaces, les opérations de sécurité et l'analyse des logiciels malveillants. fiche de modèle
Chirp Voix Version d'un modèle de reconnaissance vocale universel comportant plus de deux milliards de paramètres et pouvant transcrire plus de 100 langues dans un même modèle. fiche de modèle

Liste de modèles avec réglage Open Source ou diffusion de recettes dans Model Garden

Le tableau suivant répertorie les modèles OSS compatibles avec le réglage Open Source ou la diffusion de recettes dans Model Garden:

Nom du modèle Modalité Description Guide de démarrage rapide
Gemma Langue Modèles à pondération ouverte (2B, 7B) basés sur les mêmes recherches et technologies que celles utilisées pour créer les modèles Gemini de Google. Fiche de modèle
Vicuna v1.5 Langue Déployez des modèles de série Vicuna v1.5, qui sont des modèles de fondation réglés dans LLama2 pour la génération de texte. Fiche de modèle
NLLB Langue Déployez des modèles de série NLLB pour la traduction multilingue. Fiche de modèle
Colab
Mistral 7B Langue Déployez Mistral-7B, un modèle de fondation pour la génération de texte. Fiche de modèle
Colab
BioGPT Langue Déployez BioGPT, un modèle génératif de texte pour le domaine biomédical. Fiche de modèle
Colab
BiomedCLIP Langage, vision Déployez BiomedCLIP, un modèle de fondation multimodal pour le domaine biomédical. Fiche de modèle
Colab
ImageBind Langage, vision,
Audio
Déployez ImageBind, un modèle de fondation pour la représentation vectorielle continue multimodale Fiche de modèle
Colab
Dito Langage, vision Réglez et déployez DITO, un modèle de fondation multimodal pour les tâches de détection d'objets de vocabulaire ouvert. Fiche de modèle
Colab
OWL-ViT v2 Langage, vision Déployez OWL-ViT v2, un modèle de fondation multimodal pour les tâches de détection d'objets de vocabulaire ouvert. Fiche de modèle
Colab
FaceStylizer (Mediapipe) Vision Pipeline génératif permettant de transformer les images de visages humains dans un nouveau style. Fiche de modèle
Colab
Llama 2 Langage Ajustez et déployez les modèles de base Llama 2 de Meta (7B, 13B, 70B) sur Vertex AI. Fiche de modèle
Code Llama Langage Déployez les modèles de base Code Llama de Meta (7B, 13B, 34B) sur Vertex AI. Fiche de modèle
Falcon-instruct Langage Ajustez et déployez les modèles Falcon-instruct (7B, 40B) à l'aide de PEFT. Colab
Fiche de modèle
OpenLLAMA Langage Ajustez et déployez les modèles OpenLLaMA (3B, 7B, 13B) à l'aide de PEFT. Colab
Fiche de modèle
T5-FLAN Langage Ajustez et déployez T5-FLAN (de base, petit, grand). Fiche de modèle (pipeline d'ajustement inclus)
BERT Langage Ajustez et déployez BERT à l'aide de PTE. Colab
Fiche de modèle
BART-large-cnn Langage Déployez BART, un modèle Transformer encodeur-encodeur (seq2seq) avec un encodeur bidirectionnel (semblable à BERT) et un décodeur autorégressif (semblable à GPT). Colab
Fiche de modèle
RoBERTa-large Langage Ajustez et déployez RoBERTa-large à l'aide de PEFT. Colab
Fiche de modèle
XLM-RoBERTa-large Langage Ajustez et déployez XLM-RoBERTa-large (version multilingue de RoBERTa) à l'aide de PEFT. Colab
Fiche de modèle
Dolly-v2-7b Langage Déployez Dolly-v2-7b, un grand modèle de langage capable de suivre des instructions avec 6,9 milliards de paramètres. Colab
Fiche de modèle
Stable Diffusion XL v1.0 Langage, vision Déployez la version 1.0 de Stable Diffusion XL, qui est compatible avec la génération de texte vers image. Colab
Fiche de modèle
Stable Diffusion v2.1 Langage, vision Ajustez et déployez la version 2.1 de Stable Diffusion (compatible avec la génération de texte vers image) à l'aide de Dreambooth. Colab
Fiche de modèle
Stable Diffusion 4x upscaler Langage, vision Déployez Stable Diffusion 4x upscaler, qui est compatible avec la création d'images en très grande résolution sur la base d'une invite textuelle. Colab
Fiche de modèle
InstructPix2Pix Langage, vision Déployez Instructpx2Pix, qui permet de modifier des images à l'aide d'une invite textuelle. Colab
Fiche de modèle
Stable Diffusion Inpainting Langage, vision Ajustez et déployez Stable Diffusion Inpainting, qui permet d'insérer une image masquée à l'aide d'une invite textuelle. Colab
Fiche de modèle
SAM Langage, vision Déployez Segment Anything, qui est compatible avec la segmentation d'images zero-shot. Colab
Fiche de modèle
Texte vers vidéo (ModelScope) Langage, vision Déployer la fonction texte vers vidéo de ModelScope, qui est compatible avec la génération de texte vers vidéo. Colab
Fiche de modèle
Texte vers vidéo zero-shot Langage, vision Déployez les générateurs de texte vers vidéo Stable Diffusion, qui sont compatibles avec la génération de texte vers vidéo zero-shot. Colab
Fiche de modèle
Récupération d'image composée Pic2Word Langage, vision Déployez Pic2Word, qui est compatible avec la récupération d'image composée multimodale. Colab
Fiche de modèle
BLIP2 Langage, vision Déployez BLIP2, qui est compatible avec Visual Captioning et Visual Question Answering. Colab
Fiche de modèle
Open-CLIP Langage, vision Ajustez et déployez Open-CLIP, qui est compatible avec la classification zero-shot. Colab
Fiche de modèle
F-VLM Langage, vision Déployez F-VLM, qui est compatible avec la détection d'objets au sein d'images à l'aide d'un vocabulaire ouvert. Colab
Fiche de modèle
tfhub/EfficientNetV2 Vision Ajustez et déployez la mise en œuvre Tensorflow Vision du modèle de classification d'images EfficientNetV2. Colab
Fiche de modèle
EfficientNetV2 (TIMM) Vision Ajustez et déployez la mise en œuvre PyTorch du modèle de classification d'images EfficientNetV2. Colab
Fiche de modèle
Proprietary/EfficientNetV2 Vision Ajustez et déployez le point de contrôle exclusif Google du modèle de classification d'images EfficientNetV2. Colab
Fiche de modèle
EfficientNetLite (MediaPipe) Vision Ajustez le modèle de classification d'images EfficientNetLite via le générateur de modèles MediaPipe. Colab
Fiche de modèle
tfvision/vit Vision Ajustez et déployez la mise en œuvre Tensorflow Vision du modèle de classification d'images ViT. Colab
Fiche de modèle
ViT (TIMM) Vision Ajustez et déployez la mise en œuvre PyTorch du modèle de classification d'images ViT. Colab
Fiche de modèle
Proprietary/ViT Vision Ajustez et déployez le point de contrôle exclusif Google pour le modèle de classification d'images ViT. Colab
Fiche de modèle
Proprietary/MaxViT Vision Ajustez et déployez le point de contrôle exclusif Google du modèle de classification d'images hybride MaxViT (CNN + ViT). Colab
Fiche de modèle
ViT (JAX) Vision Ajustez et déployez la mise en œuvre JAX du modèle de classification d'images ViT. Colab
Fiche de modèle
tfvision/SpineNet Vision Ajustez et déployez la mise en œuvre Tensorflow Vision du modèle de détection d'objets SpineNet. Colab
Fiche de modèle
Proprietary/Spinenet Vision Ajustez et déployez le point de contrôle exclusif Google du modèle de détection d'objets SpineNet. Colab
Fiche de modèle
tfvision/YOLO Vision Ajustez et déployez la mise en œuvre Tensorflow Vision du modèle de détection d'objets en une étape YOLO. Colab
Fiche de modèle
Proprietary/YOLO Vision Ajustez et déployez le point de contrôle exclusif Google pour le modèle de détection d'objets en une étape YOLO. Colab
Fiche de modèle
YOLOv8 (Keras) Vision Ajustez et déployez la mise en œuvre Keras du modèle YOLOv8 pour la détection d'objets. Colab
Fiche de modèle
tfvision/YOLOv7 Vision Ajustez et déployez le modèle YOLOv7 pour la détection d'objets. Colab
Fiche de modèle
Suivi des objets vidéo Bytetrack Vision Exécutez des prédictions par lot pour le suivi des objets vidéo avec ByteTrack. Colab
Fiche de modèle
ResNeSt (TIMM) Vision Ajustez et déployez la mise en œuvre PyTorch du modèle de classification d'images ResNeSt. Colab
Fiche de modèle
ConvNeXt (TIMM) Vision Ajustez et déployez ConvNeXt, un pur modèle convolutif de classification d'images basé sur la conception Vision Transformers. Colab
Fiche de modèle
CspNet (TIMM) Vision Ajustez et déployez le modèle de classification d'images CSPNet (Cross Stage Partial Network). Colab
Fiche de modèle
Inception (TIMM) Vision Ajustez et déployez le modèle de classification d'images Inception. Colab
Fiche de modèle
DeepLabv3+ (avec point de contrôle) Vision Ajustez et déployez le modèle DeepLab-v3 Plus pour la segmentation sémantique d'images. Colab
Fiche de modèle
Faster R-CNN (Detectron2) Vision Ajustez et déployez la mise en œuvre Detectron2 du modèle Faster R-CNN pour la détection d'objets au sein d'images. Colab
Fiche de modèle
RetinaNet (Detectron2) Vision Ajustez et déployez la mise en œuvre Detectron2 du modèle RetinaNet pour la détection d'objets au sein d'images. Colab
Fiche de modèle
Mask R-CNN (Detectron2) Vision Ajustez et déployez la mise en œuvre Detectron2 du modèle Mask R-CNN pour la détection et la segmentation d'objets au sein d'images. Colab
Fiche de modèle
ControlNet Vision Ajustez et déployez le modèle de génération de texte vers image ControlNet. Colab
Fiche de modèle
MobileNet (TIMM) Vision Ajustez et déployez la mise en œuvre PyTorch du modèle de classification d'images MobileNet. Colab
Fiche de modèle
Classification d'images MobileNetV2 (MediaPipe) Vision Ajustez le modèle de classification d'images MobileNetV2 à l'aide du générateur de modèles MediaPipe. Colab
Fiche de modèle
Détection d'objets MobileNetV2 (MediaPipe) Vision Ajustez le modèle de détection d'objets MobileNetV2 à l'aide du générateur de modèles MediaPipe. Colab
Fiche de modèle
MobileNet-MultiHW-AVG (MediaPipe) Vision Ajustez le modèle de détection d'objets MobileNet-MultiHW-AVG à l'aide du générateur de modèles MediaPipe. Colab
Fiche de modèle
DeiT Vision Ajustez et déployez le modèle DeiT (Data-Efficient Image Transformers) pour la classification d'images. Colab
Fiche de modèle
BEiT Vision Ajustez et déployez le modèle BEiT (Bidirectional Encoder Representation par Image Transformers) pour la classification d'images. Colab
Fiche de modèle
Reconnaissance de gestes de la main (MediaPipe) Vision Ajustez et déployez les modèles de reconnaissance de gestes de la main à l'aide de MediaPipe. Colab
Fiche de modèle
Classificateur de représentations vectorielles continues de mot moyen (MediaPipe) Vision Ajustez et déployez les modèles de classificateur de représentation vectorielle continue de mot moyen à l'aide de MediaPipe. Colab
Fiche de modèle
Classificateur MobileBERT (MediaPipe) Vision Ajustez et déployez les modèles de classificateur MobileBERT à l'aide de MediaPipe directement sur votre appareil. Colab
Fiche de modèle
Classification d'extraits vidéo MoViNet Vidéo Ajustez et déployez les modèles de classification d'extraits vidéo MoViNet. Colab
Fiche de modèle
Reconnaissance d'actions dans des vidéos MoViNet Vidéo Ajustez et déployez les modèles MoViNet pour l'inférence de reconnaissance d'actions. Colab
Fiche de modèle
Stable Diffusion XL LCM Vision Déployez ce modèle qui utilise le modèle de cohérence latente (LCM) pour améliorer la génération de texte vers image dans les modèles de diffusion latente en permettant la création d'images plus rapide et de haute qualité avec moins d'étapes. Colab
Fiche de modèle
LLaVA 1.5 Vision, langue Déployez des modèles LLaVA 1.5. Colab
Fiche de modèle
PyTorch-ZipNeRF Vision, vidéo Entraînez le modèle Pytorch-ZipNeRF, qui est une implémentation de pointe de l'algorithme ZipNeRF dans le framework Pytorch, conçu pour une reconstruction 3D efficace et précise à partir d'images 2D. Colab
Fiche de modèle
WizardLM Langage Déployez WizardLM, un grand modèle de langage (LLM) développé par Microsoft, ajusté sur des instructions complexes en adaptant la méthode Evol-Instruct. Colab
Fiche de modèle
WizardCoder Langage Déployez WizardCoder, un grand modèle de langage (LLM) développé par Microsoft, affiné sur des instructions complexes en adaptant la méthode Evol-Instruct au domaine du code. Colab
Fiche de modèle
Mixtral 8x7B Langage Déployez le modèle Mixtral 8x7B, qui est un grand modèle de langage (LLM) MoE (Mixture of Experts) développé par Mistral AI. Il s'agit d'un modèle uniquement décodeur avec 46,7 milliards de paramètres. Il a été considéré comme identique ou supérieur à LLaMA 2 70B et GPT 3.5 sur de nombreux benchmarks. Colab
Fiche de modèle
Llama 2 (quantifié) Langage Ajustez et déployez une version quantifiée des modèles Llama 2 de Meta. Colab
Fiche de modèle
LaMa (repeinture de grand masque) Vision Déployez LaMa, qui utilise des convolutions de Fourier rapides (FFC, fast Fourier convolutions), une perte perceptuelle de champ réceptif élevée et des masques d'entraînement volumineux, pour une peinture d'image robuste à la résolution. Colab
Fiche de modèle
AutoGluon Données tabulaires Avec AutoGluon, vous pouvez entraîner et déployer des modèles de machine learning et de deep learning de haute précision pour les données tabulaires. Colab
Fiche de modèle

Liste des modèles partenaires disponibles dans Model Garden

Le tableau suivant répertorie les modèles disponibles auprès des partenaires Google dans Model Garden :

Nom du modèle Modalité Description Guide de démarrage rapide
Anthropic Claude 3 Sonnet Langue Modèle de vision et de texte équilibré qui associe intelligence et rapidité pour les charges de travail d'entreprise. Il est conçu pour des déploiements d'IA évolutifs et économiques. Fiche de modèle
Anthropic Claude 3 Haiku Langue Modèle de vision et de texte le plus rapide et compact d'Anthropic qui génère des réponses rapides pour des requêtes simples. Il est destiné aux expériences d'IA qui imitent des interactions humaines. Fiche de modèle

Utilisation des fiches de modèle

Cliquez sur une fiche de modèle pour utiliser le modèle qui lui est associé. Par exemple, vous pouvez cliquer sur une fiche de modèle pour tester des invites, ajuster un modèle, créer des applications et voir des exemples de code.

Pour découvrir comment utiliser les modèles associés aux fiches de modèle, cliquez sur l'un des onglets suivants :

Tester des invites

Utilisez la fiche de modèle de l'API PaLM Vertex AI pour tester les invites.

  1. Dans la console Google Cloud, accédez à la page Jardin de modèles.

    Accéder à la page "Jardin de modèles"

  2. Recherchez un modèle compatible que vous souhaitez tester, puis cliquez sur Afficher les détails.

  3. Cliquez sur Ouvrir le concepteur d'invite.

    Vous êtes redirigé vers la page Conception d'invite.

  4. Dans Invite, saisissez l'invite que vous souhaitez tester.

  5. Facultatif : configurez les paramètres du modèle.

  6. Cliquez sur Envoyer.

Régler un modèle

Pour régler les modèles compatibles, utilisez un pipeline Vertex AI ou un notebook.

Régler en utilisant un pipeline

Les modèles BERT et T5-FLAN sont compatibles avec le réglage des modèles à l'aide d'un pipeline.

  1. Dans la console Google Cloud, accédez à la page Jardin de modèles.

    Accéder à la page "Jardin de modèles"

  2. Dans le champ Rechercher des modèles, saisissez BERT ou T5-FLAN, puis cliquez sur la loupe pour lancer la recherche.

  3. Cliquez sur Afficher les détails sur la fiche du modèle T5-FLAN ou BERT.

  4. Cliquez sur Ouvrir le réglage de pipeline.

    Vous êtes redirigé vers la page des pipelines Vertex AI.

  5. Pour lancer le processus de réglage, cliquez sur Créer une exécution.

Régler en utilisant un notebook

Les fiches de modèle de la plupart des modèles de base Open Source et des modèles ajustables sont compatibles avec le réglage dans un notebook.

  1. Dans la console Google Cloud, accédez à la page Jardin de modèles.

    Accéder à la page "Jardin de modèles"

  2. Recherchez un modèle compatible que vous souhaitez régler, puis cliquez sur Afficher les détails.

  3. Cliquez sur Ouvrir le notebook.

Déployer un modèle

La fiche de modèle du modèle Stable Diffusion est compatible avec le déploiement sur un point de terminaison.

  1. Dans la console Google Cloud, accédez à la page Jardin de modèles.

    Accéder à la page "Jardin de modèles"

  2. Recherchez le modèle compatible que vous souhaitez déployer. Sur la fiche de modèle associée, cliquez sur Afficher les détails.

  3. Cliquez sur Déployer.

    Vous êtes invité à enregistrer une copie du modèle dans Model Registry.

  4. Dans Nom du modèle, saisissez un nom pour le modèle.

  5. Cliquez sur Enregistrer.

    Le volet Déployer sur un point de terminaison s'affiche.

  6. Définissez votre point de terminaison comme suit :

    • Nom du point de terminaison : saisissez un nom pour le point de terminaison.
    • Région : sélectionnez la région dans laquelle créer le point de terminaison.
    • Accès : pour rendre le point de terminaison accessible via une API REST, sélectionnez Standard. Pour créer une connexion privée au point de terminaison, sélectionnez Privé.
  7. Cliquez sur Continuer.

  8. Suivez les instructions dans la console Google Cloud et configurez les paramètres de votre modèle.

  9. Cliquez sur Continuer.

  10. Facultatif : Cliquez sur le bouton Activer la surveillance des modèles pour ce point de terminaison pour activer la surveillance des modèles.

  11. Cliquez sur Déployer.

Afficher les exemples de code

La plupart des fiches de modèle pour les modèles de solutions spécifiques à une tâche contiennent des exemples de code que vous pouvez copier et tester.

  1. Dans la console Google Cloud, accédez à la page Jardin de modèles.

    Accéder à la page "Jardin de modèles"

  2. Recherchez le modèle compatible pour lequel vous souhaitez afficher les exemples de code, puis cliquez sur l'onglet Documentation.

  3. La page défile jusqu'à la section "Documentation", qui contient l'exemple de code intégré.

Créer une application de vision

Les fiches de modèle pour les modèles de vision par ordinateur applicables permettent de créer une application de vision.

  1. Dans la console Google Cloud, accédez à la page Jardin de modèles.

    Accéder à la page "Jardin de modèles"

  2. Dans la section "Solutions spécifiques à une tâche", recherchez un modèle de vision que vous souhaitez utiliser pour créer une application de vision, puis cliquez sur Afficher les détails.

  3. Cliquez sur Créer une application.

    Vous êtes redirigé vers la page Vertex AI Vision.

  4. Dans Nom de l'application, saisissez un nom pour votre application, puis cliquez sur Continuer.

  5. Sélectionnez un mode de facturation, puis cliquez sur Créer.

    Vous êtes redirigé vers Vertex AI Vision Studio, où vous pouvez continuer à créer votre application de vision par ordinateur.

Tarification

Pour les modèles Open Source dans Model Garden, des frais vous sont facturés pour l'utilisation des éléments suivants sur Vertex AI :

Étapes suivantes