Les grands modèles de langage (LLM) sont des modèles de deep learning entraînés sur d'énormes quantités de données textuelles. Les LLM peuvent traduire un langage, synthétiser du texte, reconnaître des objets et du texte dans des images, et compléter les moteurs de recherche et les systèmes de recommandation.
Google propose la famille de modèles d'IA générative Gemini pour les cas d'utilisation multimodaux. Elle est capable de traiter des informations provenant de plusieurs modalités, y compris des images, des vidéos et du texte.
Pour obtenir plus de ressources d'apprentissage, parcourez le dépôt GitHub Generative AI. Les data scientists, les développeurs et les Developers Advocates de Google gèrent ce contenu.
Premiers pas
Voici quelques notebooks, tutoriels et autres exemples pour vous aider à démarrer. Vertex AI propose des tutoriels sur la console Google Cloud et des tutoriels sur notebook Jupyter qui utilisent le SDK Vertex AI pour Python. Vous pouvez ouvrir un tutoriel sur Colab dans Colab ou télécharger le notebook dans l'environnement de votre choix.
Premiers pas avec Gemini
|
Le modèle Gemini est un modèle de langage multimodal révolutionnaire développé par Google AI, capable d'extraire des insights pertinents à partir de divers formats de données, y compris des images et des vidéos. Ce notebook explore différents cas d'utilisation avec des requêtes multimodales.
Notebook Jupyter : vous pouvez exécuter ce tutoriel sous forme de notebook Jupyter. |
Premiers pas avec Vertex AI Vertex AI Studio
|
Utilisez Vertex AI Studio via la console Google Cloud sans avoir besoin de l'API ni du SDK Vertex AI pour Python. |
Bonnes pratiques pour la conception d'invites
|
Découvrez comment concevoir des requêtes pour améliorer la qualité des réponses obtenues du modèle. Ce tutoriel aborde les principes de base du prompt engineering, y compris quelques bonnes pratiques.
Notebook Jupyter : vous pouvez exécuter ce tutoriel sous forme de notebook Jupyter. |
LangChain 🦜️🔗
LangChain est un framework permettant de développer des applications basées sur des LLM comme les modèles Gemini. Utilisez LangChain pour importer des données externes telles que vos fichiers, d'autres applications ou des données d'API, dans vos LLM.
Pour en savoir plus sur LangChain et son fonctionnement avec Vertex AI, consultez la documentation officielle de LangChain et Vertex AI.
Génération augmentée de récupération (RAG) multimodale avec Gemini, Vector Search et LangChain
|
La génération augmentée de récupération (RAG) est devenue un paradigme populaire pour permettre aux LLM d'accéder à des données externes et en tant que mécanisme d'ancrage pour limiter les hallucinations. Découvrez comment effectuer un RAG multimodal dans laquelle vous effectuerez des questions/réponses sur un document financier rempli à la fois de texte et d'images.
Notebook Jupyter : vous pouvez exécuter ce tutoriel sous forme de notebook Jupyter. |
Augmenter la génération de questions-réponses à l'aide de LangChain 🦜️🔗 et de BigQuery Vector Search
|
|
Découvrez comment implémenter un système de questions-réponses pour améliorer la réponse d'un LLM en enrichissant ses connaissances avec des sources de données externes telles que des documents. Cet exemple utilise Vertex AI Gemini 1.0 Pro pour le texte, les embeddings pour l'API Text, BigQuery Vector Search et LangChain
Notebook Jupyter : vous pouvez exécuter ce tutoriel sous forme de notebook Jupyter. |
Étapes suivantes
- Découvrez d'autres ressources dans le dépôt GitHub Generative AI.
- Consultez d'autres tutoriels sur les notebooks Vertex AI dans la présentation des tutoriels.