Ce document contient une liste de tutoriels de notebooks pour Generative AI sur Vertex AI. Ce sont des tutoriels de bout en bout qui vous montrent comment utiliser certains des LLM GenAI.
Sélection de tutoriels
-
Cas d'utilisation multimodaux avec Gemini
Explorez divers cas d'utilisation avec les modes multimodaux avec Gemini.
-
Appeler des fonctions avec l'API Vertex AI Gemini et le SDK Python
Utilisez l'API Vertex AI Gemini avec le SDK Vertex AI pour Python pour effectuer des appels de fonction à l'aide du modèle Gemini 1.0 Pro (
gemini-1.0-pro). -
Premiers pas avec l'ancrage avec Gemini dans Vertex AI
Utilisez des modèles de texte génératif pour générer du contenu basé sur vos documents et vos données.
Liste des tutoriels
| Gemini Multimode |
Présentation de Gemini 1.5 Pro Utilisez Gemini 1.5 Pro pour analyser des fichiers audio, comprendre des vidéos, extraire des informations d'un PDF et traiter plusieurs types de contenus multimédias simultanément. |
|
| Gemini Multimode |
Utilisez ce notebook pour apprendre à générer du code, à résumer une codebase, à déboguer, à améliorer le code et à évaluer le code avec Gemini 1.5 Pro. |
|
| Gemini Multimode |
Premiers pas avec Gemini (cUrl) Utilisez l'API Gemini, qui vous permet d'accéder aux derniers grands modèles de langage de Google avec REST/curl. |
|
| Gemini Multimode |
Premiers pas avec Gemini (SDK Python) Utilisez l'API Gemini, qui vous donne accès aux derniers modèles volumineux de Google, avec le SDK Vertex AI pour Python. |
|
| Gemini Multimode |
Cas d'utilisation multimodal avec Gemini Le modèle Gemini est un modèle de langage multimodal révolutionnaire développé par Google AI, capable d'extraire des insights pertinents à partir de divers formats de données, y compris des images et des vidéos. Ce notebook explore différents cas d'utilisation avec des requêtes multimodales. |
|
| Évaluation Gemini |
Premiers pas avec l'évaluation rapide dans le SDK Vertex AI pour Python Utilisez l'évaluation rapide pour évaluer le modèle Gemini sur une tâche d'évaluation avec le SDK Vertex AI pour Python. |
|
| Évaluation Gemini |
Ingénierie, évaluation et modélisation des requêtes avec Gemini Utilisez l'évaluation rapide pour le prompt engineering (ingénierie des requêtes) et l'évaluation des requêtes avec le modèle Gemini, puis utilisez le modèle de requête pour la conception de requêtes avec le SDK Vertex AI pour Python. |
|
| Évaluation Gemini |
Évaluer et sélectionner des modèles génératifs Utilisez l'évaluation rapide pour marquer et évaluer différents modèles génératifs sur une tâche d'évaluation spécifique, puis visualisez et comparez les résultats d'évaluation de la tâche avec le SDK Vertex AI pour Python. |
|
| Évaluation Gemini |
Évaluer et sélectionner les paramètres de génération de modèle Utilisez l'évaluation rapide pour évaluer et sélectionner la température ainsi que d'autres configurations de génération de modèles de Gemini, puis comparez les résultats des métriques de différents paramètres de génération concernant la qualité, la fluidité, la sécurité et la verbosité avec le SDK Vertex AI pour Python. |
|
| Évaluation Gemini |
Définir vos métriques d'évaluation avec Gemini Utilisez l'évaluation rapide pour effectuer des évaluations avec des métriques d'évaluation personnalisées grâce au SDK Vertex AI pour Python. |
|
| Évaluation Gemini |
Évaluer la qualité de l'appel de fonction du modèle Gemini 1.0 Pro Générez des appels de fonction avec le modèle Gemini 1.0 Pro et utilisez l'évaluation rapide pour évaluer la qualité des appels de fonction du modèle Gemini 1.0 Pro, avec le SDK Vertex AI pour Python. |
|
| Évaluation Gemini |
Évaluez rapidement une tâche de réponse à des questions à partir de réponses générées par la génération augmentée de récupération (RAG) avec le SDK Vertex AI pour Python. |
|
| Gemini Multimode Streamlit |
Déployer une application Streamlit sur Cloud Run avec Gemini Pro Exemple d'application permettant de déployer une application de chatbot simple utilisant Streamlit vers Cloud Run avec Gemini Pro. |
|
| Gemini Multimode Retrieval-augmented-generation |
En partant du principe du RAG, qui est traditionnellement appliquée sur les données textuelles, ce notebook explique comment effectuer du RAG sur des données multimodales à des fins de questions-réponses dans un article scientifique contenant du texte et des images. |
|
| Gemini Multimode |
Utiliser Gemini dans l'enseignement Utilisation du modèle Gemini en enseignement, avec divers exemples de requêtes et dans plusieurs modalités, y compris des images et des vidéos. |
|
| Gemini Multimode |
Utiliser Gemini pour les recommandations multimodales dans le secteur du commerce de détail Dans le secteur du commerce, les recommandations jouent un rôle déterminant dans la prise de décisions client et dans la génération de ventes. Dans ce notebook, vous découvrirez comment exploiter la puissance de la multimodalité pour exécuter des recommandations commerciales et aider un client à choisir la meilleure chaise parmi quatre images de chaises, en fonction d'une image de son salon. |
|
| Gemini Multimode Function-calling |
Présentation des appels de fonctions avec Gemini Utilisez le modèle Gemini Pro pour :
|
|
| Réglage |
Régler les modèles de base avec Vertex AI Passez en revue l'intégralité du processus de configuration et d'intégration. De la configuration de l'environnement à la sélection du modèle de base, puis au réglage avec Vertex AI. |
|
| Évaluation |
Services d'évaluation Vertex AI LLM Utilisez les services d'évaluation Vertex AI LLM en combinaison avec d'autres services Vertex AI. |
|
| LangChain |
Exécutez une chaîne langChain et imprimez les détails de chaque étape de la chaîne avec des points d'arrêt de débogage facultatifs. |
|
| Texte |
Formation avancée sur le prompt engineering Utilisez la chaîne de réflexion et de réaction (raison + action) pour développer des requêtes et réduire les hallucinations. |
|
| Embeddings |
Créez des embeddings de texte à image à l'aide de l'ensemble de données DiffusionDB et des embeddings Vertex AI pour le modèle multimodal. Les embeddings sont importées dans le service Vector Search, qui est une solution à grande échelle et à faible latence pour rechercher des vecteurs similaires pour un corpus volumineux. |
|
| Embeddings |
Recherche sémantique à l'aide de représentations vectorielles continues Créez un embedding généré à partir de texte et effectuez une recherche sémantique. Les embeddings sont générées à l'aide de Google ScaNN : recherche de similarité vectorielle efficace. |
|
| Évaluation |
AutoSxS : évaluer un LLM dans Vertex AI Model Registry par rapport à un modèle tiers Utilisez l'outil Vertex AI Automatic side-by-side (AutoSxS) pour évaluer les performances entre un modèle d'IA générative dans Vertex AI Model Registry et un modèle de langage tiers. |
|
| Évaluation |
Utilisez l'outil Vertex AI Automatic side-by-side (AutoSxS) pour déterminer dans quelle mesure l'outil d'évaluation automatique s'aligne sur les évaluateurs humains. |
|
| Réglage |
Apprentissage automatique par renforcement qui utilise le feedback humain Vertex AI LLM. Utilisez Vertex AI RLHF pour régler un grand modèle de langage (LLM). Ce workflow améliore la précision d'un modèle en ajustant un modèle de base avec un ensemble de données d'entraînement. |
|
| Réglage |
Inférence par lot de Vertex AI avec des modèles optimisés pour RLHF Ce tutoriel explique comment effectuer une inférence sur des modèles de langage volumineux (LLM) OSS réglés par RLHF avec Vertex AI. |
|
| Embeddings |
Essayez les nouveaux modèles d'embeddings textuels (ou "plongement textuel"). |
|
| Réglage |
Régler un modèle PEFT avec Vertex AI Réglez un grand modèle de langage (LLM) PEFT et effectuez une prédiction. Ce workflow améliore la précision d'un modèle en ajustant un modèle de base avec un ensemble de données d'entraînement. |
|
| Texte |
Utiliser le SDK Vertex AI avec des grands modèles de langage. Utilisez le SDK Vertex AI pour exécuter des modèles de langage volumineux sur Vertex AI. Testez, réglez et déployez des modèles de langage utilisant l'IA générative. Commencez par explorer des exemples de résumé de contenu, d'analyse des sentiments, de chat, d'embedding textuel et de réglage de requêtes. |
|
Indexer des images Search Conversation dans le datastore |
Vérificateur d'état Vertex AI Search et Conversation Data Store Le testeur de l'état de Vertex AI Search et Conversation Data Store est un notebook qui utilise l'API Cloud Discovery Engine pour rechercher des documents indexés dans un datastore. Il permet à l'utilisateur d'effectuer les tâches suivantes :
|
|
Reconnaissance vocale Chirp |
Premiers pas avec Chirp sur Google Cloud Ce notebook est une introduction à Chirp, un service de reconnaissance vocale qui exploite la technologie de reconnaissance vocale de pointe de Google. Il fournit une interface simple et conviviale pour permettre aux développeurs de créer des applications de reconnaissance vocale. |
|
Filtrer Métadonnées Search |
Vertex AI Search avec filtres et métadonnées Vertex AI Search est un service entièrement géré qui vous permet de créer et de déployer des applications de recherche sur Google Cloud. Ce notebook explique comment utiliser les filtres et les métadonnées dans les requêtes de recherche à Vertex AI Search. |
|
Document Question-answering Retrieval-augmented-generation |
Questions-réponses pour des documents avec RAG Ce notebook explique comment utiliser la génération augmentée de récupération (RAG) pour créer un système de questions-réponses pour la documentation Google. Il montre comment utiliser RAG pour générer du texte qui répond à une question donnée et comment l'utiliser pour améliorer les performances d'un système de réponse aux questions. |
|
Contrat Génération Récupération Search |
Ce notebook explique comment utiliser la génération augmentée de récupération pour générer du texte dans un contrat. Il utilise les modèles Palm2 et LangChain, pré-entraînés sur les grands corpus de texte juridique et financier. |
|
Question-answering Retrieval-augmented-generation Search LangChain |
Système de questions-réponses sur des documents Ce notebook explique comment poser des questions sur vos données et y répondre en combinant un moteur Vertex AI Search avec des LLM. En particulier, nous nous concentrons sur l'interrogation de données "non structurées", telles que les fichiers PDF et les fichiers HTML. Pour exécuter ce notebook, vous devez avoir créé un moteur de recherche non structuré et y avoir ingéré des documents PDF ou HTML. |
|
Bulk-question-answering Vertex AI Search Question-answering Search |
Répondre à des questions de manière groupée avec Vertex AI Search Ce notebook explique comment répondre aux questions d'un fichier CSV à l'aide d'un datastore Vertex AI Search. Il peut être exécuté dans Colab ou Vertex AI Workbench. |
|
Langue Orchestration LangChain PaLM |
Premiers pas avec LangageChain 🦜🔗 + API PaLM Ce notebook présente LangChain, un framework d'orchestration de modèles de langage. Il montre comment utiliser LangChain avec l'API PaLM pour créer et déployer un modèle de génération de texte. |
|
BigQuery Chargeur de données LangChain |
Utiliser le chargeur de données BigQuery LangChain 🦜🔗 Ce notebook explique comment utiliser le chargeur de données BigQuery LangChain pour charger des données de BigQuery dans un modèle LangChain. Le notebook fournit des instructions détaillées pour configurer le chargeur de données, charger des données dans le modèle et entraîner le modèle. |
|
Code Code-generation Retrieval-augmented-generation Codey |
Utiliser la génération augmentée de récupération (RAG) avec les API Codey Ce notebook explique comment utiliser la génération augmentée de récupération (RAG) avec les API Codey. La technique RAG combine la récupération de code et la génération de code pour produire des suggestions de saisie de code plus précises et informatives. |
|
Codey Code-generation Langue |
Premiers pas avec les API Vertex AI Codey – Génération de code Ce notebook présente les API Vertex AI Codey pour la génération de code. Il aborde les principes de base de l'utilisation des API, y compris la création et le déploiement de modèles de génération de code, ainsi que leur utilisation pour générer du code. |
|
Codey Code-completion Code-generation |
Premiers pas avec les API Vertex AI Codey – Saisie de code Ce notebook explique comment utiliser les API Vertex AI Codey pour obtenir des suggestions de saisie du code pour votre code Python. Elle montre également comment utiliser les API pour générer des extraits de code et les exécuter dans un environnement distant. |
|
Codey Code-chat Chat Code-generation Text-generation |
Premiers pas avec les API Vertex AI Codey – Chat de code Ce notebook est une introduction aux API Vertex AI Codey. Il aborde les principes de base de l'utilisation des API, y compris la création et le déploiement de modèles, ainsi que la manière d'interagir avec eux à l'aide la CLI Codey. |
|
Langue PaLM SDK Python |
Premiers pas avec l'API PaLM et le SDK Python Ce notebook présente l'API PaLM et le SDK Python. Il aborde les principes de base de l'utilisation de l'API, y compris la création et le déploiement de modèles, ainsi que la génération de texte, la traduction de langues et la rédaction de différents types de contenus de création. |
|
Requêtes de langage |
Conception des requêtes – Bonnes pratiques Ce notebook présente la conception d'invites pour des modèles de langage textuels. Il aborde les principes de base des requêtes, y compris leur fonctionnement et leur écriture. Le notebook fournit également des conseils pour améliorer vos requêtes et éviter les pièges courants. |
|
Text-extraction |
Extraction de textes à l'aide de modèles génératifs sur Vertex AI Ce notebook explique comment utiliser des modèles génératifs pour extraire du texte à partir d'images. Il utilise le modèle texte à image de la bibliothèque générative-ai de Vertex AI et le modèle d'extraction de texte de la bibliothèque d'extraction de texte Vertex AI. |
|
Text-classification |
Classification de textes à l'aide de modèles génératifs sur Vertex AI Ce notebook explique comment utiliser des modèles génératifs pour effectuer une classification de texte sur Vertex AI. Il aborde les sujets suivants : * Préparer des données * Entraîner un modèle * Déployer un modèle * Utiliser un modèle pour classer du texte |
|
Chaîne de réflexion React |
Ce notebook présente "String of Thought and ReAct", deux outils qui peuvent être utilisés pour améliorer les performances des algorithmes d'apprentissage par renforcement. La chaîne de réflexions est une technique qui peut être utilisée pour améliorer l'efficacité de l'itération des valeurs, tandis que la méthode ReAct peut être utilisée pour améliorer la stabilité des algorithmes critiques. |
|
Requêtes de langage Conceptualisation |
Conceptualisation avec les modèles génératifs sur Vertex AI Ce notebook explique comment utiliser des modèles génératifs pour générer du texte, des images et du code. Il montre également comment utiliser Vertex AI pour déployer et gérer des modèles génératifs. |
|
Synthèse |
Résumer des textes à l'aide de modèles génératifs sur Vertex AI Ce notebook explique comment utiliser Vertex AI pour entraîner et déployer un modèle de synthèse de texte. Cette solution utilise le modèle BART, un modèle de langage volumineux qui a été pré-entraîné sur un ensemble de données de texte volumineux. Le modèle est ensuite affiné sur un ensemble de données de résumés textuels, puis peut être utilisé pour générer des résumés de nouveau texte. |
|
Systèmes de questions-réponses |
Système de questions-réponses à l'aide de modèles génératifs sur Vertex AI Ce notebook explique comment utiliser des modèles génératifs pour répondre aux questions de domaine ouvert. Il utilise le modèle Vertex AI Transformer pour générer du texte en fonction d'une question donnée. |
|
Text-generation Foundation-model Réglage Déployer |
Régler et déployer un modèle de fondation Ce notebook montre comment ajuster un modèle de fondation à l'aide de Vertex AI. Il montre également comment déployer le modèle réglé sur un point de terminaison Vertex AI. |
|
Document-summarization Synthèse |
Synthèse texte de documents volumineux Ce notebook explique comment résumer des documents volumineux à l'aide du modèle volumineux t5. Le modèle est entraîné sur un immense ensemble de données de texte et de code, et peut générer des résumés précis et concis. |
|
Document-summarization LangChain Synthèse |
Synthèse de documents volumineux avec LangChain 🦜🔗 Ce notebook explique comment résumer des documents volumineux à l'aide du modèle langChain. LangChain est un grand modèle de langage qui peut générer du texte, traduire des langues, écrire différents types de contenus créatifs et répondre à vos questions de manière informative. |
|
Document-summarization Document AI Language-model Synthèse Text-summarization |
Résumé avec des documents volumineux à l'aide de Document AI et des API PaLM Ce notebook explique comment résumer des documents volumineux à l'aide des API Document AI et PaLM. Il montre également comment utiliser l'API Document AI pour extraire des entités et des expressions clés d'un document. |
|
Chatbot Text-generation |
GroceryBot, exemple d'assistant de courses et de recette : RAG + ReAct Ce notebook concerne un exemple d'assistant de courses et de recette qui utilise RAG et ReAct. Il peut vous aider à trouver des recettes, à créer des listes de courses et à répondre à des questions sur les aliments. |
|
Question-answering Document-QA LangChain |
Systèmes de questions-réponses avec des documents volumineux à l'aide de LangChain 🦜🔗 Ce notebook explique comment utiliser le modèle langChain pour créer un système de questions-réponses qui peut répondre à des questions sur des documents longs. Le modèle est entraîné sur un grand corpus de texte et peut être utilisé pour répondre à des questions sur n'importe quel sujet. |
|
Question-answering Document-QA LangChain Vector Search |
Ce notebook explique comment utiliser LangChain et Vertex AI Vector Search (anciennement Matching Engine) pour créer un système de réponse aux questions pour les documents. Le système peut répondre aux questions concernant les entités, les dates et les nombres dans les documents. |
|
Document AI Question-answering PaLM |
Systèmes de questions-réponses avec des documents avec Document AI, Pandas et PaLM Ce notebook explique comment utiliser Document AI, Pandas et PaLM pour créer un système de questions-réponses. Il utilise d'abord Document AI pour extraire les données structurées d'un document, puis Pandas pour créer un DataFrame à partir des données extraites, et enfin PaLM pour générer des réponses aux questions sur les données. |
|
Question-answering Document-QA |
Systèmes de questions-réponses avec des documents volumineux Ce notebook explique comment utiliser le service de questions-réponses de Vertex AI pour créer un modèle de réponse aux questions à partir de documents volumineux. Le modèle est entraîné sur un ensemble de données d'articles Wikipédia et peut répondre à des questions sur divers sujets. |
|
Génération d'images |
Générateur de descriptions de produits à partir d'images Ce notebook explique comment générer des descriptions de produits à partir d'images à l'aide d'un modèle texte vers image. Le modèle est entraîné sur un ensemble de données d'images de produits et les descriptions correspondantes. |
|
Génération Commerce LangChain |
Ce notebook explique comment utiliser le modèle LangChain pour générer des descriptions de produits optimisées pour le SEO pour le secteur du commerce. Le modèle reçoit en entrée une liste d'attributs produit et génère une brève description mettant en évidence les principales caractéristiques du produit. |
|
BigQuery DataFrames Text-generation |
DataFrame BigQuery ML : génération de noms de médicaments Ce notebook explique comment utiliser les DataFrames BigQuery ML pour générer des noms de médicaments. Il utilise un modèle de langage pré-entraîné pour générer du texte, puis filtre les résultats pour supprimer les noms de médicaments déjà utilisés. |
|
BigQuery DataFrames Code-generation |
Utiliser des objets DataFrame BigQuery avec l'IA générative pour la génération de code Ce notebook explique comment utiliser les objets DataFrame BigQuery avec l'IA générative pour générer du code. Il montre comment utiliser un modèle de langage pré-entraîné pour générer du code qui transforme une table BigQuery en DataFrame Pandas. |
|
BigQuery Language-model |
Utiliser les LLM Vertex AI avec des données dans BigQuery Ce notebook explique comment utiliser les LLM Vertex AI avec des données dans BigQuery. Il montre comment charger des données depuis BigQuery, créer un modèle LLM, puis utiliser ce modèle pour générer du texte à partir des données. |
|
Visualisation des similitudes entre embeddings |
Ce notebook explique comment visualiser la similarité des représentations vectorielles continues à partir de documents texte à l'aide de tracés t-SNE. Il utilise un ensemble de données d'avis sur les films provenant de l'[ensemble de données IMDB](https://datasets.imdbws.com/). |
|
Text-embeddings Vector Search |
Premiers pas avec les embeddings de texte et Vertex AI Vector Search Ce notebook présente les embeddings de texte et explique comment les utiliser avec Vertex AI Vector Search. Il aborde les principes de base des embeddings de texte et explique comment les entraîner et les utiliser pour effectuer des recherches vectorielles. |
|
Recherche de vecsteurs dans les embeddings |
Guide de démarrage rapide de Vertex AI Vector Search Ce notebook est un guide de démarrage rapide pour l'utilisation de Vertex AI Vector Search. Il aborde les principes de base de la recherche vectorielle, y compris la création d'un index vectoriel, l'importation de données dans l'index et l'exécution de requêtes de recherche vectorielle. |
|
Génération d'images Imagen 3 |
Génération d'images avec Imagen sur Vertex AI. Dans ce notebook, vous explorez les fonctionnalités de génération d'images d'Imagen à l'aide du SDK Vertex AI pour Python et de modèles standards et à faible latence Imagen 3. En savoir plus sur la fonctionnalité de génération d'images d'Imagen. |
|
Génération d'images Imagen 2 |
Génération d'images avec Imagen sur Vertex AI. Dans ce notebook, vous explorez les fonctionnalités de génération d'images d'Imagen à l'aide du SDK Vertex AI pour Python. En savoir plus sur la fonctionnalité de génération d'images d'Imagen. |
|
Génération d'images Imagen 3 |
Créer des éléments visuels de haute qualité avec Imagen 3 et Gemini 1.5 Pro Dans ce notebook, vous créez des éléments visuels de haute qualité pour un menu de restaurant à l'aide d'Imagen et de Gemini 1.5 Pro. En savoir plus sur la génération d'images et les modèles multimodaux. |
|
Modification d'images Imagen 2 |
Dans ce notebook, vous allez explorer les fonctionnalités de retouche d'images d'Imagen à l'aide de SDK Vertex AI pour Python. |
|
Système de question-réponse (VQA) d'images Imagen |
Visual Question Answering (VQA) avec Imagen sur Vertex AI Ce notebook explique comment utiliser Imagen pour générer des images qui répondent à des questions données. Il montre également comment déployer un modèle sur Vertex AI et l'utiliser pour générer des images en réponse à des questions fournies par l'utilisateur. |
|
Sous-titrage d'images Imagen |
Visual Captioning avec Imagen sur Vertex AI Ce notebook explique comment générer des sous-titres pour des images à l'aide d'Imagen, un grand modèle de langage pour la génération d'images. Il montre également comment déployer le modèle sur Vertex AI. |
Étapes suivantes
- Découvrez les modèles LLM, Vertex AI et PaLM à l'aide de tutoriels sur les notebooks.
- Découvrez d'autres ressources dans le dépôt GitHub Generative AI.
- Consultez d'autres tutoriels sur les notebooks Vertex AI dans la présentation des tutoriels.