En este documento, se incluye una lista de instructivos de notebooks para la IA generativa en Vertex AI. Son instructivos de extremo a extremo que te muestran cómo usar algunos de los LLM de IA generativa.
Instructivos destacados
-
Casos de uso multimodales con Gemini
Explora varios casos de uso con multimodales con Gemini.
-
Llamada a función con la API de Gemini de Vertex AI y el SDK de Python
Usa la API de Gemini de Vertex AI con el SDK de Vertex AI para Python y así realizar llamadas a función con el modelo de Gemini 1.0 Pro (
gemini-1.0-pro). -
Comienza a usar la fundamentación con Gemini en Vertex AI
Usa modelos de texto generativo para generar contenido basado en tus documentos y datos.
Lista de instructivos
| Gemini Multimodal |
Usa Gemini 1.5 Pro para analizar archivos de audio, comprender videos, extraer información de un PDF y procesar varios tipos de contenido multimedia simultáneamente. |
|
| Gemini Multimodal |
Usa este notebook para aprender a generar código, resumir una base de código, depurar, mejorar el código y evaluar código con Gemini 1.5 Pro. |
|
| Gemini Multimodal |
Usa la API de Gemini, que te brinda acceso a los modelos grandes de lenguaje más recientes de Google, con REST/curl. |
|
| Gemini Multimodal |
Empieza a usar Gemini (SDK de Python) Usa la API de Gemini, que te brinda acceso a los modelos grandes de lenguaje más recientes de Google, con el SDK de Vertex AI para Python. |
|
| Gemini Multimodal |
Casos de uso multimodales con Gemini El modelo Gemini es un modelo de lenguaje innovador que desarrolló Google AI y puede extraer estadísticas significativas de una variedad de arreglos de datos, como imágenes y videos. En este notebook, se exploran varios casos de uso con mensajes multimodales. |
|
| Evaluación de Gemini |
Comienza con la evaluación rápida en el SDK de Vertex AI para Python Usa la evaluación rápida para evaluar el modelo de Gemini en una tarea de evaluación con el SDK de Vertex AI para Python. |
|
| Evaluación de Gemini |
Ingeniería de instrucciones, evaluación y plantillas de instrucciones con Gemini Usa la evaluación rápida para la ingeniería y evaluación de instrucciones con el modelo de Gemini y usa la plantilla de instrucciones para su diseño con el SDK de Vertex AI para Python. |
|
| Evaluación de Gemini |
Puntuación y selección de modelos generativos Usa la evaluación rápida para puntuar y evaluar diferentes modelos generativos en una tarea de evaluación específica y, luego, visualiza y compara los resultados de la evaluación de la tarea con el SDK de Vertex AI para Python. |
|
| Evaluación de Gemini |
Evalúa y selecciona la configuración de generación del modelo Usa la evaluación rápida para evaluar y seleccionar la temperatura y otros parámetros de configuración de generación de modelos de Gemini, y compara los resultados de las métricas de diferentes parámetros de configuración de generación en cuanto a calidad, fluidez, seguridad y verbosidad, con el SDK de Vertex AI para Python. |
|
| Evaluación de Gemini |
Define tus métricas de evaluación con Gemini Usa la evaluación rápida para evaluar con métricas de evaluación de definición personalizada, con el SDK de Vertex AI para Python. |
|
| Evaluación de Gemini |
Evalúa la calidad de las llamadas a función del modelo de Gemini 1.0 Pro Genera llamadas a función con el modelo de Gemini 1.0 Pro y usa la evaluación rápida para evaluar la calidad de llamadas a función del modelo de Gemini 1.0 Pro con el SDK de Vertex AI para Python. |
|
| Evaluación de Gemini |
Usa la evaluación rápida para evaluar una tarea de búsqueda de respuestas a partir de respuestas generadas por la generación de aumento de recuperación (RAG), con el SDK de Vertex AI para Python. |
|
| Gemini Multimodal Streamlit |
Implementa una app de Streamlit en Cloud Run con Gemini Pro App de ejemplo para implementar una app de chatbot simple con Streamlit en Cloud Run con Gemini Pro. |
|
| Generación aumentada y multimodal de Gemini |
Este notebook se extiende desde RAG, que de forma tradicional se ejecuta sobre datos de texto, y muestra cómo puedes hacerlo a través de datos multimodales para hacer preguntas y respuestas en un documento científico que contiene imágenes y texto. |
|
| Gemini Multimodal |
Usa el modelo de Gemini en la educación, con varios ejemplos de mensajes y diferentes modalidades, incluidas las imágenes y los videos. |
|
| Gemini Multimodal |
Usa Gemini para recomendaciones de venta minorista multimodal En el mundo de la venta minorista, las recomendaciones tienen una función fundamental para influir en las decisiones de los clientes y generar ventas. En este notebook, aprenderás a aprovechar el poder de la multimodalidad para hacer recomendaciones de venta minorista con el objetivo de ayudar a un cliente a elegir la mejor silla entre cuatro imágenes de sillas, según una imagen de su sala de estar. |
|
| Llamada a funciones multimodales de Gemini |
Introducción a la llamada a funciones con Gemini Usa el modelo de Gemini Pro para lo siguiente:
|
|
| Ajuste |
Ajusta los modelos de base con Vertex AI Explora todo el proceso de integración y configuración. Desde la configuración del entorno hasta la selección de modelos de base y, luego, el ajuste con Vertex AI. |
|
| Evaluación |
Servicios de evaluación de Vertex AI LLM Usa Vertex AI LLM Evaluation Services junto con otros servicios de Vertex AI. |
|
| LangChain |
Ejecuta una cadena LangChain y, luego, imprime los detalles de lo que sucede en cada paso de la cadena y con interrupciones de depuración opcionales. |
|
| Texto |
Capacitación avanzada de ingeniería de instrucciones Usa la cadena de pensamiento y reacción (razonamiento + acción) para diseñar los mensajes y reducir las alucinaciones. |
|
| Incorporaciones |
Usa incorporaciones de Vertex AI para la búsqueda multimodal y Vector Search Crea incorporaciones de texto a imagen con el conjunto de datos DiffusionDB y las incorporaciones de Vertex AI para el modelo multimodal. Las incorporaciones se suben al servicio de Vector Search, que es una solución de escalamiento masivo y baja latencia para encontrar vectores similares de un corpus grande. |
|
| Incorporaciones |
Búsqueda semántica con incorporaciones Crea una incorporación generada a partir de texto y haz una búsqueda semántica. Las incorporaciones se generan con Google ScaNN: Búsqueda de similitud vectorial eficaz. |
|
| Evaluación |
AutoSxS: Evalúa un LLM en Vertex AI Model Registry con un modelo de terceros Usa Vertex AI automáticamente en paralelo (AutoSxS) para evaluar el rendimiento entre un modelo de IA generativa en el registro de modelos de Vertex AI y un modelo de lenguaje de terceros. |
|
| Evaluación |
AutoSxS: Verifica la alineación del autorizador con un conjunto de datos de preferencias humanas Usa Vertex AI automáticamente en paralelo (AutoSxS) para determinar qué tan bien se alinea el autorter con los evaluadores humanos. |
|
| Ajuste |
Aprendizaje por refuerzo con retroalimentación humana de Vertex AI LLM Usa RLHF de Vertex AI para ajustar un modelo grande de lenguaje (LLM). Este flujo de trabajo mejora la exactitud de un modelo a través del ajuste de un modelo base con un conjunto de datos de entrenamiento. |
|
| Ajuste |
Inferencia por lotes de Vertex AI con modelos ajustados por RLHF En este instructivo, se muestra cómo realizar inferencias en modelos de lenguaje grande (LLM) de OSS ajustados con RLHF de extremo a extremo con Vertex AI. |
|
| Incorporaciones |
Prueba los nuevos modelos de incorporación de texto. |
|
| Ajuste |
Ajuste de Vertex AI en un modelo de PEFT Ajusta un modelo grande de lenguaje (LLM) de PEFT y haz una predicción. Este flujo de trabajo mejora la exactitud de un modelo a través del ajuste de un modelo base con un conjunto de datos de entrenamiento. |
|
| Texto |
Usa el SDK de Vertex AI con modelos grandes de lenguaje Usa el SDK de Vertex AI para ejecutar modelos grandes de lenguaje en Vertex AI. Prueba, ajusta e implementa modelos de lenguaje de IA generativa. Empieza por explorar ejemplos de resumen de contenido, análisis de opiniones, chat, incorporación de texto y ajuste de mensajes. |
|
Conversación de Search sobre indexación del almacén de datos |
Verificador de estado del almacén de datos de Vertex AI Search and ConversationI El verificador de estado del almacén de datos de Vertex AI Search and Conversation es un notebook que usa la API de Cloud Discovery Engine para comprobar un almacén de datos en busca de documentos indexados. Permite al usuario llevar a cabo las siguientes tareas:
|
|
Chirp de reconocimiento de voz |
Empieza a usar Chirp en Google Cloud Este notebook es una introducción a Chirp, un servicio de voz a texto que usa la tecnología de reconocimiento de voz de Google de vanguardia. Proporciona una interfaz simple y fácil de usar con el objetivo de que los desarrolladores compilen aplicaciones habilitadas para voz. |
|
Filtrar metadatos de búsqueda |
Vertex AI Search con filtros y metadatos Vertex AI Search es un servicio completamente administrado que te permite implementar y compilar aplicaciones de búsqueda en Google Cloud. En este notebook, se muestra cómo usar filtros y metadatos en las solicitudes de búsqueda a Vertex AI Search. |
|
Generación de documentos aumentados de respuesta a preguntas |
Preguntas y respuestas sobre documentos con generación aumentada de recuperación En este notebook, se muestra cómo usar la generación aumentada (RAG) de recuperación a la hora de compilar un sistema de búsqueda de respuestas para la documentación de Google. Muestra cómo usar RAG a la hora de generar texto que responda una pregunta determinada y cómo usar RAG para mejorar el rendimiento de un sistema de búsqueda de respuestas. |
|
Búsqueda de recuperación de generación de contratos |
En este notebook, se muestra cómo usar la generación aumentada de recuperación para generar texto de contratos. Usa los modelos Palm2 y LangChain, que están previamente entrenados en grandes cantidades de texto legal y financiero. |
|
Búsqueda de respuestas Recuperación y generación aumentada Búsqueda LangChain |
Búsqueda de respuestas en documentos En este notebook, se muestra cómo hacer y responder preguntas sobre tus datos con la combinación de un motor de búsqueda de Vertex AI con LLM. En particular, nos enfocamos en consultar datos “no estructurados”, como archivos PDF y HTML. Para ejecutar este notebook, debes crear un motor de búsqueda sin estructurar y transferir documentos PDF o HTML a él. |
|
Búsqueda de respuestas masiva Vertex AI Search Búsqueda de respuestas |
Respuestas masivas de preguntas con Vertex AI Search En este notebook, se muestra cómo responder preguntas de un archivo CSV con un almacén de datos de Vertex AI Search. Se puede ejecutar en Colab o Vertex AI Workbench. |
|
Organización de lenguajes LangChain PaLM |
Primeros pasos con LangChain 🦜️🔗 y API de PaLM En este notebook, se presenta una introducción a LangChain, un framework de organización de modelos de lenguajes. Muestra cómo usar LangChain con la API de PaLM para crear y, luego, implementar un modelo de generación de texto a texto. |
|
LangChain de cargador de datos de BigQuery |
Cómo usar LangChain 🦜️🔗 de cargador de datos de BigQuery En este notebook, se muestra cómo usar el cargador de datos de BigQuery de LangChain para cargar datos de BigQuery en un modelo de LangChain. El notebook proporciona instrucciones paso a paso para configurar el cargador de datos, cargar datos en el modelo y entrenarlo. |
|
Código Generación de códigos Recuperación-generación aumentada Codey |
Usa la generación aumentada (RAG) de recuperación con las APIs de Codey En este notebook, se muestra cómo usar la generación aumentada (RAG) de recuperación con las APIs de Codey. RAG es una técnica que combina la recuperación de código para generar sugerencias de finalización de código más informativas y precisas. |
|
Lenguaje de generación de código Codey |
Empieza a usar las APIs de Vertex AI Codey: generación de códigos En este notebook, se proporciona una introducción a las APIs de Vertex AI Codey para la generación de código. Se abordan los conceptos básicos de cómo usar las APIs, incluso cómo crear e implementar modelos de generación de código y cómo usarlos para generar código. |
|
Generación de código con finalización de código |
Empieza a usar las APIs de Vertex AI Code: Finalización de código En este notebook, se muestra cómo usar las APIs de Vertex AI Codey con el objetivo de obtener sugerencias para completar tu código de Python. También se muestra cómo usar las APIs para generar fragmentos de código y ejecutar fragmentos de código en un entorno remoto. |
|
Codey Chat de código Chat Generación de código Generación de texto |
Empieza a usar las APIs de Vertex AI Code - Chat de código Este notebook es una introducción a las APIs de Vertex AI Codey. Se abordan los conceptos básicos sobre cómo usar las APIs, incluso cómo crear e implementar modelos y cómo interactuar con ellas a través de la CLI de Codey. |
|
SDK de Python para PaLM de lenguaje |
Empieza a usar la API de PaLM y el SDK de Python Este notebook proporciona una introducción a la API de PaLM y el SDK de Python. Se abordan los conceptos básicos de cómo usar la API, incluso cómo crear e implementar modelos y cómo usar la API para generar texto, traducir idiomas y escribir diferentes tipos de contenido creativo. |
|
Instrucciones del lenguaje |
Prácticas recomendadas para el diseño de instrucciones En este notebook, se proporciona una introducción al diseño de instrucciones para modelos de lenguaje basados en texto. Se abordan los conceptos básicos de las instrucciones, incluido el funcionamiento y cómo escribirlos. El notebook también proporciona sugerencias para mejorar los mensajes y evitar errores comunes. |
|
Extracción de textos |
Extracción de texto con modelos generativos en Vertex AI En este notebook, se muestra cómo usar modelos generativos para extraer texto de imágenes. Usa el modelo de texto a imagen de la biblioteca generadora de IA de Vertex AI y el modelo de extracción de texto de la biblioteca de extracción de texto de Vertex AI. |
|
Clasificación de textos |
Clasificación de texto con modelos generativos en Vertex AI En este notebook, se muestra cómo usar modelos generativos para llevar a cabo la clasificación de texto en Vertex AI. Se abordan los siguientes temas: * Preparación de datos * Entrenamiento de un modelo * Implementación de un modelo * Uso de un modelo para clasificar texto |
|
Cadena de pensamiento React |
Cadena de pensamiento y reacción Este notebook presenta la cadena de pensamiento y reacción, dos herramientas que pueden usarse para mejorar el rendimiento de los algoritmos de aprendizaje por refuerzo. La cadena de pensamiento es una técnica que se puede usar para mejorar la eficiencia de la iteración de valor, mientras que la de reacción es una técnica que se puede usar para mejorar la estabilidad de los algoritmos de actor crítico. |
|
Creación de instrucciones de lenguaje |
Creación de modelos generativos en Vertex AI En este notebook, se muestra cómo usar modelos generativos para generar texto, imágenes y código. También se muestra cómo usar Vertex AI para implementar y administrar modelos generativos. |
|
Resúmenes |
Resumen de textos con modelos generativos en Vertex AI En este notebook, se muestra cómo usar Vertex AI para entrenar y, luego, implementar un modelo de resumen de texto. Usa el modelo BART, que es un modelo grande de lenguaje que se entrenó previamente con un enorme conjunto de datos de texto. Luego, el modelo se ajusta en un conjunto de datos de resúmenes de texto y se puede usar para generar resúmenes de textos nuevos. |
|
Búsqueda de respuestas |
Búsqueda de respuestas con modelos generativos en Vertex AI En este notebook, se muestra cómo usar modelos generativos para responder preguntas de dominio abierto. Usa el modelo de transformación de Vertex AI para generar texto basado en una pregunta determinada. |
|
Implementación del ajuste de modelo de base de generación de texto |
Implementa y ajusta un modelo de base En este notebook, se muestra cómo ajustar un modelo de base con Vertex AI. También se muestra cómo implementar el modelo ajustado en un extremo de Vertex AI. |
|
Resumen de documentos Resumen |
Resumen de texto en documentos grandes En este notebook, se muestra cómo usar el modelo grande t5 para resumir documentos grandes. El modelo se entrena con un conjunto de datos masivo de texto y código y puede generar resúmenes precisos y concisos. |
|
Resumen de documentos Resumen de LangChain |
Resumen de texto de documentos grandes con LangChain 🦜🔗 En este notebook, se muestra cómo usar el modelo LangChain para resumir documentos grandes. LangChain es un gran modelo de lenguaje que puede generar texto, traducir idiomas, escribir diferentes tipos de contenido creativo y responder tus preguntas de manera informativa. |
|
Resumen de documentos Document AI Resumen de modelo de lenguaje Resumen de textos |
Resumen de documentos grandes con las APIs de Document AI y PaLM En este notebook, se muestra cómo usar las APIs de Document AI y PaLM para resumir documentos grandes. También se muestra cómo usar la API de Document AI para extraer entidades y frases clave de un documento. |
|
Generación de texto de chatbot |
GroceryBot, un supermercado y un asistente de recetas de muestra: RAG + ReAct Este notebook es sobre una muestra de supermercado y asistente de recetas que usa RAG y ReAct. Puede ayudarte a encontrar recetas, crear listas de compras y responder preguntas sobre comida. |
|
QA de documento y búsqueda de respuestas: LangChain |
Búsqueda de respuestas de documentos grandes con LangChain 🦜🔗 En este notebook, se muestra cómo usar el modelo LangChain para compilar un sistema de búsqueda de respuestas sobre documentos largos. El modelo se entrena en un corpus grande de texto y se puede usar para responder preguntas sobre cualquier tema. |
|
Búsqueda de respuestas QA de documentos Búsqueda de vectores LangChain |
Búsqueda de respuestas con documentos con LangChain 🦜️🔗 y búsqueda de vectores de Vertex AI En este notebook, se muestra cómo usar LangChain y Vertex AI Vector Search (antes llamado Matching Engine) con el objetivo de crear un sistema de búsqueda de respuestas para documentos. El sistema puede responder preguntas sobre entidades, fechas y números en los documentos. |
|
PaLM Búsqueda de respuestas Document AI |
Responde preguntas con documentos a través de Document AI, Pandas y PaLM En este notebook, se muestra cómo usar Document AI, Pandas y PaLM para compilar un sistema de búsqueda de respuestas. Primero, se usa Document AI a la hora de extraer datos estructurados de un documento, luego, se usa Pandas para crear un DataFrame a partir de los datos extraídos y, por último, se usa PaLM con el objetivo de generar respuestas a preguntas sobre los datos. |
|
QA de documento Búsqueda de respuestas |
Búsqueda de respuestas con documentos grandes En este notebook, se muestra cómo usar el servicio de respuesta de preguntas de Vertex AI para compilar un modelo de búsqueda de respuestas que pueda responder preguntas de documentos grandes. El modelo se entrena con un conjunto de datos de artículos de Wikipedia y puede responder preguntas sobre una variedad de temas. |
|
Generación de imágenes |
Generador de descripciones de productos de la imagen En este notebook, se muestra cómo generar descripciones de productos a partir de imágenes con un modelo de texto a imagen. El modelo se entrena en un conjunto de datos de imágenes de productos y sus descripciones correspondientes. |
|
Generación Venta minorista con LangChain |
En este notebook, se muestra cómo usar el modelo LangChain a la hora de generar descripciones de productos optimizadas de SEO para la venta minorista. El modelo toma como entrada una lista de atributos de productos y da como resultado una descripción breve que destaca las características clave del producto. |
|
Generación de texto de BigQuery DataFrames |
BigQuery DataFrames ML: AA de generación de nombres de medicamentos En este notebook, se muestra cómo usar BigQuery DataFrames para generar nombres de medicamentos. Usa un modelo de lenguaje previamente entrenado para generar texto y, luego, filtra los resultados con el objetivo de quitar los nombres de medicamentos que ya están en uso. |
|
Generación de código de BigQuery DataFrames |
Usa BigQuery DataFrames con IA generativa para la generación de código En este notebook, se muestra cómo usar BigQuery DataFrames con IA generativa para la generación de código. Se muestra cómo usar un modelo de lenguaje previamente entrenado para generar código que transforme una tabla de BigQuery en un DataFrame de Pandas. |
|
Modelo de lenguaje de BigQuery |
Usa LLM de Vertex AI con datos de BigQuery En este notebook, se muestra cómo usar LLM de Vertex AI con datos en BigQuery. Muestra cómo cargar datos desde BigQuery, crear un modelo LLM y, luego, usar el modelo para generar texto basado en los datos. |
|
Visualización de similitud de incorporaciones |
Visualización de similitud de incorporaciones en documentos de texto con trazados de t-SNE En este notebook, se muestra cómo visualizar la similitud de incorporaciones de documentos de texto con los trazados de t-SNE. Usa un conjunto de datos de reseñas de películas del [conjunto de datos de IMDB](https://datasets.imdbws.com/). |
|
Búsqueda vectorial de incorporaciones de texto |
Empieza a usar las incorporaciones de texto + búsqueda de vectores de Vertex AI En este notebook, se proporciona una introducción a las incorporaciones de texto y cómo usarlas con la búsqueda de vectores de Vertex AI. Se abordan los conceptos básicos de las incorporaciones de texto, cómo entrenarlas y cómo usarlas para llevar a cabo la búsqueda de vectores. |
|
Búsqueda de vectores para incorporaciones |
Guía de inicio rápido de la búsqueda de vectores de Vertex AI Search Este notebook es una guía de inicio rápido para usar la búsqueda de vectores de Vertex AI. Se abordan los conceptos básicos de la búsqueda vectorial, incluidos cómo crear un índice vectorial, cómo subir datos al índice y cómo hacer consultas de búsqueda vectorial. |
|
Generación de imágenes de Imagen 2 |
Generación de imágenes con Imagen en Vertex AI En este notebook, explorarás las funciones de generación de imágenes de Imagen con el SDK de Vertex AI para Python. Obtén más información sobre la función de generación de imágenes de Imagen. |
|
Generación de imágenes de Imagen 2 |
Crea recursos visuales de alta calidad con Imagen y Gemini 1.0 Pro. En este notebook, crearás recursos visuales de alta calidad para un menú de restaurante con Imagen y Gemini 1.0 Pro. Obtén más información sobre la generación de imágenes y los modelos multimodales. |
|
Edición de imágenes de Imagen 2 |
En este notebook, explorarás las funciones de edición de imágenes de Imagen con el SDK de Vertex AI para Python. |
|
Búsqueda de respuestas visuales (VQA) de imagen con Imagen |
Búsqueda de respuestas visuales (VQA) con Imagen en Vertex AI En este notebook, se muestra cómo usar Imagen para generar imágenes que respondan preguntas determinadas. También se muestra cómo implementar un modelo en Vertex AI y usarlo para generar imágenes en respuesta a preguntas que proporciona el usuario. |
|
Subtítulos de imágenes de Imagen |
Subtitulo visual con Imagen en Vertex AI En este notebook, se muestra cómo usar Imagen, un modelo grande de lenguaje para la generación de imágenes, con el objetivo de generar subtítulos de imágenes. También se muestra cómo implementar el modelo en Vertex AI. |
¿Qué sigue?
- Obtén información sobre los modelos de LLM, Vertex AI y PaLM con instructivos de notebooks
- Explora más recursos en el repositorio de GitHub de la IA generativa.
- Consulta otros instructivos de notebooks de Vertex AI en la descripción general de los instructivos.