Instructivos del notebook de IA generativa de Vertex AI

En este documento, se incluye una lista de instructivos de notebooks para la IA generativa en Vertex AI. Son instructivos de extremo a extremo que te muestran cómo usar algunos de los LLM de IA generativa.

  • Casos de uso multimodales con Gemini

    Explora varios casos de uso con multimodales con Gemini.
    Colab | GitHub

  • Llamada a función con la API de Gemini de Vertex AI y el SDK de Python

    Usa la API de Gemini de Vertex AI con el SDK de Vertex AI para Python a fin de realizar llamadas a funciones con el modelo de Gemini 1.0 Pro (gemini-1.0-pro).
    Colab | GitHub

  • Comienza a usar la fundamentación con Gemini en Vertex AI

    Usa modelos de texto generativo para generar contenido basado en tus propios documentos y datos.

    Colab | GitHub

Lista de instructivos

Filtrar por:
Gemini Multimodal

Introducción a Gemini 1.5 Pro (vista previa)

Usa Gemini 1.5 Pro (versión preliminar) para analizar archivos de audio, comprender videos, extraer información de un PDF y procesar varios tipos de contenido multimedia de forma simultánea.

Ver en GitHub

Gemini Multimodal

Empieza a usar Gemini (cUrl)

Usa la API de Gemini, que te brinda acceso a los modelos grandes de lenguaje más recientes de Google, con REST/curl.

Abrir en Colab
Ver en GitHub

Gemini Multimodal

Empieza a usar Gemini (SDK de Python)

Usa la API de Gemini, que te brinda acceso a los modelos grandes de lenguaje más recientes de Google, con el SDK de Vertex AI para Python.

Abrir en Colab
Ver en GitHub

Gemini Multimodal

Casos de uso multimodales con Gemini

El modelo Gemini es un modelo de lenguaje innovador que desarrolló Google AI y puede extraer estadísticas significativas de una variedad de arreglos de datos, como imágenes y videos. En este notebook, se exploran varios casos de uso con mensajes multimodales.

Abrir en Colab
Ver en GitHub

Gemini Multimodal Streamlit

Implementa una app de Streamlit en Cloud Run con Gemini Pro

App de ejemplo para implementar una app de chatbot simple con Streamlit en Cloud Run con Gemini Pro.

Ver en GitHub

Generación aumentada y multimodal de Gemini

RAG multimodal

Este notebook se extiende desde RAG, que de forma tradicional se ejecuta sobre datos de texto, y muestra cómo puedes hacerlo a través de datos multimodales para hacer preguntas y respuestas en un documento científico que contiene imágenes y texto.

Abrir en Colab
Ver en GitHub

Gemini Multimodal

Usa Gemini en la educación

Usa el modelo de Gemini en la educación, con varios ejemplos de mensajes y diferentes modalidades, incluidas las imágenes y los videos.

Abrir en Colab
Ver en GitHub

Gemini Multimodal

Usa Gemini para recomendaciones de venta minorista multimodal

En el mundo de la venta minorista, las recomendaciones tienen una función fundamental para influir en las decisiones de los clientes y generar ventas. En este notebook, aprenderás a aprovechar el poder de la multimodalidad para hacer recomendaciones de venta minorista con el objetivo de ayudar a un cliente a elegir la mejor silla entre cuatro imágenes de sillas, según una imagen de su sala de estar.

Abrir en Colab
Ver en GitHub

Llamada a funciones multimodales de Gemini

Introducción a la llamada a funciones con Gemini

Usa el modelo de Gemini Pro para lo siguiente:

  • Generar llamadas a función desde un mensaje de texto para obtener el clima de una ubicación determinada
  • Generar llamadas a función desde un mensaje de texto y llamar a una API externa para geocodificar direcciones
  • Generar llamadas a funciones desde un mensaje de chat para ayudar a los usuarios de venta minorista

Abrir en Colab
Ver en GitHub

Ajuste

Ajusta los modelos de base con Vertex AI

Explora todo el proceso de integración y configuración. Desde la configuración del entorno hasta la selección de modelos de base y, luego, el ajuste con Vertex AI.

Abrir en Colab
Ver en GitHub

Evaluación

Servicios de evaluación de Vertex AI LLM

Usa Vertex AI LLM Evaluation Services junto con otros servicios de Vertex AI.

Ver en GitHub

LangChain

Ejecuta una cadena Langchain

Ejecuta una cadena LangChain y, luego, imprime los detalles de lo que sucede en cada paso de la cadena y con interrupciones de depuración opcionales.

Abrir en Colab
Ver en GitHub

Texto

Capacitación avanzada de ingeniería de instrucciones

Usa la cadena de pensamiento y reacción (razonamiento + acción) para diseñar los mensajes y reducir las alucinaciones.

Abrir en Colab
Ver en GitHub

Incorporaciones

Usa incorporaciones de Vertex AI para la búsqueda multimodal y Vector Search

Crea incorporaciones de texto a imagen con el conjunto de datos DiffusionDB y las incorporaciones de Vertex AI para el modelo multimodal. Las incorporaciones se suben al servicio de Vector Search, que es una solución de escalamiento masivo y baja latencia para encontrar vectores similares de un corpus grande.

Abrir en Colab
Ver en GitHub

Incorporaciones

Búsqueda semántica con incorporaciones

Crea una incorporación generada a partir de texto y haz una búsqueda semántica. Las incorporaciones se generan con Google ScaNN: Búsqueda de similitud vectorial eficaz.

Abrir en Colab
Ver en GitHub

Evaluación

Inferencia por lotes y evaluación de Vertex AI LLM

Evalúa un modelo grande de lenguaje (LLM) de extremo a extremo con Vertex AI.

Abrir en Colab
Ver en GitHub

Evaluación

AutoSxS: Evalúa un LLM en Vertex AI Model Registry con un modelo de terceros

Usa Vertex AI automáticamente en paralelo (AutoSxS) para evaluar el rendimiento entre un modelo de IA generativa en el registro de modelos de Vertex AI y un modelo de lenguaje de terceros.

Abrir en Colab
Ver en GitHub

Evaluación

AutoSxS: Verifica la alineación del autorizador con un conjunto de datos de preferencias humanas

Usa Vertex AI automáticamente en paralelo (AutoSxS) para determinar qué tan bien se alinea el autorter con los evaluadores humanos.

Abrir en Colab
Ver en GitHub

Ajuste

Aprendizaje por refuerzo con retroalimentación humana de Vertex AI LLM

Usa RLHF de Vertex AI para ajustar un modelo grande de lenguaje (LLM). Este flujo de trabajo mejora la exactitud de un modelo a través del ajuste de un modelo base con un conjunto de datos de entrenamiento.

Abrir en Colab
Ver en GitHub

Incorporaciones

API de incorporación de texto

Prueba los nuevos modelos de incorporación de texto.

Abrir en Colab
Ver en GitHub

Ajuste

Ajuste de Vertex AI en un modelo de PEFT

Ajusta un modelo grande de lenguaje (LLM) de PEFT y haz una predicción. Este flujo de trabajo mejora la exactitud de un modelo a través del ajuste de un modelo base con un conjunto de datos de entrenamiento.

Abrir en Colab
Ver en GitHub

Texto

Usa el SDK de Vertex AI con modelos grandes de lenguaje

Usa el SDK de Vertex AI para ejecutar modelos grandes de lenguaje en Vertex AI. Prueba, ajusta e implementa modelos de lenguaje de IA generativa. Empieza por explorar ejemplos de resumen de contenido, análisis de opiniones, chat, incorporación de texto y ajuste de mensajes.

Abrir en Colab
Ver en GitHub

Conversación de Search sobre indexación del almacén de datos

Verificador de estado del almacén de datos de Vertex AI Search and ConversationI

El verificador de estado del almacén de datos de Vertex AI Search and Conversation es un notebook que usa la API de Cloud Discovery Engine para comprobar un almacén de datos en busca de documentos indexados. Permite al usuario llevar a cabo las siguientes tareas:

  • Comprueba el estado de indexación de un ID de almacén de datos determinado.
  • Enumera todos los documentos de un ID de almacén de datos determinado.
  • Enumera todas las URLs indexadas para un ID de almacén de datos determinado.
  • Busca todas las URLs indexadas para una URL específica dentro de un ID de almacén de datos determinado.

Abrir en Colab
Abrir en GitHub

Chirp de reconocimiento de voz

Empieza a usar Chirp en Google Cloud

Este notebook es una introducción a Chirp, un servicio de voz a texto que usa la tecnología de reconocimiento de voz de Google de vanguardia. Proporciona una interfaz simple y fácil de usar con el objetivo de que los desarrolladores compilen aplicaciones habilitadas para voz.

Abrir en Colab
Abrir en GitHub

Filtrar metadatos de búsqueda

Vertex AI Search con filtros y metadatos

Vertex AI Search es un servicio completamente administrado que te permite implementar y compilar aplicaciones de búsqueda en Google Cloud. En este notebook, se muestra cómo usar filtros y metadatos en las solicitudes de búsqueda a Vertex AI Search.

Abrir en Colab
Abrir en GitHub

Generación de documentos aumentados de respuesta a preguntas

Preguntas y respuestas sobre documentos con generación aumentada de recuperación

En este notebook, se muestra cómo usar la generación aumentada (RAG) de recuperación a la hora de compilar un sistema de búsqueda de respuestas para la documentación de Google. Muestra cómo usar RAG a la hora de generar texto que responda una pregunta determinada y cómo usar RAG para mejorar el rendimiento de un sistema de búsqueda de respuestas.

Abrir en Colab
Abrir en GitHub

Búsqueda de recuperación de generación de contratos

Generación aumentada de recuperación (uso de la tienda de vectores de código abierto): analista de contratos de adquisición - Palm2 y LangChain

En este notebook, se muestra cómo usar la generación aumentada de recuperación para generar texto de contratos. Usa los modelos Palm2 y LangChain, que están previamente entrenados en grandes cantidades de texto legal y financiero.

Abrir en Colab
Abrir en GitHub

Búsqueda de respuestas Recuperación y generación aumentada Búsqueda LangChain

Búsqueda de respuestas en documentos

En este notebook, se muestra cómo hacer y responder preguntas sobre tus datos con la combinación de un motor de búsqueda de Vertex AI con LLM. En particular, nos enfocamos en consultar datos “no estructurados”, como archivos PDF y HTML. Para ejecutar este notebook, debes crear un motor de búsqueda sin estructurar y transferir documentos PDF o HTML a él.

Abrir en Colab
Abrir en GitHub

Búsqueda de respuestas masiva Vertex AI Search Búsqueda de respuestas

Respuestas masivas de preguntas con Vertex AI Search

En este notebook, se muestra cómo responder preguntas de un archivo CSV con un almacén de datos de Vertex AI Search. Se puede ejecutar en Colab o Vertex AI Workbench.

Abrir en Colab
Abrir en GitHub

Organización de lenguajes LangChain PaLM

Primeros pasos con LangChain 🦜️🔗 y API de PaLM

En este notebook, se presenta una introducción a LangChain, un framework de organización de modelos de lenguajes. Muestra cómo usar LangChain con la API de PaLM para crear y, luego, implementar un modelo de generación de texto a texto.

Abrir en Colab
Abrir en GitHub

LangChain de cargador de datos de BigQuery

Cómo usar LangChain 🦜️🔗 de cargador de datos de BigQuery

En este notebook, se muestra cómo usar el cargador de datos de BigQuery de LangChain para cargar datos de BigQuery en un modelo de LangChain. El notebook proporciona instrucciones paso a paso para configurar el cargador de datos, cargar datos en el modelo y entrenarlo.

Abrir en Colab
Abrir en GitHub

Código Generación de códigos Recuperación-generación aumentada Codey

Usa la generación aumentada (RAG) de recuperación con las APIs de Codey

En este notebook, se muestra cómo usar la generación aumentada (RAG) de recuperación con las APIs de Codey. RAG es una técnica que combina la recuperación de código para generar sugerencias de finalización de código más informativas y precisas.

Abrir en Colab
Abrir en GitHub

Lenguaje de generación de código Codey

Empieza a usar las APIs de Vertex AI Codey: generación de códigos

En este notebook, se proporciona una introducción a las APIs de Vertex AI Codey para la generación de código. Se abordan los conceptos básicos de cómo usar las APIs, incluso cómo crear e implementar modelos de generación de código y cómo usarlos para generar código.

Abrir en Colab
Abrir en GitHub

Generación de código con finalización de código

Empieza a usar las APIs de Vertex AI Code: Finalización de código

En este notebook, se muestra cómo usar las APIs de Vertex AI Codey con el objetivo de obtener sugerencias para completar tu código de Python. También se muestra cómo usar las APIs para generar fragmentos de código y ejecutar fragmentos de código en un entorno remoto.

Abrir en Colab
Abrir en GitHub

Codey Chat de código Chat Generación de código Generación de texto

Empieza a usar las APIs de Vertex AI Code - Chat de código

Este notebook es una introducción a las APIs de Vertex AI Codey. Se abordan los conceptos básicos sobre cómo usar las API, incluso cómo crear e implementar modelos y cómo interactuar con ellas a través de la CLI de Codey.

Abrir en Colab
Abrir en GitHub

SDK de Python para PaLM de lenguaje

Empieza a usar la API de PaLM y el SDK de Python

Este notebook proporciona una introducción a la API de PaLM y el SDK de Python. Se abordan los conceptos básicos de cómo usar la API, incluso cómo crear e implementar modelos y cómo usar la API para generar texto, traducir idiomas y escribir diferentes tipos de contenido creativo.

Abrir en Colab
Abrir en GitHub

Instrucciones del lenguaje

Prácticas recomendadas para el diseño de instrucciones

En este notebook, se proporciona una introducción al diseño de instrucciones para modelos de lenguaje basados en texto. Se abordan los conceptos básicos de las instrucciones, incluido el funcionamiento y cómo escribirlos. El notebook también proporciona sugerencias para mejorar los mensajes y evitar errores comunes.

Abrir en Colab
Abrir en GitHub

Extracción de textos

Extracción de texto con modelos generativos en Vertex AI

En este notebook, se muestra cómo usar modelos generativos para extraer texto de imágenes. Usa el modelo de texto a imagen de la biblioteca generadora de IA de Vertex AI y el modelo de extracción de texto de la biblioteca de extracción de texto de Vertex AI.

Abrir en Colab
Abrir en GitHub

Clasificación de textos

Clasificación de texto con modelos generativos en Vertex AI

En este notebook, se muestra cómo usar modelos generativos para llevar a cabo la clasificación de texto en Vertex AI. Se abordan los siguientes temas: * Preparación de datos * Entrenamiento de un modelo * Implementación de un modelo * Uso de un modelo para clasificar texto

Abrir en Colab
Abrir en GitHub

Cadena de pensamiento React

Cadena de pensamiento y reacción

Este notebook presenta la cadena de pensamiento y reacción, dos herramientas que pueden usarse para mejorar el rendimiento de los algoritmos de aprendizaje por refuerzo. La cadena de pensamiento es una técnica que se puede usar para mejorar la eficiencia de la iteración de valor, mientras que la de reacción es una técnica que se puede usar para mejorar la estabilidad de los algoritmos de actor crítico.

Abrir en Colab
Abrir en GitHub

Creación de instrucciones de lenguaje

Creación de modelos generativos en Vertex AI

En este notebook, se muestra cómo usar modelos generativos para generar texto, imágenes y código. También se muestra cómo usar Vertex AI para implementar y administrar modelos generativos.

Abrir en Colab
Abrir en GitHub

Resúmenes

Resumen de textos con modelos generativos en Vertex AI

En este notebook, se muestra cómo usar Vertex AI para entrenar y, luego, implementar un modelo de resumen de texto. Usa el modelo BART, que es un modelo grande de lenguaje que se entrenó previamente con un enorme conjunto de datos de texto. Luego, el modelo se ajusta en un conjunto de datos de resúmenes de texto y se puede usar para generar resúmenes de textos nuevos.

Abrir en Colab
Abrir en GitHub

Búsqueda de respuestas

Búsqueda de respuestas con modelos generativos en Vertex AI

En este notebook, se muestra cómo usar modelos generativos para responder preguntas de dominio abierto. Usa el modelo de transformación de Vertex AI para generar texto basado en una pregunta determinada.

Abrir en Colab
Abrir en GitHub

Implementación del ajuste de modelo de base de generación de texto

Implementa y ajusta un modelo de base

En este notebook, se muestra cómo ajustar un modelo de base con Vertex AI. También se muestra cómo implementar el modelo ajustado en un extremo de Vertex AI.

Abrir en Colab
Abrir en GitHub

Resumen de documentos Resumen

Resumen de texto en documentos grandes

En este notebook, se muestra cómo usar el modelo grande t5 para resumir documentos grandes. El modelo se entrena con un conjunto de datos masivo de texto y código y puede generar resúmenes precisos y concisos.

Abrir en Colab
Abrir en GitHub

Resumen de documentos Resumen de LangChain

Resumen de texto de documentos grandes con LangChain 🦜🔗

En este notebook, se muestra cómo usar el modelo LangChain para resumir documentos grandes. LangChain es un gran modelo de lenguaje que puede generar texto, traducir idiomas, escribir diferentes tipos de contenido creativo y responder tus preguntas de manera informativa.

Abrir en Colab
Abrir en GitHub

Resumen de documentos Document AI Resumen de modelo de lenguaje Resumen de textos

Resumen de documentos grandes con las APIs de Document AI y PaLM

En este notebook, se muestra cómo usar las APIs de Document AI y PaLM para resumir documentos grandes. También se muestra cómo usar la API de Document AI para extraer entidades y frases clave de un documento.

Abrir en Colab
Abrir en GitHub

Generación de texto de chatbot

GroceryBot, un supermercado y un asistente de recetas de muestra: RAG + ReAct

Este notebook es sobre una muestra de supermercado y asistente de recetas que usa RAG y ReAct. Puede ayudarte a encontrar recetas, crear listas de compras y responder preguntas sobre comida.

Abrir en Colab
Abrir en GitHub

QA de documento y búsqueda de respuestas: LangChain

Búsqueda de respuestas de documentos grandes con LangChain 🦜🔗

En este notebook, se muestra cómo usar el modelo LangChain para compilar un sistema de búsqueda de respuestas sobre documentos largos. El modelo se entrena en un corpus grande de texto y se puede usar para responder preguntas sobre cualquier tema.

Abrir en Colab
Abrir en GitHub

Búsqueda de respuestas QA de documentos Búsqueda de vectores LangChain

Búsqueda de respuestas con documentos con LangChain 🦜️🔗 y búsqueda de vectores de Vertex AI

En este notebook, se muestra cómo usar LangChain y Vertex AI Vector Search (antes llamado Matching Engine) con el objetivo de crear un sistema de búsqueda de respuestas para documentos. El sistema puede responder preguntas sobre entidades, fechas y números en los documentos.

Abrir en Colab
Abrir en GitHub

PaLM Búsqueda de respuestas Document AI

Responde preguntas con documentos a través de Document AI, Pandas y PaLM

En este notebook, se muestra cómo usar Document AI, Pandas y PaLM para compilar un sistema de búsqueda de respuestas. Primero, se usa Document AI a la hora de extraer datos estructurados de un documento, luego, se usa Pandas para crear un DataFrame a partir de los datos extraídos y, por último, se usa PaLM con el objetivo de generar respuestas a preguntas sobre los datos.

Abrir en Colab
Abrir en GitHub

QA de documento Búsqueda de respuestas

Búsqueda de respuestas con documentos grandes

En este notebook, se muestra cómo usar el servicio de respuesta de preguntas de Vertex AI para compilar un modelo de búsqueda de respuestas que pueda responder preguntas de documentos grandes. El modelo se entrena con un conjunto de datos de artículos de Wikipedia y puede responder preguntas sobre una variedad de temas.

Abrir en Colab
Abrir en GitHub

Generación de imágenes

Generador de descripciones de productos de la imagen

En este notebook, se muestra cómo generar descripciones de productos a partir de imágenes con un modelo de texto a imagen. El modelo se entrena en un conjunto de datos de imágenes de productos y sus descripciones correspondientes.

Abrir en Colab
Abrir en GitHub

Generación Venta minorista con LangChain

DescriptionGen: Generación de descripciones del producto optimizada de SEO para la venta minorista con LangChain 🦜🔗

En este notebook, se muestra cómo usar el modelo LangChain a la hora de generar descripciones de productos optimizadas de SEO para la venta minorista. El modelo toma como entrada una lista de atributos de productos y da como resultado una descripción breve que destaca las características clave del producto.

Abrir en Colab
Abrir en GitHub

Generación de texto de BigQuery DataFrames

BigQuery DataFrames ML: AA de generación de nombres de medicamentos

En este notebook, se muestra cómo usar BigQuery DataFrames para generar nombres de medicamentos. Usa un modelo de lenguaje previamente entrenado para generar texto y, luego, filtra los resultados con el objetivo de quitar los nombres de medicamentos que ya están en uso.

Abrir en Colab
Abrir en GitHub

Generación de código de BigQuery DataFrames

Usa BigQuery DataFrames con IA generativa para la generación de código

En este notebook, se muestra cómo usar BigQuery DataFrames con IA generativa para la generación de código. Se muestra cómo usar un modelo de lenguaje previamente entrenado para generar código que transforme una tabla de BigQuery en un DataFrame de Pandas.

Abrir en Colab
Abrir en GitHub

Modelo de lenguaje de BigQuery

Usa LLM de Vertex AI con datos de BigQuery

En este notebook, se muestra cómo usar LLM de Vertex AI con datos en BigQuery. Muestra cómo cargar datos desde BigQuery, crear un modelo LLM y, luego, usar el modelo para generar texto basado en los datos.

Abrir en Colab
Abrir en GitHub

Visualización de similitud de incorporaciones

Visualización de similitud de incorporaciones en documentos de texto con trazados de t-SNE

En este notebook, se muestra cómo visualizar la similitud de incorporaciones de documentos de texto con los trazados de t-SNE. Usa un conjunto de datos de reseñas de películas del [conjunto de datos de IMDB](https://datasets.imdbws.com/).

Abrir en Colab
Abrir en GitHub

Búsqueda vectorial de incorporaciones de texto

Empieza a usar las incorporaciones de texto + búsqueda de vectores de Vertex AI

En este notebook, se proporciona una introducción a las incorporaciones de texto y cómo usarlas con la búsqueda de vectores de Vertex AI. Se abordan los conceptos básicos de las incorporaciones de texto, cómo entrenarlas y cómo usarlas para llevar a cabo la búsqueda de vectores.

Abrir en Colab
Abrir en GitHub

Búsqueda de vectores para incorporaciones

Guía de inicio rápido de la búsqueda de vectores de Vertex AI Search

Este notebook es una guía de inicio rápido para usar la búsqueda de vectores de Vertex AI. Se abordan los conceptos básicos de la búsqueda vectorial, incluidos cómo crear un índice vectorial, cómo subir datos al índice y cómo hacer consultas de búsqueda vectorial.

Abrir en Colab
Abrir en GitHub

Generación de imágenes de Imagen 2

Generación de imágenes con Imagen en Vertex AI

En este notebook, explorarás las funciones de generación de imágenes de Imagen con el SDK de Vertex AI para Python. Obtén más información sobre la función de generación de imágenes de Imagen.

Abrir en Colab
Abrir en GitHub

Generación de imágenes de Imagen 2

Generación de texto de Gemini 1.0 Pro

Formato de texto de salida de Gemini 1.0 Pro

Crea recursos visuales de alta calidad con Imagen y Gemini 1.0 Pro

En este notebook, crearás recursos visuales de alta calidad para un menú de restaurante con Imagen y Gemini 1.0 Pro. Obtén más información sobre la generación de imágenes y los modelos multimodales.

Abrir en Colab
Abrir en GitHub

Edición de imágenes de Imagen 2

Crea recursos visuales de alta calidad con la edición de Imagen 2 mediante áreas de máscara generadas automáticamente

En este notebook, explorarás las funciones de edición de imágenes de Imagen con el SDK de Vertex AI para Python.

Abrir en Colab
Abrir en GitHub

Imagen de búsqueda de respuestas visuales (VQA)

Búsqueda de respuestas visuales (VQA) con Imagen en Vertex AI

En este notebook, se muestra cómo usar Imagen para generar imágenes que respondan preguntas determinadas. También se muestra cómo implementar un modelo en Vertex AI y usarlo para generar imágenes en respuesta a preguntas que proporciona el usuario.

Abrir en Colab
Abrir en GitHub

Creación de leyendas de imágenes de Imagen

Subtitulo visual con Imagen en Vertex AI

En este notebook, se muestra cómo usar Imagen, un modelo grande de lenguaje para la generación de imágenes, con el objetivo de generar subtítulos de imágenes. También se muestra cómo implementar el modelo en Vertex AI.

Abrir en Colab
Abrir en GitHub

¿Qué sigue?