Model Journal en la consola de Google Cloud es una biblioteca de modelo de AA que te ayuda a descubrir, probar, personalizar e implementar los modelos y recursos seleccionados de OSS y propios de Google.
En los siguientes temas, se presentan los modelos de IA disponibles en Model Garden y cómo usarlos.
Explora modelos
Para ver la lista de modelos disponibles de Vertex AI y de bases de código abierto, ajustables y específicos para tareas, ve a la página Model Garden en la consola de Google Cloud.
Las categorías de modelos disponibles en Model Garden son las siguientes:
| Categoría | Descripción |
|---|---|
| Modelos de base | Modelos grandes multitarea previamente entrenados que se pueden ajustar o personalizar para tareas específicas mediante Generative AI Studio, la API de Vertex AI y el SDK de Vertex AI para Python. |
| Modelos ajustables | Modelos que puedes ajustar mediante un notebook o una canalización personalizados. |
| Soluciones específicas para tareas | La mayoría de estos modelos precompilados están listos para usarse. Muchos se pueden personalizar con tus propios datos. |
Para filtrar modelos en el panel de filtro, especifica lo siguiente:
- Modalidades: haz clic en las modalidades (tipos de datos) que deseas en el modelo.
- Tareas: haz clic en la tarea que deseas que realice el modelo.
- Atributos: Haz clic en los atributos que desees en el modelo.
Para obtener más información sobre cada modelo, haz clic en la tarjeta del modelo.
Modelos disponibles en Model Garden
Puedes encontrar los modelos originales de Google y seleccionar modelos de código abierto en Model Garden.
Lista de modelos originales de Google
En la siguiente tabla, se enumeran los modelos originales de Google que están disponibles en Model Garden:
| Nombre del modelo | Modalidad | Descripción | Guías de inicio rápido |
|---|---|---|---|
| Gemini 1.0 Pro | lenguaje | Diseñada para controlar tareas de lenguaje natural, chat de texto y código de varios turnos, y generación de código. | Tarjeta de modelo |
| Gemini 1.0 Pro Vision | Lenguaje, Vision | Modelo multimodal que admite agregar imágenes y video en mensajes de texto o de chat para una respuesta de texto o código. | Tarjeta de modelo |
| PaLM 2 for Text | lenguaje | Se ajustó para seguir las instrucciones de lenguaje natural y es adecuado para una variedad de tareas de lenguaje. | Tarjeta de modelo |
| PaLM 2 para Chat | lenguaje | Ajustado para tener conversaciones naturales Usa este modelo para compilar y personalizar tu propia aplicación de chatbot. | Tarjeta de modelo |
| Codey para completar código | lenguaje | Genera código en función de los mensajes del código. Ideal para sugerencias de código y minimizar errores en código. | Tarjeta de modelo |
| Codey para generación de código | lenguaje | Genera código basado en entradas de lenguaje natural. Ideal para escribir funciones, clases, pruebas de unidades y mucho más. | Tarjeta de modelo |
| Codey para Chat de código | lenguaje | Obtén asistencia relacionada con el código a través de conversaciones naturales. Es adecuado para preguntas sobre una API, la sintaxis en un lenguaje compatible y mucho más. | Tarjeta de modelo |
| Incorporaciones para texto | lenguaje | Convierte datos textuales en vectores numéricos que pueden ser procesados por algoritmos de aprendizaje automático, especialmente en modelos grandes. | Tarjeta de modelo |
| Imagen para la generación de imágenes | Visión | Crea o edita imágenes a nivel de estudio a gran escala con mensajes de texto. | Tarjeta de modelo |
| Imagen para subtítulos y VQA | lenguaje | Genera una descripción relevante para una imagen determinada. | Tarjeta de modelo |
| Incorporaciones para multimodales | Visión | Genera vectores basados en imágenes, que se pueden usar para tareas posteriores, como la clasificación y la búsqueda de imágenes. | Tarjeta de modelo |
| Sec-PaLM2 | lenguaje | Se entrena previamente para una variedad de tareas específicas de seguridad, como la inteligencia de amenazas, las operaciones de seguridad y el análisis de software malicioso. | Tarjeta de modelo |
| Chirp | Voz | Una versión de un modelo de voz universal que tiene más de 2B de parámetros y puede transcribir en más de 100 idiomas en un solo modelo. | Tarjeta de modelo |
Lista de modelos con ajuste de código abierto o recetas de entrega en Model Garden
En la siguiente tabla, se enumeran los modelos de OSS que admiten el ajuste de código abierto o las recetas de entrega en Model Garden:
| Nombre del modelo | Modalidad | Descripción | Guía de inicio rápido |
|---|---|---|---|
| Gemma | lenguaje | Modelos de peso abierto (2B, 7B) que se compilan a partir de la misma investigación y tecnología que se usaron para crear los modelos Gemini de Google. | Tarjeta de modelo |
| Vicuna v1.5 | lenguaje | Implementa modelos de series de Vicuna v1.5, que son modelos de base más precisos de LLama2 para la generación de texto. | Tarjeta de modelo |
| NLLB | lenguaje | Implementa modelos de series de nllb para la traducción a varios idiomas. | Tarjeta de modelo Colab |
| Mistral-7B | lenguaje | Implementar Mistral-7B, un modelo de base para la generación de texto. | Tarjeta de modelo Colab |
| BiGP | lenguaje | Implementa bioGPT, un modelo generativo de texto para el dominio biomédico. | Tarjeta de modelo Colab |
| BiomedCLIP | Lenguaje, Vision | Implementa BiomedCLIP, un modelo de base multimodal para el dominio biomédico. | Tarjeta de modelo Colab |
| ImageBind | Lenguaje, Vision, Audio |
Implementa ImageBind, un modelo de base para la incorporación multimodal. | Tarjeta de modelo Colab |
| DITO | Lenguaje, Vision | Ajusta y, luego, implementa DITO, un modelo de base multimodal para tareas de detección de objetos de vocabulario abierto. | Tarjeta de modelo Colab |
| OWL-ViT v2 | Lenguaje, Vision | Implementa OWL-ViT v2, un modelo de base multimodal para tareas de detección de objetos de vocabulario abierto. | Tarjeta de modelo Colab |
| FaceStylizer (Mediapipe) | Visión | Una canalización generativa para transformar las imágenes de rostros humanos en un estilo nuevo. | Tarjeta de modelo Colab |
| Llama 2 | lenguaje | Ajusta e implementa los modelos de base Llama 2 de Meta (7B, 13B, 70B) en Vertex AI. | Tarjeta de modelo |
| Code Llama | lenguaje | Implementa modelos de base de Code Llama de Meta (7B, 13B, 34B) en Vertex AI. | Tarjeta de modelo |
| Falcon-instruct | lenguaje | Ajusta e implementa modelos de Falcon-Instruct (7B, 40B) mediante PEFT. | Colab Tarjeta de modelo |
| OpenLLaMA | lenguaje | Ajusta e implementa modelos de OpenLLaMA (3B, 7B, 13B) con PEFT. | Colab Tarjeta de modelo |
| T5-FLAN | lenguaje | Ajusta e implementa T5-FLAN (base, pequeño y grande). | Tarjeta de modelo (se incluye la canalización de ajuste) |
| BERT | lenguaje | Ajusta e implementa BERT mediante PEFT. | Colab Tarjeta de modelo |
| BART-large-cnn | lenguaje | Implementa BART, un modelo codificador/codificador (seq2seq) de transformador con un codificador bidireccional (similar a BERT) y un decodificador automático (similar a GPT). | Colab Tarjeta de modelo |
| RoBERTa-large | lenguaje | Ajusta e implementa RoBERTa-large con PEFT. | Colab Tarjeta de modelo |
| XLM-RoBERTa-large | lenguaje | Ajusta e implementa XLM-RoBERTa-large (una versión multilingüe de RoBERTa) mediante PEFT. | Colab Tarjeta de modelo |
| Dolly-v2-7b | lenguaje | Implementa Dolly-v2-7b, un modelo grande de lenguaje que sigue instrucciones con 6.9 mil millones de parámetros. | Colab Tarjeta de modelo |
| Stable Diffusion XL v1.0 | Lenguaje, Vision | Implementa Stable Diffusion XL v1.0, que admite la generación de texto a imagen. | Colab Tarjeta de modelo |
| Stable Diffusion v2.1 | Lenguaje, Vision | Ajusta e implementa Stable Diffusion v2.1 (admite la generación de texto a imagen) mediante Dreambooth. | Colab Tarjeta de modelo |
| Stable Diffusion 4x upscaler | Lenguaje, Vision | Implementa Stable Diffusion 4x upscaler, que admite la superresolución de imagen condicionada por texto. | Colab Tarjeta de modelo |
| InstructPix2Pix | Lenguaje, Vision | Implementa InstructPix2Pix, que admite la edición de imágenes mediante un mensaje de texto. | Colab Tarjeta de modelo |
| Retoque de dispersión estable | Lenguaje, Vision | Ajusta e implementa Stable Diffusion Inpainting, que admite completar una imagen enmascarada mediante una instrucción de texto. | Colab Tarjeta de modelo |
| SAM | Lenguaje, Vision | Implementa Segment Anything, que admite la segmentación de imágenes sin tomas. | Colab Tarjeta de modelo |
| Texto a video (ModelScope) | Lenguaje, Vision | Implementa texto a video de ModelScope, que admite la generación de texto a video. | Colab Tarjeta de modelo |
| Texto a video sin tomas | Lenguaje, Vision | Implementa generadores de texto a video de Stable Diffusion que admitan la generación de texto a video sin tomas. | Colab Tarjeta de modelo |
| Recuperación de imágenes compuestas de Pic2Word | Lenguaje, Vision | Implementa Pic2Word, que admite la recuperación de imágenes multimodales compuestas. | Colab Tarjeta de modelo |
| BLIP2 | Lenguaje, Vision | Implementa BLIP2, que admite los subtítulos de imágenes y la respuesta visual a preguntas. | Colab Tarjeta de modelo |
| Open-CLIP | Lenguaje, Vision | Ajusta e implementa Open-CLIP, que admite una clasificación sin tomas. | Colab Tarjeta de modelo |
| F-VLM | Lenguaje, Vision | Implementa F-VLM, que admite la detección de objetos de imagen de vocabulario abierto. | Colab Tarjeta de modelo |
| tfhub/EfficientNetV2 | Visión | Ajusta y realiza la implementación de Tensorflow Vision del modelo de clasificación de imágenes EfficientNetV2. | Colab Tarjeta de modelo |
| EfficientNetV2 (TIMM) | Visión | Ajusta y realiza la implementación de PyTorch del modelo de clasificación de imágenes EfficientNetV2. | Colab Tarjeta de modelo |
| Patentado/EfficientNetV2 | Visión | Ajusta y, luego, implementa el punto de control propiedad de Google del modelo de clasificación de imágenes EfficientNetV2. | Colab Tarjeta de modelo |
| EfficientNetLite (MediaPipe) | Visión | Ajusta el modelo de clasificación de imágenes EfficientNetLite a través del creador de modelos MediaPipe. | Colab Tarjeta de modelo |
| tfvision/vit | Visión | Ajusta y realiza la implementación de TensorFlow Vision del modelo de clasificación de imágenes ViT. | Colab Tarjeta de modelo |
| ViT (TIMM) | Visión | Ajusta y realiza la implementación de PyTorch del modelo de clasificación de imágenes ViT. | Colab Tarjeta de modelo |
| Patentado/ViT | Visión | Ajusta y, luego, implementa el punto de control propiedad de Google del modelo de clasificación de imágenes ViT. | Colab Tarjeta de modelo |
| Patentado/MaxViT | Visión | Ajusta e implementa el punto de control propiedad de Google del modelo de clasificación de imágenes híbrido (CNN + ViT) de MaxViT. | Colab Tarjeta de modelo |
| ViT (JAX) | Visión | Ajusta y realiza la implementación de JAX del modelo de clasificación de imágenes ViT. | Colab Tarjeta de modelo |
| tfvision/SpineNet | Visión | Ajusta y realiza la implementación de Tensorflow Vision del modelo de detección de objetos de SpineNet. | Colab Tarjeta de modelo |
| Patentado/Spinenet | Visión | Ajusta e implementa el punto de control propiedad de Google del modelo de detección de objetos SpineNet. | Colab Tarjeta de modelo |
| tfvision/YOLO | Visión | Ajusta y realiza la implementación de TensorFlow Vision del modelo de detección de objetos de una etapa de YOLO. | Colab Tarjeta de modelo |
| Patentado/YOLO | Visión | Ajusta e implementa el punto de control propiedad de Google del modelo de detección de objetos de una etapa de YOLO. | Colab Tarjeta de modelo |
| YOLOv8 (Keras) | Visión | Ajusta y realiza la implementación de Keras del modelo YOLOv8 para la detección de objetos. | Colab Tarjeta de modelo |
| tfvision/YOLOv7 | Visión | Ajusta e implementa el modelo YOLOv7 para la detección de objetos. | Colab Tarjeta de modelo |
| Seguimiento de objetos de video de ByteTrack | Visión | Ejecuta la predicción por lotes para el seguimiento de objetos de video con el dispositivo de rastreo de ByteTrack. | Colab Tarjeta de modelo |
| ResNeSt (TIMM) | Visión | Ajusta y realiza la implementación de PyTorch del modelo de clasificación de imágenes ResNeSt. | Colab Tarjeta de modelo |
| ConvNeXt (TIMM) | Visión | Ajusta e implementa ConvNeXt, un modelo convolucional puro para la clasificación de imágenes inspirado en el diseño de transformadores de Vision. | Colab Tarjeta de modelo |
| CspNet (TIMM) | Visión | Ajusta e implementa el modelo de clasificación de imágenes CSPNet (Cross Stage Partial Network). | Colab Tarjeta de modelo |
| Inception (TIMM) | Visión | Ajusta e implementa el modelo de clasificación de imágenes de Inception. | Colab Tarjeta de modelo |
| DeepLabv3+ (con punto de control) | Visión | Ajusta e implementa el modelo DeepLab-v3 Plus para la segmentación semántica de imágenes. | Colab Tarjeta de modelo |
| Faster R-CNN (Detectron2) | Visión | Ajusta y realiza la implementación de Detectron2 del modelo R-CNN más rápido para la detección de objetos de imagen. | Colab Tarjeta de modelo |
| RetinaNet (Detectron2) | Visión | Ajusta y realiza la implementación de Detectron2 del modelo RetinaNet para la detección de objetos de imagen. | Colab Tarjeta de modelo |
| Mask R-CNN (Detectron2) | Visión | Ajusta y realiza la implementación de Detectron2 del modelo Mask R-CNN para la detección y segmentación de objetos de imagen. | Colab Tarjeta de modelo |
| ControlNet | Visión | Ajusta e implementa el modelo de generación de texto a imagen de ControlNet. | Colab Tarjeta de modelo |
| MobileNet (TIMM) | Visión | Ajusta y realiza la implementación de PyTorch del modelo de clasificación de imágenes de MobileNet. | Colab Tarjeta de modelo |
| Clasificación de imágenes de MobileNetV2 (MediaPipe) | Visión | Ajusta el modelo de clasificación de imágenes de MobileNetV2 mediante el creador de modelos MediaPipe. | Colab Tarjeta de modelo |
| Detección de objetos de MobileNetV2 (MediaPipe) | Visión | Ajusta el modelo de detección de objetos MobileNetV2 mediante el creador de modelos MediaPipe. | Colab Tarjeta de modelo |
| MobileNet-MultiHW-AVG (MediaPipe) | Visión | Ajusta el modelo de detección de objetos MobileNet-MultiHW-AVG con el creador de modelos MediaPipe. | Colab Tarjeta de modelo |
| DeiT | Visión | Ajusta e implementa el modelo DeiT (transformadores de imagen eficientes en el uso de datos) para la clasificación de imágenes. | Colab Tarjeta de modelo |
| BEiT | Visión | Ajusta e implementa el modelo BEiT (Representación de codificador bidireccional de transformadores de imágenes) para la clasificación de imágenes. | Colab Tarjeta de modelo |
| Reconocimiento de gestos manuales (MediaPipe) | Visión | Ajusta e implementa en el dispositivo los modelos de reconocimiento de gestos manuales mediante MediaPipe. | Colab Tarjeta de modelo |
| Average Word Embedding Classifier (MediaPipe) | Visión | Ajusta e implementa los modelos de Average Word Embedding Classifier en el dispositivo mediante MediaPipe. | Colab Tarjeta de modelo |
| MobileBERT Classifier (MediaPipe) | Visión | Ajusta e implementa los modelos de MobileBERT Classifier en el dispositivo mediante MediaPipe. | Colab Tarjeta de modelo |
| Clasificación de clips de video de MoViNet | Video | Ajusta e implementa los modelos de clasificación de clips de video de MoViNet. | Colab Tarjeta de modelo |
| Reconocimiento de acciones de video de MoViNet | Video | Ajusta e implementa modelos de MoViNet para la inferencia de reconocimiento de acciones. | Colab Tarjeta de modelo |
| LCM de Stable Diffusion XL | Vision | Implementa este modelo que usa el modelo de consistencia latente (LCM) para mejorar la generación de texto a imagen en los modelos de difusión latentes, ya que permite crear imágenes más rápido y de alta calidad con menos pasos. | Colab Tarjeta de modelo |
| LLaVA 1.5 | Visión, lenguaje | Implementa modelos de LLaVA 1.5. | Colab Tarjeta de modelo |
| Pytorch-ZipNeRF | Visión, video | Entrena el modelo Pytorch-ZipNeRF, que es una implementación de vanguardia del algoritmo ZipNeRF en el framework de Pytorch, diseñado para una reconstrucción 3D eficiente y precisa a partir de imágenes 2D. | Colab Tarjeta de modelo |
| WizardLM | lenguaje | Implementa WizardLM, que es un modelo de lenguaje grande (LLM) desarrollado por Microsoft, que se ajusta con instrucciones complejas a través de la adaptación del método Evol-Instruct. | Colab Tarjeta de modelo |
| WizardCoder | lenguaje | Implementa WizardCoder, que es un modelo de lenguaje grande (LLM) desarrollado por Microsoft, que se ajusta con instrucciones complejas a través de la adaptación del método Evol-Instruct al dominio del código. | Colab Tarjeta de modelo |
| Mixtral 8x7B | lenguaje | Implementa el modelo Mixtral 8x7B, que es un modelo de lenguaje grande (LLM) de mezcla de expertos (MoE) que desarrolla Mistral AI. Es un modelo solo de decodificador con 46.7 mil millones de parámetros y se informó que coincide con LLaMA 2 70B y GPT 3.5 en muchas comparativas o que tiene un rendimiento superior. | Colab Tarjeta de modelo |
| Llama 2 (cuantizado) | lenguaje | Ajusta y, luego, implementa una versión cuantizada de los modelos Llama 2 de Meta. | Colab Tarjeta de modelo |
| LaMa (retoque de máscara grande) | Vision | Implementa LaMa que usa convoluciones rápidas de Fourier rápidas (FFC), una pérdida perceptiva alta de campo receptivo y máscaras de entrenamiento grandes que permiten retoques de imágenes con resolución sólida. | Colab Tarjeta de modelo |
| AutoGluon | Tabulares | Con AutoGluon, puedes entrenar y, luego, implementar modelos de aprendizaje automático y de aprendizaje profundo de alta precisión para datos tabulares. | Colab Tarjeta de modelo |
Lista de modelos de socios disponibles en Model Garden
En la siguiente tabla, se enumeran los modelos que están disponibles de los socios de Google en Model Garden:
| Nombre del modelo | Modalidad | Descripción | Guía de inicio rápido |
|---|---|---|---|
| Anthropic Claude 3 Sonnet | lenguaje | Un modelo de texto y visión equilibrado que combina inteligencia y velocidad para las cargas de trabajo empresariales. Está diseñado para implementaciones de IA a escala y de bajo costo. | Tarjeta de modelo |
| Anthropic Claude 3 Haiku | lenguaje | Las respuestas rápidas del modelo de texto y visión de Anthropic a consultas simples Está diseñado para que las experiencias de IA imitan las interacciones humanas. | Tarjeta de modelo |
Cómo usar las tarjetas de modelo
Haz clic en una tarjeta del modelo para usar el modelo asociado. Por ejemplo, puedes hacer clic en una tarjeta del modelo para probar mensajes, ajustar un modelo, crear aplicaciones y ver muestras de código.
Para aprender a usar modelos asociados con tarjetas de modelo, haz clic en una de las siguientes pestañas:
Prueba mensajes
Usa la tarjeta del modelo de la API de PaLM de Vertex AI para probar los mensajes.
En la consola de Google Cloud, ve a la página Model Garden.
Busca un modelo compatible que desees probar y haz clic en Ver detalles.
Haz clic en Abrir diseño de mensaje.
Se te redireccionará a la página Diseño del mensaje.
En Mensaje, ingresa el mensaje que deseas probar.
Opcional: Configura los parámetros del modelo.
Haz clic en Enviar.
Ajusta un modelo
Para ajustar los modelos compatibles, usa una canalización de Vertex AI o un notebook.
Ajusta mediante una canalización
Los modelos BERT y T5-FLAN admiten el ajuste de modelos mediante una canalización.
En la consola de Google Cloud, ve a la página Model Garden.
En Buscar modelos, ingresa BERT o F5-FLAN y, luego, haz clic en la lupa para buscar.
Haz clic en Ver detalles en la tarjeta de modelo F5-FLAN o BERT.
Haz clic en Abrir canalización de ajuste.
Se te redireccionará a la página de canalizaciones de Vertex AI.
Para comenzar el ajuste, haz clic en Crear ejecución.
Ajusta un notebook
Las tarjetas de modelo para la mayoría de los modelos de código abierto y los modelos ajustables admiten el ajuste en un notebook.
En la consola de Google Cloud, ve a la página Model Garden.
Busca un modelo compatible que desees ajustar y haz clic en Ver detalles.
Haz clic en Abrir notebook.
Implementar un modelo
La tarjeta de modelo para el modelo de dispersión estable admite la implementación en un extremo.
En la consola de Google Cloud, ve a la página Model Garden.
Busca un modelo compatible que desees implementar. En la tarjeta del modelo, haz clic en Ver detalles.
Haz clic en Implementar.
Se te pedirá que guardes una copia del modelo en Model Registry.
En Nombre del modelo, ingresa un nombre para el modelo.
Haz clic en Guardar.
Aparecerá el panel Implementar en el extremo.
Define tu extremo de la siguiente manera:
- Nombre del extremo: ingresa un nombre para el extremo.
- Región: Selecciona una región en la que deseas crear el extremo.
- Acceso: Para que se pueda acceder al extremo a través de una API de REST, selecciona Estándar. Para crear una conexión privada al extremo, selecciona Privado.
Haz clic en Continuar.
Sigue las instrucciones en la consola de Google Cloud y establece la configuración del modelo.
Haz clic en Continuar.
Haz clic en el botón de activación Habilitar la superVision de modelos para este extremo a fin de habilitar la superVision de modelos (opcional).
Haz clic en Implementar.
Visualiza ejemplos de código
La mayoría de las tarjetas de modelo para los modelos de soluciones específicos para tareas contienen muestras de código que puedes copiar y probar.
En la consola de Google Cloud, ve a la página Model Garden.
Busca un modelo compatible para el que desees ver las muestras de código y haz clic en la pestaña Documentación.
La página se desplaza hasta la sección de documentación con un código de muestra incorporado.
Crea una app de vision
Las tarjetas de modelo para los modelos de Vision artificial aplicables admiten la creación de una aplicación de vision.
En la consola de Google Cloud, ve a la página Model Garden.
Busca un modelo de vision en la sección de soluciones específicas para tareas que desees usar para crear una aplicación de vision y haz clic en Ver detalles.
Haz clic en Crear app.
Se te redireccionará a Vertex AI Vision.
En Nombre de la aplicación, ingresa un nombre para tu aplicación y haz clic en Continuar.
Selecciona un plan de facturación y haz clic en Crear.
Se te redireccionará a Vertex AI Vision Studio, en la que puedes seguir creando tu aplicación de Vision artificial.
Precios
En el caso de los modelos de código abierto en Model Garden, se te cobra por el uso de lo siguiente en Vertex AI:
- Ajuste de modelos: Se te cobra por los recursos de computación que se usan con la misma tarifa que el entrenamiento personalizado. Consulta los precios de entrenamiento personalizado.
- Implementación del modelo: Se te cobrará por los recursos de procesamiento que se usaron para implementar el modelo en un extremo. Consulta los precios de predicción.
- Colab Enterprise: Consulta los precios de Colab Enterprise.
¿Qué sigue?
- Obtén información sobre las prácticas recomendadas de IA responsable y los filtros de seguridad de Vertex AI.
- Obtén información sobre Generation AI en Vertex AI.
- Obtén información sobre cómo ajustar los modelos de base.