Model Garden ofrece modelos abiertos, de partners y personalizados que puedes desplegar y usar en Vertex AI. Estos modelos son diferentes de las ofertas de modelo como servicio (MaaS), que no requieren servidores y no necesitan ningún despliegue manual.
Cuando implementas modelos por tu cuenta, lo haces de forma segura en tu Google Cloud proyecto y red VPC.
Desplegar modelos abiertos por tu cuenta
Los modelos abiertos ofrecen funciones preentrenadas para diversas tareas de IA, incluidos los modelos de Gemini, que destacan en el procesamiento multimodal. Un modelo abierto está disponible de forma gratuita, puedes publicar sus resultados y se puede usar en cualquier lugar siempre que cumplas sus términos de licencia. Vertex AI ofrece modelos abiertos (también conocidos como de peso abierto) y de código abierto.
Cuando usas un modelo abierto con Vertex AI, usas Vertex AI para tu infraestructura. También puedes usar modelos abiertos con otros productos de infraestructura, como PyTorch o Jax.
Modelos de peso abierto
Muchos modelos abiertos se consideran modelos de lenguaje extensos (LLMs) de peso abierto. Los modelos abiertos ofrecen más transparencia que los modelos que no tienen pesos abiertos. Los pesos de un modelo son los valores numéricos almacenados en la arquitectura de la red neuronal del modelo que representan los patrones y las relaciones aprendidos a partir de los datos con los que se entrena el modelo. Se publican los parámetros o pesos preentrenados de los modelos de peso abierto. Puedes usar un modelo de ponderaciones abiertas para la inferencia y el ajuste, pero no se proporcionan detalles como el conjunto de datos original, la arquitectura del modelo y el código de entrenamiento.
Modelos de software libre
Los modelos abiertos son diferentes de los modelos de IA de software libre. Aunque los modelos abiertos suelen exponer los pesos y la representación numérica principal de los patrones aprendidos, no necesariamente proporcionan el código fuente completo ni los detalles del entrenamiento. Proporcionar pesos ofrece un nivel de transparencia del modelo de IA, lo que te permite comprender las funciones del modelo sin tener que crearlo tú mismo.
Modelos de partners con despliegue automático
Model Garden te ayuda a comprar y gestionar licencias de modelos de partners que ofrecen modelos propios como opción de autodespliegue. Después de comprar acceso a un modelo de Cloud Marketplace, puedes elegir entre implementarlo en hardware bajo demanda o usar tus reservas de Compute Engine y tus descuentos por uso continuado para cumplir tus requisitos de presupuesto. Se te cobra por el uso de modelos y por la infraestructura de Vertex AI que utilices.
Para solicitar el uso de un modelo de partner autodesplegado, busca el modelo correspondiente en la consola Model Garden, haz clic en Contactar con ventas y, a continuación, rellena el formulario para ponerte en contacto con un Google Cloud representante de ventas.
Para obtener más información sobre cómo implementar y usar modelos de partners, consulta Implementar un modelo de partner y enviar solicitudes de predicción.
Cuestiones importantes
Tenga en cuenta las siguientes limitaciones al usar modelos de partners autodesplegados:
- A diferencia de los modelos abiertos, no puedes exportar las ponderaciones.
- Si has configurado Controles de Servicio de VPC en tu proyecto, no podrás subir modelos, lo que te impedirá desplegar modelos de partners.
- En los endpoints, solo se admite el tipo endpoint público compartido.
Más información sobre los modelos implementados automáticamente en Vertex AI
- Para obtener más información sobre los pesos personalizados, consulte Implementar modelos con pesos personalizados.
- Para obtener más información sobre Model Garden, consulta el resumen de Model Garden.
- Para obtener más información sobre cómo desplegar modelos, consulta Usar modelos en Model Garden.
- Usar modelos abiertos de Gemma
- Usar modelos abiertos de Llama
- Usar modelos abiertos de Hugging Face