Vertex AI admite una lista seleccionada de modelos abiertos como modelos gestionados. Estos modelos abiertos se pueden usar con Vertex AI como modelo como servicio (MaaS) y se ofrecen como una API gestionada. Cuando usas un modelo abierto gestionado, sigues enviando tus solicitudes a los endpoints de Vertex AI. Los modelos abiertos gestionados no tienen servidor, por lo que no es necesario aprovisionar ni gestionar la infraestructura.
Los modelos abiertos gestionados se pueden descubrir mediante Model Garden. También puedes desplegar modelos con Model Garden. Para obtener más información, consulta Descubrir modelos de IA en Model Garden.
Modelos abiertos
Los siguientes modelos abiertos se ofrecen como APIs gestionadas en Vertex AI Model Garden (MaaS):
| Nombre del modelo | Modalidad | Descripción | Guía de inicio rápido |
|---|---|---|---|
| gpt-oss 120B | Idioma | Un modelo de 120.000 millones de parámetros que ofrece un alto rendimiento en tareas de razonamiento. | Tarjeta de modelo |
| gpt-oss 20B | Idioma | Un modelo de 20.000 millones de parámetros optimizado para ofrecer eficiencia y desplegarse en hardware de consumo y periférico. | Tarjeta de modelo |
| Qwen3-Next-80B Thinking | Idioma, código | Un modelo de la familia Qwen3-Next especializado en la resolución de problemas complejos y el razonamiento profundo. | Tarjeta de modelo |
| Qwen3-Next-80B Instruct | Idioma, código | Un modelo de la familia Qwen3-Next, especializado en seguir comandos específicos. | Tarjeta de modelo |
| Qwen3 Coder | Idioma, código | Un modelo de peso abierto desarrollado para tareas avanzadas de desarrollo de software. | Tarjeta de modelo |
| Qwen3 235B | Idioma | Un modelo de peso abierto con una capacidad de "pensamiento híbrido" para alternar entre el razonamiento metódico y la conversación rápida. | Tarjeta de modelo |
| DeepSeek-V3.1 | Idioma | El modelo híbrido de DeepSeek, que admite tanto el modo de reflexión como el modo sin reflexión. | Tarjeta de modelo |
| DeepSeek R1 (0528) | Idioma | La versión más reciente del modelo DeepSeek R1 de DeepSeek. | Tarjeta de modelo |
| Llama 4 Maverick 17B-128E | Idioma, visión | El modelo de Llama 4 más grande y potente, que ofrece funciones de programación, razonamiento e imagen. Llama 4 Maverick 17B-128E es un modelo multimodal que usa la arquitectura de Mixture-of-Experts (MoE) y la fusión temprana. | Tarjeta de modelo |
| Llama 4 Scout 17B-16E | Idioma, visión | Llama 4 Scout 17B-16E ofrece resultados de vanguardia para su clase de tamaño, superando a las generaciones anteriores de Llama y a otros modelos abiertos y propietarios en varias comparativas. Llama 4 Scout 17B-16E es un modelo multimodal que usa la arquitectura de Mixture-of-Experts (MoE) y la fusión temprana. | Tarjeta de modelo |
| Llama 3.3 | Idioma | Llama 3.3 es un modelo de 70.000 millones de parámetros de solo texto ajustado mediante instrucciones que ofrece un rendimiento mejorado en comparación con Llama 3.1 70B y Llama 3.2 90B cuando se usa en aplicaciones de solo texto. Además, en algunas aplicaciones, Llama 3.3 70B se acerca al rendimiento de Llama 3.1 405B. | Tarjeta de modelo |
| Llama 3.2 (vista previa) | Idioma, visión | Un modelo multimodal de tamaño medio con 90.000 millones de parámetros que puede interpretar imágenes, como analizar gráficos y generar descripciones de imágenes. | Tarjeta de modelo |
| Llama 3.1 | Idioma |
Una colección de LLMs multilingües optimizados para casos prácticos de diálogo multilingüe, que superan a muchos de los modelos de chat de código abierto y cerrados disponibles en las métricas comunes del sector. Llama 3.1 405B está disponible para el público general. Llama 3.1 8B y Llama 3.1 70B están en versión preliminar. |
Tarjeta de modelo |
Los siguientes modelos de embeddings abiertos se ofrecen como APIs gestionadas en Vertex AI Model Garden (MaaS):
| Nombre del modelo | Descripción | Dimensiones de salida | Longitud máxima de la secuencia | Idiomas de texto admitidos | Guía de inicio rápido |
|---|---|---|---|---|---|
| multilingual-e5-small | Forma parte de la familia de modelos de inserción de texto E5. La variante pequeña contiene 12 capas. | Hasta 384 | 512 tokens | Idiomas admitidos | Tarjeta de modelo |
| multilingual-e5-large | Forma parte de la familia de modelos de inserción de texto E5. La variante grande contiene 24 capas. | Hasta 1024 | 512 tokens | Idiomas admitidos | Tarjeta de modelo |
Puntos finales regionales y globales
En el caso de los endpoints regionales, las solicitudes se atienden desde la región especificada. En los casos en los que tengas requisitos de residencia de datos o si un modelo no admite el endpoint global, usa los endpoints regionales.
Cuando usas el endpoint global, Google puede procesar y responder a tus solicitudes desde cualquier región admitida por el modelo que estés usando. Esto puede provocar una latencia mayor en algunos casos. El endpoint global ayuda a mejorar la disponibilidad general y a reducir los errores.
No hay ninguna diferencia de precio con los endpoints regionales cuando se usa el endpoint global. Sin embargo, las cuotas de los endpoints globales y las funciones de los modelos admitidos pueden ser diferentes de las de los endpoints regionales. Para obtener más información, consulta la página del modelo de terceros correspondiente.
Especificar el endpoint global
Para usar el endpoint global, define la región como global.
Por ejemplo, la URL de solicitud de un comando curl tiene el siguiente formato:
https://aiplatform.googleapis.com/v1/projects/PROJECT_ID/locations/global/publishers/PUBLISHER_NAME/models/MODEL_NAME
En el SDK de Vertex AI, el endpoint regional es el predeterminado. Asigna el valor GLOBAL a la región para usar el endpoint global.
Restringir el uso de endpoints de API globales
Para ayudar a aplicar el uso de endpoints regionales, usa la restricción de la política de organización constraints/gcp.restrictEndpointUsage para bloquear las solicitudes al endpoint de la API global. Para obtener más información, consulta Restringir el uso de los endpoints.
Conceder acceso a los usuarios a modelos abiertos
Para que puedas habilitar modelos abiertos y hacer una petición, un administrador debe definir los permisos necesarios y verificar que la política de la organización permite el uso de las APIs necesarias. Google Cloud
Definir los permisos necesarios para usar modelos abiertos
Para usar modelos abiertos, se necesitan los siguientes roles y permisos:
Debes tener el rol de gestión de identidades y accesos (IAM) Gestor de autorizaciones de aprovisionamiento de clientes. Cualquier usuario al que se le haya concedido este rol puede habilitar modelos abiertos en Model Garden.
Debes tener el permiso
aiplatform.endpoints.predict. Este permiso se incluye en el rol de gestión de identidades y accesos de usuario de Vertex AI. Para obtener más información, consulta Usuario de Vertex AI y Control de acceso.
Consola
Para conceder a un usuario los roles de IAM de Gestor de autorizaciones de aprovisionamiento de clientes, ve a la página IAM.
En la columna Principal, busque el principal del usuario al que quiera dar acceso para abrir modelos y, a continuación, haga clic en Editar principal en esa fila.
En el panel Editar acceso, haz clic en Añadir otro rol.
En Selecciona un rol, elige Gestor de derechos de aprovisionamiento de consumidor.
En el panel Editar acceso, haz clic en Añadir otro rol.
En Selecciona un rol, selecciona Usuario de Vertex AI.
Haz clic en Guardar.
gcloud
-
In the Google Cloud console, activate Cloud Shell.
Concede el rol Gestor de autorizaciones de aprovisionamiento de clientes que se necesita para habilitar modelos abiertos en Model Garden.
gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL --role=roles/consumerprocurement.entitlementManagerConcede el rol de usuario de Vertex AI, que incluye el permiso
aiplatform.endpoints.predictnecesario para hacer solicitudes de peticiones:gcloud projects add-iam-policy-binding PROJECT_ID \ --member=PRINCIPAL --role=roles/aiplatform.userSustituye
PRINCIPALpor el identificador de la entidad principal. El identificador tiene el formatouser|group|serviceAccount:emailodomain:domain. Por ejemplo,user:cloudysanfrancisco@gmail.com,group:admins@example.com,serviceAccount:test123@example.domain.comodomain:example.domain.com.El resultado es una lista de enlaces de políticas que incluye lo siguiente:
- members: - user:PRINCIPAL role: roles/roles/consumerprocurement.entitlementManagerPara obtener más información, consulta los artículos Asignar un rol concreto y
gcloud projects add-iam-policy-binding.
Definir la política de organización para el acceso al modelo abierto
Para habilitar los modelos abiertos, tu política de organización debe permitir la siguiente API: API Consumer Procurement de Cloud Commerce - cloudcommerceconsumerprocurement.googleapis.com.
Si tu organización establece una política de organización para restringir el uso del servicio, un administrador de la organización debe verificar que cloudcommerceconsumerprocurement.googleapis.com está permitido configurando la política de organización.
Además, si tienes una política de la organización que restringe el uso de modelos en Model Garden, la política debe permitir el acceso a modelos abiertos. Para obtener más información, consulta Controlar el acceso al modelo.
Cumplimiento normativo de modelos abiertos
Las certificaciones de IA generativa en Vertex AI siguen siendo válidas cuando se usan modelos abiertos como API gestionada con Vertex AI. Si necesita más información sobre los modelos, puede consultar la tarjeta de modelo correspondiente o ponerse en contacto con el editor del modelo.
Tus datos se almacenan en reposo en la región o multirregión seleccionada para los modelos abiertos en Vertex AI, pero la regionalización del tratamiento de datos puede variar. Para ver una lista detallada de los compromisos de tratamiento de datos de los modelos abiertos, consulta el artículo Residencia de los datos de los modelos abiertos.
Las peticiones de los clientes y las respuestas de los modelos no se comparten con terceros cuando se usa la API de Vertex AI, incluidos los modelos abiertos. Google solo trata los datos de los clientes de acuerdo con las instrucciones que le indiquen, tal como se describe con más detalle en nuestra Adenda sobre Tratamiento de Datos de Cloud.