Implementa modelos con pesos personalizados

Vista previa

La opción para implementar modelos con pesos personalizados es una oferta de versión preliminar, sujeta a las “Condiciones de las ofertas de la fase previa a la DG” de las Condiciones específicas del Servicio deGoogle Cloud . Los productos y las características anteriores a la disponibilidad general pueden tener asistencia limitada, y es posible que los cambios en estos productos y características no sean compatibles con otras versiones de la fase previa a la DG. Para obtener más información, consulta las descripciones de la etapa de lanzamiento. Además, si usas la API de Gemini en Vertex AI, aceptas los Términos y Condiciones de la versión preliminar de Generative AI (Términos de versión preliminar).

La implementación de modelos con pesos personalizados es una oferta de versión preliminar. Puedes ajustar modelos en función de un conjunto predefinido de modelos básicos y, luego, implementar tus modelos personalizados en Model Garden de Vertex AI. Puedes implementar tus modelos personalizados con la importación de pesos personalizados. Para ello, sube los artefactos del modelo a un bucket de Cloud Storage en tu proyecto, lo que se realiza con un solo clic en Vertex AI.

Modelos compatibles

La versión preliminar pública de Deploy models with custom weights es compatible con los siguientes modelos básicos:

Nombre del modelo	Versión
Llama	Llama-2: 7B y 13B Llama-3.1: 8B y 70B Llama-3.2: 1B y 3B Llama 4: Scout-17B, Maverick-17B CodeLlama-13B
Gemma	Gemma-2: 27B Gemma-3: 1B, 4B, 3-12B, 27B Medgemma: 4B, 27B-text
Qwen	Qwen2: 1,500 millones Qwen2.5: 0.5B, 1.5B, 7B y 32B Qwen3: 0.6B, 1.7B, 8B, 32B, Qwen3-Coder-480B-A35B-Instruct
Deepseek	Deepseek-R1 Deepseek-V3
Mistral y Mixtral	Mistral-7B-v0.1 Mixtral-8x7B-v0.1 Mistral-Nemo-Base-2407
Phi-4	Phi-4-reasoning
OSS de OpenAI	gpt-oss: 20B, 120B

Limitaciones

Los pesos personalizados no admiten la importación de modelos cuantificados.

Archivos de modelos

Debes proporcionar los archivos del modelo en el formato de pesos de Hugging Face. Para obtener más información sobre el formato de pesos de Hugging Face, consulta Usa modelos de Hugging Face.

Si no se proporcionan los archivos requeridos, es posible que falle la implementación del modelo.

En esta tabla, se enumeran los tipos de archivos de modelos, que dependen de la arquitectura del modelo:

Contenido del archivo del modelo	Tipo de archivo
Configuración del modelo	config.json
Pesos del modelo	*.safetensors *.bin
Índice de peso	*.index.json
Archivos del tokenizador	tokenizer.model tokenizer.json tokenizer_config.json

Ubicaciones

Puedes implementar modelos personalizados en todas las regiones desde los servicios de Model Garden.

Requisitos previos

En esta sección, se muestra cómo implementar tu modelo personalizado.

Antes de comenzar

Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

Roles required to select or create a project

• Select a project: Selecting a project doesn't require a specific IAM role—you can select any project that you've been granted a role on.
• Create a project: To create a project, you need the Project Creator (roles/resourcemanager.projectCreator), which contains the resourcemanager.projects.create permission. Learn how to grant roles.

Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

Go to project selector

Verify that billing is enabled for your Google Cloud project.

Enable the Vertex AI API.

Roles required to enable APIs

To enable APIs, you need the Service Usage Admin IAM role (roles/serviceusage.serviceUsageAdmin), which contains the serviceusage.services.enable permission. Learn how to grant roles.

Enable the API

1. In the Google Cloud console, activate Cloud Shell.

   Activate Cloud Shell

   At the bottom of the Google Cloud console, a Cloud Shell session starts and displays a command-line prompt. Cloud Shell is a shell environment with the Google Cloud CLI already installed and with values already set for your current project. It can take a few seconds for the session to initialize.

En este instructivo, se supone que usas Cloud Shell para interactuar con Google Cloud. Si quieres usar un shell diferente en lugar de Cloud Shell, realiza la siguiente configuración adicional:

1. Install the Google Cloud CLI.

2. If you're using an external identity provider (IdP), you must first sign in to the gcloud CLI with your federated identity.

3. To initialize the gcloud CLI, run the following command:

   gcloud init

Implementa el modelo personalizado

En esta sección, se muestra cómo implementar tu modelo personalizado.

Si usas la interfaz de línea de comandos (CLI), Python o JavaScript, reemplaza las siguientes variables por un valor para que funcionen tus muestras de código:

• REGION: Tu región. Por ejemplo, uscentral1.
• MODEL_GCS: Tu modelo Google Cloud . Por ejemplo, gs://custom-weights-fishfooding/meta-llama/Llama-3.2-1B-Instruct.
• PROJECT_ID: Es el ID de tu proyecto.
• MODEL_ID: Es el ID de tu modelo.
• MACHINE_TYPE: Es el tipo de máquina. Por ejemplo, g2-standard-12.
• ACCELERATOR_TYPE: Es el tipo de acelerador. Por ejemplo, NVIDIA_L4.
• ACCELERATOR_COUNT: Es la cantidad de aceleradores.

• PROMPT: Es tu instrucción de texto.

Console

En los siguientes pasos, se muestra cómo usar la consola de Google Cloud para implementar tu modelo con pesos personalizados.

1. En la consola de Google Cloud , ve a la página Model Garden.

   Ir a Model Garden

2. Haz clic en Implementar modelo con pesos personalizados. Aparecerá el panel Implementa un modelo con pesos personalizados en Vertex AI.

3. En la sección Fuente del modelo, haz lo siguiente:

   1. Haz clic en Explorar, elige el bucket en el que se almacena tu modelo y haz clic en Seleccionar.

   2. Opcional: Ingresa el nombre del modelo en el campo Nombre del modelo.

4. En la sección Configuración de la implementación, haz lo siguiente:

   1. En el campo Región, selecciona tu región y haz clic en Aceptar.

   2. En el campo Especificación de la máquina, selecciona la especificación de la máquina que se usará para implementar tu modelo.

   3. Opcional: En el campo Nombre del extremo, aparece el extremo de tu modelo de forma predeterminada. Sin embargo, puedes ingresar un nombre de extremo diferente en el campo.

5. Haz clic en Implementar modelo con pesos personalizados.

gcloud CLI

Este comando muestra cómo implementar el modelo en una región específica.

gcloud ai model-garden models deploy --model=${MODEL_GCS} --region ${REGION}

En este comando, se muestra cómo implementar el modelo en una región específica con su tipo de máquina, tipo de acelerador y cantidad de aceleradores. Si deseas seleccionar una configuración de máquina específica, debes establecer los tres campos.

gcloud ai model-garden models deploy --model=${MODEL_GCS} --machine-type=${MACHINE_TYE} --accelerator-type=${ACCELERATOR_TYPE} --accelerator-count=${ACCELERATOR_COUNT} --region ${REGION}

Python

import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden

vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
  gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy(
  machine_type="${MACHINE_TYPE}",
  accelerator_type="${ACCELERATOR_TYPE}",
  accelerator_count="${ACCELERATOR_COUNT}",
  model_display_name="custom-model",
  endpoint_display_name="custom-model-endpoint")

endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)

Como alternativa, no es necesario que pases un parámetro al método custom_model.deploy().

import vertexai
from google.cloud import aiplatform
from vertexai.preview import model_garden

vertexai.init(project=${PROJECT_ID}, location=${REGION})
custom_model = model_garden.CustomModel(
  gcs_uri=GCS_URI,
)
endpoint = custom_model.deploy()

endpoint.predict(instances=[{"prompt": "${PROMPT}"}], use_dedicated_endpoint=True)

curl

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
  -d '{
    "custom_model": {
    "gcs_uri": "'"${MODEL_GCS}"'"
  },
  "destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
  "model_config": {
     "model_user_id": "'"${MODEL_ID}"'",
  },
}'

Como alternativa, puedes usar la API para establecer el tipo de máquina de forma explícita.

curl -X POST \
  -H "Authorization: Bearer $(gcloud auth print-access-token)" \
  -H "Content-Type: application/json" \
  "https://${REGION}-aiplatform.googleapis.com/v1beta1/projects/${PROJECT_ID}/locations/${REGION}:deploy" \
  -d '{
    "custom_model": {
    "gcs_uri": "'"${MODEL_GCS}"'"
  },
  "destination": "projects/'"${PROJECT_ID}"'/locations/'"${REGION}"'",
  "model_config": {
     "model_user_id": "'"${MODEL_ID}"'",
  },
  "deploy_config": {
    "dedicated_resources": {
      "machine_spec": {
        "machine_type": "'"${MACHINE_TYPE}"'",
        "accelerator_type": "'"${ACCELERATOR_TYPE}"'",
        "accelerator_count": '"${ACCELERATOR_COUNT}"'
      },
      "min_replica_count": 1
    }
  }
}'

Más información sobre los modelos de implementación propia en Vertex AI

• Para obtener más información sobre los modelos de implementación propia, consulta Descripción general de los modelos de implementación propia.
• Para obtener más información sobre Model Garden, consulta la Descripción general de Model Garden.
• Para obtener más información sobre la implementación de modelos, consulta Usa modelos en Model Garden.
• Usa modelos abiertos de Gemma
• Usa modelos abiertos de Llama
• Usa modelos abiertos de Hugging Face