Registro de predicciones en línea

Para modelos tabulares de AutoML, modelos de imagen de AutoML y modelos de entrenamiento personalizado, puedes habilitar o inhabilitar los registros de predicción durante la implementación del modelo. En esta página, se explican los diferentes tipos de registros de predicción disponibles y cómo habilitar o inhabilitar estos registros.

Tipos de registros de predicción

Existen dos tipos de registros de predicción que puedes usar para obtener información de los nodos de predicción:

  • Registro de contenedores, que registra las transmisiones stdout y stderr de los nodos de predicción en Cloud Logging. Estos registros son esenciales y necesarios para la depuración.

  • Registro de acceso, que registra información como la marca de tiempo y la latencia de las solicitudes a Cloud Logging.

Configuración del registro de predicciones

Puedes habilitar o inhabilitar los registros de predicción en línea cuando implementas un modelo en un extremo. Para actualizar esta configuración, debes anular su implementación y, luego, volver a implementar el modelo con tu configuración nueva.

La predicción en línea a una tasa alta de consultas por segundo (QPS) puede producir una cantidad considerable de registros, que están sujetos a los precios de Cloud Logging. Si deseas estimar los precios de tus registros de predicción en línea, consulta Estima tu facturación para el registro. Para reducir este costo, puedes inhabilitar el registro de predicción.

Configuración predeterminada de registro

Puedes habilitar o inhabilitar cada tipo de registro de forma independiente.

  • Registro de contenedores, que registra las transmisiones stderr y stdout de los nodos de predicción en Cloud Logging.

    • En el extremo del servicio v1, el registro de contenedores está habilitado de forma predeterminada. Puedes inhabilitarlo cuando implementas un modelo en un extremo.

    • En el extremo del servicio v1beta1, el registro de contenedores no está habilitado de forma predeterminada. Puedes habilitar el registro de contenedores cuando implementes un modelo en un extremo.

  • Registro de acceso, que registra información como la marca de tiempo y la latencia de las solicitudes a Cloud Logging.

    En los extremos del servicio v1 y v1beta1, el registro de acceso está inhabilitado de forma predeterminada. Puedes habilitar el registro de acceso cuando implementas un modelo en un extremo.

Inhabilita y habilita registros de predicción

En los siguientes ejemplos, se destaca dónde modificar esta configuración predeterminada cuando implementas un modelo:

Console

Cuando implementas un modelo en un extremo o creas un extremo nuevo en Cloud Console, puedes especificar qué tipos de registros de predicción habilitar en el paso de Logging. Selecciona las casillas de verificación para habilitar el Registro de acceso o Registro de contenedores, o desmarca las casillas de verificación a fin de inhabilitar estos registros.

Para obtener más información sobre cómo implementar modelos, lee Implementa un modelo con Cloud Console.

gcloud

A fin de cambiar el comportamiento predeterminado para el que se habilitan los registros en los modelos implementados, agrega marcas al comando gcloud:

Extremo de servicio v1

Ejecuta gcloud ai endpoints deploy-model:

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

Extremo de servicio v1beta1

Ejecuta gcloud beta ai endpoints deploy-model:

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

Para obtener más información sobre cómo implementar modelos, consulta Implementa un modelo con la API de Vertex AI.

LÍNEA DE REST Y CMD

Para cambiar el comportamiento predeterminado de los registros que se habilitan en los modelos implementados, configura los campos relevantes como True:

Extremo de servicio v1

Para inhabilitar el registro de contenedores, establece el campo disableContainerLogging en True cuando implementes tu modelo con projects.locations.endpoints.deployModel.

Para habilitar el registro de acceso, configura enableAccessLogging en True cuando implementes tu modelo con projects.locations.endpoints.deployModel.

Extremo de servicio v1beta1

Para habilitar el registro de contenedores, establece el campo enableContainerLogging en True cuando implementes tu modelo con projects.locations.endpoints.deployModel.

Para habilitar el registro de acceso, configura enableAccessLogging en True cuando implementes tu modelo con projects.locations.endpoints.deployModel.

Para obtener más información sobre cómo implementar modelos, consulta Implementa un modelo con la API de Vertex AI.

¿Qué sigue?