Journalisation des prédictions en ligne

Pour les modèles tabulaires AutoML, les modèles d'image AutoML et les modèles personnalisés, vous pouvez activer ou désactiver les journaux de prédiction lors du déploiement du modèle. Cette page décrit les différents types de journaux de prédiction disponibles, et explique comment les activer ou les désactiver.

Types de journaux de prédiction

Vous pouvez utiliser deux types de journaux de prédiction pour obtenir des informations auprès de vos nœuds de prédiction :

  • La journalisation des conteneurs, qui consigne dans Cloud Logging les flux stdout et stderr provenant des nœuds de prédiction. Ces journaux sont essentiels et nécessaires au débogage.

  • La journalisation des accès, qui consigne dans Cloud Logging des informations telles que l'horodatage et la latence associés à chaque requête.

Paramètres du journal de prédiction

Vous pouvez activer ou désactiver les journaux de prédiction en ligne lorsque vous déployez un modèle sur un point de terminaison. Pour modifier ces paramètres, vous devez annuler le déploiement de votre modèle puis le redéployer avec vos nouveaux paramètres.

La prédiction en ligne à un taux élevé de requêtes par seconde peut produire un nombre important de journaux, qui sont soumis aux règles de tarification de Cloud Logging. Pour estimer le prix des journaux de prédiction en ligne, consultez la page Estimer vos factures. Pour réduire les coûts, vous pouvez désactiver la journalisation des prédictions.

Paramètres de journal par défaut

Vous pouvez activer ou désactiver chaque type de journal indépendamment.

  • La journalisation des conteneurs, qui consigne dans Cloud Logging les flux stderr et stdout provenant des nœuds de prédiction.

    • La journalisation des conteneurs est activée par défaut sur le point de terminaison de service v1. Vous pouvez la désactiver lorsque vous déployez un modèle sur un point de terminaison.

    • La journalisation des conteneurs n'est pas activée par défaut sur le point de terminaison de service v1beta1. Vous pouvez activer la journalisation des conteneurs lorsque vous déployez un modèle sur un point de terminaison.

  • La journalisation des accès, qui consigne dans Cloud Logging des informations telles que l'horodatage et la latence associés à chaque requête.

    La journalisation des accès est désactivée par défaut sur les points de terminaison de service v1 et v1beta1. Vous pouvez activer la journalisation des accès lorsque vous déployez un modèle sur un point de terminaison.

Activer et désactiver les journaux de prédiction

Les exemples suivants indiquent où vous devez modifier ces paramètres par défaut lorsque vous déployez un modèle :

Console

Lorsque vous déployez un modèle sur un point de terminaison ou que vous créez un nouveau point de terminaison dans Cloud Console, vous pouvez spécifier les types de journaux de prédiction à activer à l'étape Journalisation. Cochez les cases pour activer la journalisation des accès ou la journalisation des conteneurs, ou décochez les cases pour désactiver ces journaux.

Pour en savoir plus sur le déploiement de modèles, consultez la page Déployer un modèle à l'aide de Cloud Console.

gcloud

Pour modifier le comportement par défaut pour lequel les journaux sont activés dans les modèles déployés, ajoutez des options à votre commande gcloud :

Point de terminaison de service v1

Exécutez gcloud ai endpoints deploy-model :

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

Point de terminaison de service v1beta1

Exécuter gcloud beta ai endpoints deploy-model

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

Pour en savoir plus sur le déploiement de modèles, consultez la section Déployer un modèle à l'aide de l'API Vertex AI.

API REST et ligne de commande

Pour modifier le comportement par défaut pour lequel les journaux sont activés dans les modèles déployés, définissez les champs concernés sur True :

Point de terminaison de service v1

Pour désactiver la journalisation des conteneurs, définissez le champ disableContainerLogging sur True lors du déploiement du modèle avec projects.locations.endpoints.deployModel.

Pour activer la journalisation des accès, définissez l'option enableAccessLogging sur True lors du déploiement du modèle avec projects.locations.endpoints.deployModel.

Point de terminaison de service v1beta1

Pour activer la journalisation des conteneurs, définissez le champ enableContainerLogging sur True lors du déploiement du modèle avec projects.locations.endpoints.deployModel.

Pour activer la journalisation des accès, définissez l'option enableAccessLogging sur True lors du déploiement du modèle avec projects.locations.endpoints.deployModel.

Pour en savoir plus sur le déploiement de modèles, consultez la section Déployer un modèle à l'aide de l'API Vertex AI.

Étape suivante