在线预测日志记录

对于 AutoML 表格模型、AutoML 图片模型和自定义训练模型,您可以在模型部署期间启用或停用预测日志。本页面介绍了不同类型的可用预测日志,以及如何启用或停用这些日志。

预测日志的类型

您可以使用两种类型的预测日志从预测节点获取信息:

  • 容器日志记录,用于将来自预测节点的 stdoutstderr 信息流记录到 Cloud Logging 中。这些日志对于调试来说至关重要且必需。

  • 访问日志记录,用于将每个请求的时间戳和延迟时间等信息记录到 Cloud Logging 中。

预测日志设置

您可以在将模型部署到端点时启用或停用在线预测日志。如需更新这些设置,您必须取消部署模型,然后使用新设置重新部署模型。

以较高的每秒查询次数 (QPS) 进行的在线预测可能会生成大量日志,而这些日志要按照 Cloud Logging 价格计费。如需估算在线预测日志的价格,请参阅估算日志记录的帐单。如需降低此费用,您可以停用预测日志记录。

默认日志设置

您可以单独启用或停用各种类型的日志。

  • 容器日志记录,用于将来自预测节点的 stderrstdout 信息流记录到 Cloud Logging 中。

    • v1 服务端点上,容器日志记录默认处于启用状态。您可以在将模型部署到端点时将其停用。

    • v1beta1 服务端点上,容器日志记录默认不处于启用状态。您可以在将模型部署到端点时启用容器日志记录。

  • 访问日志记录,用于将每个请求的时间戳和延迟时间等信息记录到 Cloud Logging 中。

    v1v1beta1 服务端点上,访问日志记录默认处于停用状态。您可以在将模型部署到端点时启用访问日志记录。

启用和停用预测日志

以下示例重点说明了您在部署模型时修改这些默认设置的位置:

控制台

在 Cloud Console 中将模型部署到端点或创建新端点时,您可以在日志记录步骤中指定要启用的预测日志的类型。选中相应复选框可启用访问日志记录 (Access logging) 或容器日志记录 (Container logging),清除相应复选框可停用这些日志。

如需了解有关如何部署模型的更多上下文信息,请参阅使用 Cloud Console 部署模型

gcloud

如需更改在已部署模型中针对其启用日志的默认行为,请在 gcloud 命令中添加标志:

v1 服务端点

运行 gcloud ai endpoints deploy-model

gcloud ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --disable-container-logging \
  --enable-access-logging

v1beta1 服务端点

运行 gcloud beta ai endpoints deploy-model

gcloud beta ai endpoints deploy-model ENDPOINT_ID\
  --region=LOCATION \
  --model=MODEL_ID \
  --display-name=DEPLOYED_MODEL_NAME \
  --machine-type=MACHINE_TYPE \
  --accelerator=count=2,type=nvidia-tesla-t4 \
  --enable-access-logging \
  --enable-container-logging

如需详细了解如何部署模型,请参阅使用 Vertex AI API 部署模型

REST 和命令行

如需更改在已部署模型中针对其启用日志的默认行为,请将相关字段设置为 True

v1 服务端点

如需停用容器日志记录,请在使用 projects.locations.endpoints.deployModel 部署模型时将 disableContainerLogging 字段设置为 True

如需启用访问日志记录,请在使用 projects.locations.endpoints.deployModel 部署模型时,将 enableAccessLogging 设置为 True

v1beta1 服务端点

如需启用容器日志记录,请在使用 projects.locations.endpoints.deployModel 部署模型时将 enableContainerLogging 字段设为 True

如需启用访问日志记录,请在使用 projects.locations.endpoints.deployModel 部署模型时,将 enableAccessLogging 设置为 True

如需详细了解如何部署模型,请参阅使用 Vertex AI API 部署模型

后续步骤