部署模型

本页面介绍了如何将模型部署到 AI Platform 以获取预测结果。

要在 AI Platform 上部署经过训练的模型,您必须执行以下操作:

  • 将已保存的模型上传到 Cloud Storage 存储分区。
  • 创建 AI Platform 模型资源
  • 创建 AI Platform 版本资源,并指定指向已保存的模型的 Cloud Storage 路径。

准备工作

训练您的机器学习模型,并按照导出预测模型指南创建可部署到 AI Platform Prediction 的模型工件。

将模型存储在 Cloud Storage 中

通常,最简单的方法是使用 AI Platform 所用项目中的专用 Cloud Storage 存储分区。

如果您使用的是其他项目中的存储分区,则必须确保您的 AI Platform 服务帐号可以访问 Cloud Storage 中的模型。如果没有适当的权限,创建 AI Platform 模型版本的请求将失败。请详细了解如何授予访问存储空间的权限

设置 Cloud Storage 存储分区

本部分介绍如何创建新存储分区。您可以使用现有存储分区,但它所在区域必须与您计划运行 AI Platform 作业的区域相同。此外,如果该存储分区不在您用于运行 AI Platform 的项目中,则您必须明确向 AI Platform 服务帐号授予访问权限

  1. 为新存储分区指定名称。该名称在 Cloud Storage 的所有存储分区中必须是唯一的。

    BUCKET_NAME="your_bucket_name"

    例如,使用附加了 -mlengine 的项目名称:

    PROJECT_ID=$(gcloud config list project --format "value(core.project)")
    BUCKET_NAME=${PROJECT_ID}-mlengine
  2. 检查您创建的存储分区名称。

    echo $BUCKET_NAME
  3. 为您的存储分区选择一个区域,并设置 REGION 环境变量。

    使用您计划在其中运行 AI Platform 作业的同一区域。请参阅 AI Platform 服务的可用区域

    例如,以下代码会创建 REGION 并将其设置为 us-central1

    REGION=us-central1
  4. 创建新的存储分区:

    gsutil mb -l $REGION gs://$BUCKET_NAME

将导出的模型上传到 Cloud Storage

以下示例展示了如何将不同类型的模型工件上传到 Cloud Storage 中的模型目录:

TensorFlow SavedModel

SAVED_MODEL_DIR=$(ls ./your-export-dir-base | tail -1)
gsutil cp -r $SAVED_MODEL_DIR gs://your-bucket

tf.keras从 TensorFlow Estimator 中导出 SavedModel 后,SavedModel 会被另存为您选择的带时间戳的基本导出目录子目录,例如 your-export-dir-base/1487877383942。此示例展示了如何上传带最近时间戳的目录。 如果您采用其他方式创建了 SavedModel,它可能位于本地文件系统中的其他位置。

scikit-learn 或 XGBoost 模型文件

根据您导出训练模型的方式,您可以上传 model.joblibmodel.pklmodel.bst 文件。

以下示例展示了如何上传 sklearn.externals.joblib 导出的文件:

gsutil cp ./model.joblib gs://your-bucket/model.joblib

以下示例展示了如何上传 Python 的 pickle 模块导出的文件:

gsutil cp ./model.pkl gs://your-bucket/model.pkl

以下示例展示了如何上传 xgboost.Boostersave_model 方法导出的文件:

gsutil cp ./model.bst gs://your-bucket/model.bst

如果您要部署自定义预测例程(测试版),请将任何其他模型工件也上传到模型目录中。

如果您使用旧版 (MLS1) 机器类型,则模型目录内文件的总大小不能超过 500 MB,如果您使用 Compute Engine (N1) 机器类型(测试版),则总大小不能超过 2 GB。详细了解用于在线预测的机器类型

在创建模型的后续版本时,您可以将每个版本放入 Cloud Storage 存储分区内的单独目录,通过这样的方式来组织它们。

上传自定义代码

如果您要部署具有自定义代码的 scikit-learn 流水线自定义预测例程,还必须上传包含自定义代码的源代码分发软件包。例如:

gsutil cp dist/my_custom_code-0.1.tar.gz gs://your-bucket/my_custom_code-0.1.tar.gz

您可以将此 tar 压缩文件上传到 Cloud Storage 中与模型文件相同的目录,但不一定非要这么做。实际上,将它们分开可以更好地进行组织,尤其是在您部署多个模型和代码版本的情况下。

使用本地预测测试模型

在将模型部署到 AI Platform Prediction 之前,您可以使用 gcloud ai-platform local predict 命令测试模型如何提供预测服务。该命令使用本地环境中的依赖项执行预测,并以 gcloud ai-platform predict 在执行在线预测时使用的同一格式返回结果。在本地测试预测有助于在产生在线预测请求费用之前发现错误。

对于 --model-dir 参数,请指定本地机器或 Cloud Storage 中包含导出的机器学习模型的目录。对于 --framework 参数,请指定 tensorflowscikit-learnxgboost。您不能将 gcloud ai-platform local predict 命令与自定义预测例程搭配使用。

以下示例展示了如何执行本地预测:

gcloud ai-platform local predict --model-dir local-or-cloud-storage-path-to-model-directory/ \
  --json-instances local-path-to-prediction-input.json \
  --framework name-of-framework

部署模型和版本

AI Platform 使用模型和版本资源来整理经过训练的模型。AI Platform 模型是机器学习模型版本的容器。

要部署模型,请在 AI Platform 中创建模型资源,再创建该模型的版本,然后将模型版本关联到存储在 Cloud Storage 中的模型文件。

创建模型资源

AI Platform 使用模型资源来整理模型的不同版本。

控制台

  1. 在 GCP Console 中打开 AI Platform 模型页面。

    在 GCP Console 中打开模型

  2. 如果需要,请创建要添加新版本的模型,方法如下:

    1. 点击模型页面顶部的新建模型按钮。您随即会进入创建模型页面。

    2. 模型名称框中,输入一个独一无二的模型名称。 (可选)在说明字段中,输入模型的说明。

    3. 点击创建

    4. 确认您已返回模型页面,并且新模型显示在列表中。

gcloud

为您的模型版本创建模型资源,并填写要使用的模型名称(不带中括号):

gcloud ai-platform models create "[YOUR-MODEL-NAME]"

REST API

  1. 设置请求的格式,只需将模型对象放在请求正文中即可。您至少必须为模型指定一个名称。 填写要使用的模型名称(不带中括号):

    {"name": "[YOUR-MODEL-NAME]"}
    
  2. 针对以下路径进行 REST API 调用,将 [VALUES_IN_BRACKETS] 替换为适当的值:

    POST https://ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/
    

    例如,您可以使用 cURL 发出以下请求:

    curl -X POST -H "Content-Type: application/json" \
      -d '{"name": "[YOUR-MODEL-NAME]"}' \
      -H "Authorization: Bearer `gcloud auth print-access-token`" \
      "https://ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models"
    

    您应该会看到如下所示的输出:

    {
      "name": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]",
      "regions": [
        "us-central1"
      ]
    }
    

如需了解详情,请参阅 AI Platform 模型 API

创建模型版本

现在,您就可以使用先前上传到 Cloud Storage 且经过训练的模型来创建模型版本了。创建版本时,请指定以下参数:

  • name:在 AI Platform 模型中必须是唯一的。
  • deploymentUri:Cloud Storage 中模型目录的路径。

    • 如果您要部署 TensorFlow 模型,则此参数是 SavedModel 目录。
    • 如果您要部署 scikit-learn 或 XGBoost 模型,则此参数是包含 model.joblibmodel.pklmodel.bst 文件的目录。
    • 如果您要部署自定义预测例程,则此参数是包含所有模型工件的目录。 此目录的总大小不能超过 500 MB
  • frameworkTENSORFLOWSCIKIT_LEARNXGBOOST。如果您要部署自定义预测例程,请省略此参数。

  • runtimeVersion:基于模型所需依赖项的运行时版本。如果您要部署 scikit-learn 模型、XGBoost 模型或自定义预测例程,则此参数必须至少为 1.4。

  • packageUris(可选):Cloud Storage 中自定义代码分发软件包(.tar.gz 文件)的路径列表。只有在您要部署具有自定义代码的 scikit-learn 流水线(测试版)或自定义预测例程(测试版)时,才应提供此参数。

  • predictionClass(可选):Predictor 类的名称,采用 module_name.class_name 格式。只有在您要部署自定义预测例程(测试版)时,才应提供此参数。

  • serviceAccount(可选):您可以为模型版本指定服务帐号,以便在进行预测期间访问 GCP 资源时使用。请详细了解如何指定服务帐号。只有在您要部署自定义预测例程(测试版)时,才应提供此参数。

  • pythonVersion:必须设置为“3.5”,以与使用 Python 3 导出的模型文件兼容。如果未设置,则默认为“2.7”。

  • machineType(可选):AI Platform Prediction 用于提供预测服务的节点的虚拟机类型。详细了解机器类型。如果未设置,则默认为 mls1-c1-m2

如需详细了解以上各参数,请参阅适用于版本资源的 AI Platform Training and Prediction API

查看每个运行时版本的完整详细信息

控制台

  1. 模型页面上,选择要用于创建版本的模型资源的名称。您随即会进入模型详情页面。

    在 GCP Console 中打开模型

  2. 点击模型详情页面顶部的新建版本按钮。您随即会进入创建版本页面。

  3. 名称字段中输入您的版本名称。(可选)在说明字段中,输入版本的说明。

  4. 在相应的下拉框中输入有关您如何训练模型的以下信息:

  5. (可选)选择要运行在线预测的机器类型。此字段默认为“单核 CPU”。

  6. 模型 URI 字段中,输入您上传模型文件时使用的 Cloud Storage 存储分区位置。您可以使用浏览按钮查找正确的路径。

    请确保指定的路径指向包含该文件的目录,而非指向模型文件本身。 例如,使用 gs://your_bucket_name/model-dir/,而不使用 gs://your_bucket_name/model-dir/saved_model.pbgs://your_bucket_name/model-dir/model.pkl

  7. 如果您要部署具有自定义代码的 scikit-learn 流水线(测试版)自定义预测例程(测试版),请在自定义代码和依赖项下提供所有自定义代码软件包 (.tar.gz) 的 Cloud Storage 路径。如果您要部署自定义预测例程,请在预测类字段中输入 Predictor 类的名称。

  8. 选择用于在线预测部署的扩缩选项:

    • 如果选择“自动扩缩”,则系统会显示可选的节点数下限字段。您可以输入当服务规模缩减时始终保持运行的最小节点数。此字段默认为 0。

    • 如果选择“手动扩缩”,则必须输入您希望始终保持运行的节点数

      详细了解预测费用的价格

  9. 点击保存即可完成模型版本的创建。

gcloud

  1. 设置环境变量,以存储指向模型二进制文件所在的 Cloud Storage 目录的路径、模型名称、版本名称和框架选项。

    使用 gcloud 工具创建版本时,您可以提供带下划线的大写字母框架名称(例如 SCIKIT_LEARN)或带连字符的小写字母框架名称(例如 scikit-learn)。这两种方式具有相同的效果。

    [VALUES_IN_BRACKETS] 替换为适当的值:

    MODEL_DIR="gs://your_bucket_name/"
    VERSION_NAME="[YOUR-VERSION-NAME]"
    MODEL_NAME="[YOUR-MODEL-NAME]"
    FRAMEWORK="[YOUR-FRAMEWORK_NAME]"
    

    对于具有自定义代码的 scikit-learn 流水线(测试版),请使用自定义代码 Tar 归档文件的路径设置一个额外的变量:

    MODEL_DIR="gs://your_bucket_name/"
    VERSION_NAME="[YOUR-VERSION-NAME]"
    MODEL_NAME="[YOUR-MODEL-NAME]"
    FRAMEWORK="scikit-learn"
    CUSTOM_CODE_PATH="gs://your_bucket_name/my_custom_code-0.1.tar.gz"
    

    对于自定义预测例程(测试版),请省略 FRAMEWORK 变量并使用自定义代码 Tar 归档文件的路径和 Predictor 类的名称设置额外的变量:

    MODEL_DIR="gs://your_bucket_name/"
    VERSION_NAME="[YOUR-VERSION-NAME]"
    MODEL_NAME="[YOUR-MODEL-NAME]"
    CUSTOM_CODE_PATH="gs://your_bucket_name/my_custom_code-0.1.tar.gz"
    PREDICTOR_CLASS="[MODULE_NAME].[CLASS_NAME]"
    
  2. 创建版本:

    gcloud ai-platform versions create $VERSION_NAME \
      --model $MODEL_NAME \
      --origin $MODEL_DIR \
      --runtime-version=1.14 \
      --framework $FRAMEWORK \
      --python-version=3.5
    

    对于具有自定义代码的 scikit-learn 流水线(测试版),请使用 gcloud beta 组件并确保设置 --package-uris 标志:

    gcloud components install beta
    
    gcloud beta ai-platform versions create $VERSION_NAME \
      --model $MODEL_NAME \
      --origin $MODEL_DIR \
      --runtime-version=1.14 \
      --framework $FRAMEWORK \
      --python-version=3.5
      --package-uris=$CUSTOM_CODE_PATH
    

    对于自定义预测例程(测试版),请使用 gcloud beta 组件,省略 --framework 标志并设置 --package-uris--prediction-class 标志:

    gcloud components install beta
    
    gcloud beta ai-platform versions create $VERSION_NAME \
      --model $MODEL_NAME \
      --origin $MODEL_DIR \
      --runtime-version=1.14 \
      --python-version=3.5
      --package-uris=$CUSTOM_CODE_PATH
      --prediction-class=$PREDICTOR_CLASS
    

    创建版本需要几分钟时间。完成后,您应该会看到以下输出:

    Creating version (this might take a few minutes)......done.

  3. 获取有关新版本的信息:

    gcloud ai-platform versions describe $VERSION_NAME \
      --model $MODEL_NAME
    

    您应该会看到如下所示的输出:

    createTime: '2018-02-28T16:30:45Z'
    deploymentUri: gs://your_bucket_name
    framework: [YOUR-FRAMEWORK-NAME]
    machineType: mls1-c1-m2
    name: projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions/[YOUR-VERSION-NAME]
    pythonVersion: '3.5'
    runtimeVersion: '1.14'
    state: READY

REST API

  1. 设置您的请求正文的格式,使其包含版本对象。以下示例指定了版本 namedeploymentUriruntimeVersionframework。将 [VALUES_IN_BRACKETS] 替换为适当的值:

      {
        "name": "[YOUR-VERSION-NAME]",
        "deploymentUri": "gs://your_bucket_name/"
        "runtimeVersion": "1.14"
        "framework": "[YOUR_FRAMEWORK_NAME]"
        "pythonVersion": "3.5"
      }
    
  2. 针对以下路径进行 REST API 调用,将 [VALUES_IN_BRACKETS] 替换为适当的值:

      POST https://ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions
    

    例如,您可以使用 cURL 发出以下请求:

        curl -X POST -H "Content-Type: application/json" \
          -d '{"name": "[YOUR-VERSION-NAME]", "deploymentUri": "gs://your_bucket_name/", "runtimeVersion": "1.14", "framework": "[YOUR_FRAMEWORK_NAME]", "pythonVersion": "3.5"}' \
          -H "Authorization: Bearer `gcloud auth print-access-token`" \
          "https://ml.googleapis.com/v1/projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions"
    

    创建版本需要几分钟时间。完成后,您应该会看到如下所示的输出:

      {
        "name": "projects/[YOUR-PROJECT-ID]/operations/create_[YOUR-MODEL-NAME]_[YOUR-VERSION-NAME]-[TIMESTAMP]",
        "metadata": {
          "@type": "type.googleapis.com/google.cloud.ml.v1.OperationMetadata",
          "createTime": "2018-07-07T02:51:50Z",
          "operationType": "CREATE_VERSION",
          "modelName": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]",
          "version": {
            "name": "projects/[YOUR-PROJECT-ID]/models/[YOUR-MODEL-NAME]/versions/[YOUR-VERSION-NAME]",
            "deploymentUri": "gs://your_bucket_name",
            "createTime": "2018-07-07T02:51:49Z",
            "runtimeVersion": "1.14",
            "framework": "[YOUR_FRAMEWORK_NAME]",
            "machineType": "mls1-c1-m2",
            "pythonVersion": "3.5"
          }
        }
      }
    

为您的模型版本指定服务帐号

默认情况下,在部署模型版本时,它具有 Google 托管的服务帐号的权限,该帐号带有 Cloud ML Service Agent IAM 角色。此默认服务帐号足以满足大多数使用场景的需要。例如,它可以从同一 Google Cloud Platform 项目中的 Cloud Storage 存储分区读取数据。

但是,如果您要部署自定义预测例程并且希望模型版本具有不同的权限集,可以指定其他服务帐号供其使用。例如,如果您的模型版本需要在预测期间从其他 GCP 项目访问 Cloud Storage 存储分区,您可以指定具有从该存储分区读取数据的权限的服务帐号。

  1. 为您的模型版本创建或选择服务帐号。 您(部署模型版本的用户)必须具有该服务帐号的 Service Account Token Creator 角色

  2. 创建模型版本时,请在 serviceAccount 字段中指定服务帐号名称。如果您使用 gcloud 工具部署模型,则可以使用 --service-account 标志,如以下示例所示:

    gcloud components install beta
    
    gcloud beta ai-platform versions create your-version-name \
      --service-account your-service-account-name@your-project-id.iam.gserviceaccount.com
      ...
    

后续步骤