检查媒体推荐内容的数据质量

本页介绍了如何调用检查要求方法,该方法会返回有关媒体数据的各种指标是否达到其要求阈值的信息。

检查媒体数据质量简介

由于近期用户事件对媒体推荐至关重要,因此您必须定期检查提取的数据和用户事件的质量。您可以 方法是对媒体数据存储区运行 check requirements 方法。

如果未满足指标的阈值,则 curl 命令会输出警告。 然后,您需要查看指标及其说明,以确定哪项操作 您应采取哪些措施来提升媒体品质。

所有模型和目标都需要达到常规指标阈值。某些模型和目标有额外的指标和阈值,需要您运行第二次要求检查。

如需了解推荐模型和目标,请参阅媒体应用推荐类型简介

检查数据质量

使用 requirements:checkRequirement 方法检查媒体推荐数据的质量,如下所示。

REST

如需通过命令行检查质量,请按以下步骤操作:

  1. 查找数据存储区 ID。如果您已经有数据存储区 ID,请跳至下一步。

    1. 在 Google Cloud 控制台中,前往 Agent Builder 页面,然后 在导航菜单中,点击 Data Stores

      转到“数据存储区”页面

    2. 点击您的数据存储区的名称。

    3. 在数据存储区的数据页面上,获取数据存储区 ID。

  2. 运行以下 curl 命令,了解您的媒体建议是否达到了常规指标的阈值:

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-GFE-SSL: yes" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
    -d '{
          "location": "projects/PROJECT_ID/locations/global",
          "requirementType": "discoveryengine.googleapis.com/media_recs/general/all/warning",
          "resources": [
            {
              "labels": {
                "branch_id": "0",
                "collection_id": "default_collection",
                "datastore_id": "DATA_STORE_ID",
                "location_id": "global",
                "project_number": "PROJECT_ID"
              },
              "type": "discoveryengine.googleapis.com/Branch"
            },
            {
              "labels": {
                "collection_id": "default_collection",
                "datastore_id": "DATA_STORE_ID",
                "location_id": "global",
                "project_number": "PROJECT_ID"
              },
              "type": "discoveryengine.googleapis.com/DataStore"
            }
          ]
        }'
    
    • PROJECT_ID:您的 Google Cloud 项目的 ID。
    • DATA_STORE_ID:Vertex AI Search 数据存储区的 ID。
  3. 查看输出:

    1. 查找 requirementResult 的值:

      • 如果值为 SUCCESS,则表示您的数据符合一般要求; 请继续执行第 4 步。

      • 如果值为 WARNING,请继续执行第 b 步。

      • 如果您在输出中没有看到 requirementResult,可能的原因有以下几种:

        • 请求中的 PROJECT_IDDATA_STORE_ID 不正确。

        • 某些指标值无法提供。请在 6 小时后重试,或联系客户工程师寻求帮助。

    2. 查找表达式 (requirement.Condition.Expression):如果此表达式的计算结果为 false,则表示您的数据存在问题。

      指标的值位于 requirementCondition.metricResults.value 字段。警告阈值 值位于 MetricBindings.warningThreshold 字段中。description 字段可帮助您了解指标的用途。

      例如,doc_with_same_title_percentage 的值为 30.47doc_with_same_title_percentage_threshold 的警告阈值为 1。存在一个数据问题,数据存储区中的许多标题 都是一样的,这需要调查。

  4. 如果用于推荐应用的模型和目标组合 则您还需要调用检查要求 方法,并使用模型和目标的值进行更新:

    模型 目标 MODEL_OBJ
    您可能喜欢的其他类型 转化率 oyml/cvr
    为您推荐 转化率 rfy/cvr
    更多类似内容 转化率 mlt/cvr
    最热门 转化率 mp/cvr
    您可能喜欢的其他类型 每次访问的观看时长 oyml/wdps
    为您推荐 每次访问的观看时长 rfy/wdps
    更多类似内容 每次访问的观看时长 mlt/wdps

    curl -X POST \
    -H "Authorization: Bearer $(gcloud auth print-access-token)" \
    -H "Content-Type: application/json" \
    -H "X-GFE-SSL: yes" \
    -H "X-Goog-User-Project: PROJECT_ID" \
    "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global/requirements:checkRequirement" \
    -d '{
          "location": "projects/PROJECT_ID/locations/global",
          "requirementType": "discoveryengine.googleapis.com/media_recs/MODEL_OBJ/warning",
          "resources": [
            {
              "labels": {
                "branch_id": "0",
                "collection_id": "default_collection",
                "datastore_id": "DATA_STORE_ID",
                "location_id": "global",
                "project_number": "PROJECT_ID"
              },
              "type": "discoveryengine.googleapis.com/Branch"
            },
            {
              "labels": {
                "collection_id": "default_collection",
                "datastore_id": "DATA_STORE_ID",
                "location_id": "global",
                "project_number": "PROJECT_ID"
              },
              "type": "discoveryengine.googleapis.com/DataStore"
            }
          ]
        }'
    
    • PROJECT_ID:您的 Google Cloud 项目的 ID。
    • DATA_STORE_ID:Vertex AI Search 数据存储区的 ID。
    • MODEL_OBJ:请参阅上表,为您的推荐应用选择正确的值。
  5. 查看输出:

    1. 查找 requirementResult 的值:

      • 如果值为 SUCCESS,则表示您的数据已足够。

      • 如果值为 WARNING,请继续执行第 b 步。

      • 如果您在输出中没有看到 requirementResult,可能的原因有以下几种:

        • 请求中的 PROJECT_IDDATA_STORE_ID 不正确。

        • 部分指标值不可用。请在 6 小时后重试,或与客户工程师联系寻求帮助。

    2. 查看表达式 (requirement.Condition.Expression)。如果此表达式的计算结果为 false,则表示您的数据存在问题。

      指标值可在 requirementCondition.metricResults.value 字段以及警告阈值 值。MetricBindings.warningThresholddescription 字段有助于您了解该指标的用途。