本页介绍了如何导入目录信息并使其保持最新。
本页上的导入流程同时适用于推荐和搜索。导入数据后,这两项服务都可以使用该数据,因此如果同时使用这两种服务,则无需两次导入相同的数据。
从 BigQuery 导入目录数据
本教程介绍了如何使用 BigQuery 表无限制地导入大量清单数据。
如需遵循有关此任务的分步指导,请直接在 Cloud Shell Editor 中点击操作演示:
从 Cloud Storage 导入目录数据
本教程介绍了如何将大量商品导入到清单中。
如需遵循有关此任务的分步指导,请直接在 Cloud Shell Editor 中点击操作演示:
以内嵌方式导入目录数据
本教程介绍了如何将商品以内嵌方式导入到清单中。
如需遵循有关此任务的分步指导,请直接在 Cloud Shell Editor 中点击操作演示:
准备工作
在导入目录信息之前,您必须已完成准备工作中的说明,特别是设置项目、创建服务账号和将服务账号添加到本地环境。
您必须拥有 Retail Admin IAM 角色才能执行导入。
目录导入最佳做法
需要使用高品质数据才能生成高质量的结果。如果您的数据缺少字段或具有占位符值而非实际值,则预测和搜索结果的质量将受到影响。
导入目录数据时,请确保实现以下最佳做法:
确定哪些商品或商品组是主商品,哪些是变体时,请务必仔细考虑。在上传任何数据之前,请参阅商品级别。
在导入任何数据后更改商品级别配置需要花费大量精力。
主要商品会作为搜索结果或推荐内容返回。但变体商品不受此政策的约束。
例如,如果主要 SKU 组是“V 领衬衫”,则推荐模型会返回一件 V 领衬衫商品,以及一件圆领衬衫和一件圆角领衬衫。不过,如果不使用变体,并且每个 SKU 都是主商品,则 V 领衬衫的每个颜色/尺码组合都会在推荐面板上作为不同的商品返回:“棕色 V 领衬衫,XL 码”“棕色 V 领衬衫,L 码”,一直到“白色 V 领衬衫,M 码”“白色 V 领衬衫,S 码”。
只要在
collectionMemberIds[]
中包含主要商品 ID 和变体 ID,系统就可以同时识别合集。这会导致用户事件中捕获用户可能购买了其中一个或多个商品的商品合集,并将整个合集的功劳归于该购买交易。这有助于在未来的相关查询中向同一用户展示给定合集中的其他商品。例如,用户已购买了羽绒被套,但要退回床单套系中的其他商品,例如匹配的枕套和床垫套。遵守商品导入限制。
从 Cloud Storage 批量导入数据时,每个文件的大小不能超过 2 GB。一个批量导入请求中最多可以包含 100 个文件。
对于内嵌导入,一次最多可导入 5000 个商品。
请确保包含所有必需的目录信息,并且信息正确无误。
请勿使用占位符值。
请添加尽可能多的可选目录信息。
确保您的事件都使用一种货币,尤其是如果您计划使用 Google Cloud 控制台获取收入指标。Vertex AI Search for Retail API 不支持每个目录使用多种货币。
使目录保持最新。
理想情况下,您应每天更新目录。安排定期目录导入可防止模型质量逐渐降低。使用 Search for Retail 控制台导入目录时,您可以安排自动进行周期性导入。或者,您也可以使用 Google Cloud Scheduler 自动执行导入。
对于尚未导入的商品项,请勿记录其用户事件。
导入目录信息后,请查看项目的错误报告和日志记录信息。
有少数错误是正常的,但是如果有大量错误,则应检查这些错误并修复导致错误的所有进程问题。
关于导入目录数据
您可以从 Merchant Center、Cloud Storage、BigQuery 导入商品数据,也可以在请求中指定内嵌的数据。每个过程都是一次性导入,但关联 Merchant Center除外。安排定期导入目录(理想情况下为每日)以确保您的目录为最新状态。请参阅使目录保持最新。
您还可以导入单件商品。如需了解详情,请参阅上传商品。
目录导入注意事项
本部分介绍了可用于批量导入目录数据的方法、何时可以使用每种方法,以及这些方法的一些限制。
Merchant Center 同步 | 说明 | 将账号与 Vertex AI Search 零售解决方案相关联,通过 Merchant Center 导入目录数据。关联后,对 Merchant Center 中目录数据的更新会实时同步到 Vertex AI Search for Retail。 |
---|---|---|
使用时间 | 已与 Merchant Center 集成时。 | |
限制 |
架构支持受限。例如,Merchant Center 不支持产品集合。在 Merchant Center 取消关联之前,它是数据的可靠来源,因此必须将所有所需的自定义特性添加到 Merchant Center 数据中。 控制受限。您无法指定要从 Merchant Center 导入的某些字段或商品集:Merchant Center 中现有的所有商品和字段都会导入。 |
|
BigQuery | 说明 | 从使用 Vertex AI Search for Retail 架构或 Merchant Center 架构的先前加载的 BigQuery 表中导入数据。可以使用 Google Cloud 控制台或 curl 执行。 |
使用时间 |
您的产品目录包含许多特性时。BigQuery 导入使用 Vertex AI Search for retail 架构,该架构具有的产品特性比其他导入选项多(包括键值对自定义特性)。 您有大量数据时。BigQuery 导入没有数据限制。 您已在使用 BigQuery 时。 |
|
局限性 | 需要额外执行创建映射到 Vertex AI Search for Retail 架构的 BigQuery 表这一步骤。 | |
Cloud Storage | 说明 |
从加载到 Cloud Storage 存储桶中的文件导入 JSON 格式的数据。每个文件不得超过 2 GB,一次最多可导入 100 个文件。可以使用 Google Cloud 控制台或 curl 完成导入操作。使用 Product JSON 数据格式,该格式允许自定义属性。 |
使用时间 | 您需要在单个步骤中加载大量数据时。 | |
限制 | 不适合频繁更新商品目录和价格的目录,因为更改不会立即生效。 | |
内嵌导入 | 说明 |
通过调用 Product.import 方法导入。 使用 ProductInlineSource 对象,该对象具有的产品目录属性比 Vertex AI Search for Retail 架构少,但支持自定义属性。 |
使用时间 | 如果您有非关系型平面目录数据,或者数量或价格更新的频率较高。 | |
限制 | 一次最多只能导入 100 个目录商品。但是,可以执行许多加载步骤;没有商品限制。 |
清除目录分支
如果您要将新的目录数据导入现有分支,请务必确保目录分支为空。这样做可确保导入到分支的数据的完整性。当分支为空时,您可以导入新的目录数据,然后将分支与商家账号相关联。
如果您正在投放实时预测流量或搜索流量,并计划清除默认分支,不妨先指定其他分支为默认分支,然后再清除。由于默认分支在被清除后会提供空结果,因此清除实时默认分支可能会导致服务中断。
如需从目录分支中清除数据,请完成以下步骤:
在 Search for Retail 控制台中,前往 Data(数据)> 页面。
前往“数据”页面从分支名称字段中选择一个清单分支。
从分支名称字段旁边的三点状菜单中,选择清除分支。
系统会显示一条消息,警告您即将删除分支中的所有数据以及为该分支创建的所有属性。
输入分支,然后点击确认以从分支中清除目录数据。
系统会启动一个长时间运行的操作,以从目录分支中清除数据。清除操作完成后,清除状态会显示在活动状态窗口的商品目录列表中。
将 Merchant Center 与 Vertex AI Search for Retail 同步
如需在 Merchant Center 和 Vertex AI Search for Retail 之间持续同步,您可以将您的 Merchant Center 账号与 Vertex AI Search for Retail 相关联。关联后,Merchant Center 账号中的目录信息会立即导入 Vertex AI Search for Retail。
为 Vertex AI Search for Retail 设置 Merchant Center 同步时,您必须在 Merchant Center 中被分配了“管理员”角色。虽然标准访问权限角色允许您在界面中读取 Merchant Center Feed,但当您尝试将 Merchant Center 与 Vertex AI Search for Retail 同步时,会收到错误消息。因此,您需要先相应地升级角色,然后才能将 Merchant Center 账号成功同步到 Vertex AI Search for Retail。
Vertex AI Search for Retail 与 Merchant Center 账号关联后,对 Merchant Center 账号中商品数据的更改会在几分钟内在 Vertex AI Search for Retail 中自动更新。如果您希望阻止 Merchant Center 将更改同步到 Vertex AI Search for Retail,可以解除与 Merchant Center 账号的关联。
解除与 Merchant Center 账号的关联不会删除 Vertex AI Search 零售解决方案中的任何商品。如需删除导入的商品,请参阅删除商品信息。
同步您的 Merchant Center 账号
如需同步您的 Merchant Center 账号,请完成以下步骤。
控制台
-
在 Search for Retail 控制台中,前往 Data(数据)> 页面。
前往“数据”页面 - 点击导入以打开导入数据面板。
- 选择商品清单。
- 选择 Merchant Center Sync 作为数据源。
- 选择您的 Merchant Center 账号。如果您没有看到自己的账号,请查看用户访问权限。
- 可选:选择 Merchant Center Feed 过滤条件,以便仅导入所选 Feed 中的商品。
如果未指定,系统会导入所有 Feed(包括未来的 Feed)中的商品。 - 可选:如需仅导入定位到特定国家/地区或使用特定语言的商品,请展开显示高级选项,然后选择要过滤的 Merchant Center 目标销售国家/地区和语言。
- 选择您要将目录上传到的分支。
- 点击导入。
curl
检查本地环境中的服务账号是否有权访问 Merchant Center 账号和 Vertex AI Search for Retail。如需查看哪些账号有权访问您的 Merchant Center 账号,请参阅 Merchant Center 的用户访问权限。
使用
MerchantCenterAccountLink.create
方法建立关联。curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ --data '{ "merchantCenterAccountId": MERCHANT_CENTER_ID, "branchId": "BRANCH_ID", "feedFilters": [ {"primaryFeedId": PRIMARY_FEED_ID_1} {"primaryFeedId": PRIMARY_FEED_ID_2} ], "languageCode": "LANGUAGE_CODE", "feedLabel": "FEED_LABEL", }' \ "https://retail.googleapis.com/v2alpha/projects/PROJECT_ID/locations/global/catalogs/default_catalog/merchantCenterAccountLinks"
- MERCHANT_CENTER_ID:Merchant Center 账号的 ID。
- BRANCH_ID:要与其建立关联的分支的 ID。接受的值为“0”、“1”或“2”。
- LANGUAGE_CODE:(可选)要导入的商品的两字母语言代码。如 Merchant Center 中商品的
Language
列所示。如果未设置,则导入所有语言。 - FEED_LABEL:(可选)要导入的商品的 Feed 标签。您可以在 Merchant Center 的商品 Feed 标签列中查看 Feed 标签。如果未设置,则导入所有 Feed 标签。
- FEED_FILTERS:(可选)要从中导入商品的主要 Feed 的列表。如果不选择 Feed,则表示共享所有 Merchant Center 账号 Feed。您可以在 Content API Feed 资源中找到这些 ID,也可以访问 Merchant Center,选择一个 Feed,然后从网站网址中的 dataSourceId 参数中获取 Feed ID。例如
mc/products/sources/detail?a=MERCHANT_CENTER_ID&dataSourceId=PRIMARY_FEED_ID
。
如需查看关联的 Merchant Center,请前往 Search for Retail 控制台的数据页面,然后点击页面右上角的 Merchant Center 按钮。这将打开关联的 Merchant Center 账号面板。您还可以通过此面板添加其他 Merchant Center 账号。
请参阅查看目录的汇总信息,了解如何查看已导入的商品的说明。
列出您的 Merchant Center 账号关联
列出您的 Merchant Center 账号关联。
控制台
在 Search for Retail 控制台中,前往 Data(数据)> 页面。
前往“数据”页面点击页面右上角的 Merchant Center 按钮,打开关联的 Merchant Center 账号列表。
curl
使用 MerchantCenterAccountLink.list
方法列出关联资源。
curl -X GET \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ "https://retail.googleapis.com/v2alpha/projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/merchantCenterAccountLinks"
解除与 Merchant Center 账号的关联
解除与 Merchant Center 账号的关联会停止该账号将目录数据同步到 Vertex AI Search 零售解决方案。此过程不会删除 Vertex AI Search for Retail 中已上传的任何产品。
控制台
在 Search for Retail 控制台中,前往 Data(数据)> 页面。
前往“数据”页面点击页面右上角的 Merchant Center 按钮,打开关联的 Merchant Center 账号列表。
点击要解除关联的 Merchant Center 账号旁边的解除关联,然后在显示的对话框中确认您的选择。
curl
使用 MerchantCenterAccountLink.delete
方法移除 MerchantCenterAccountLink
资源。
curl -X DELETE \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ "https://retail.googleapis.com/v2alpha/projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/merchantCenterAccountLinks/BRANCH_ID_MERCHANT_CENTER_ID"
与 Merchant Center 关联的限制
一个 Merchant Center 账号可以与任意数量的目录分支相关联,但单个目录分支只能与一个 Merchant Center 账号相关联。
Merchant Center 账号不能是多客户账号 (MCA)。不过,您可以关联各个子账号。
关联 Merchant Center 账号后首次导入可能需要几个小时才能完成。所需时间取决于 Merchant Center 账号中的商品/服务数量。
对于与 Merchant Center 账号关联的分支,使用 API 方法的所有商品修改都将被停用。对这些分支中的产品目录数据所做的任何更改都必须使用 Merchant Center 进行。然后,这些更改会自动同步到 Vertex AI Search 零售解决方案。
使用 Merchant Center 关联的分支不支持集合商品类型。
为了确保数据正确性,您的 Merchant Center 账号只能与空目录分支关联。如需从目录分支中删除商品,请参阅删除商品信息。
从 Merchant Center 导入目录数据
Merchant Center 是一种工具,可让您用来使门店数据和商品数据可供购物广告和其他 Google 服务使用。
您可以使用 Merchant Center 架构(仅限建议),通过 BigQuery 以一次性过程的形式从 Merchant Center 批量导入目录数据。
从 Merchant Center 批量导入
您可以使用 Search for Retail 控制台或 products.import
方法从 Merchant Center 导入目录数据。批量导入是一次性过程,仅支持推荐功能。
要从 Merchant Center 导入目录,请完成以下步骤:
按照 Merchant Center 转移作业中的说明,设置从 Merchant Center 到 BigQuery 的转移作业。
您将使用 Google Merchant Center 商品表架构。将转移作业配置为每天重复,但将数据集过期时间设置为 2 天。
如果您的 BigQuery 数据集位于其他项目中,请配置所需的权限,以便 Vertex AI Search for Retail 可以访问 BigQuery 数据集。了解详情。
将 BigQuery 中的目录数据导入 Vertex AI Search for Retail。
控制台
在 Search for Retail 控制台中,前往 Data(数据)> 页面。
前往“数据”页面点击导入以打开“导入目录”面板。
选择商品清单。
选择 BigQuery 作为数据源。
选择您要将目录上传到的分支。
选择 Merchant Center 作为数据架构。
输入数据所在的 BigQuery 表格。
可选:输入项目中 Cloud Storage 存储桶的位置作为数据的临时位置。
如果未指定,则使用默认位置。如果指定,BigQuery 和 Cloud Storage 存储分区必须位于同一地区内。
选择是否安排定期上传目录数据。
如果这是您第一次导入目录,或者在完全清除后重新导入目录,请选择产品级别。详细了解商品级别。
在导入任何数据后更改商品级别配置需要花费大量精力。
点击导入。
curl
如果这是您第一次上传目录,或者要在完全清除后重新导入目录,请使用
Catalog.patch
方法设置产品级别。此操作需要 Retail Admin 角色。 详细了解商品级别。ingestionProductType
:支持值primary
(默认值)和variant
。merchantCenterProductIdField
:支持值offerId
(默认值)和itemGroupId
。如果您不使用 Merchant Center,请将其设置为默认值offerId
。
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ --data '{ "productLevelConfig": { "ingestionProductType": "PRODUCT_TYPE", "merchantCenterProductIdField": "PRODUCT_ID_FIELD" } }' \ "https://retail.googleapis.com/v2/projects/PROJECT_ID/locations/global/catalogs/default_catalog"
使用
Products.import
方法导入目录。- DATASET_ID:BigQuery 数据集的 ID。
- TABLE_ID:存放数据的 BigQuery 表的 ID。
- STAGING_DIRECTORY:可选。在导入到 BigQuery 之前用作数据的临时位置的 Cloud Storage 目录。将此字段留空可自动创建临时目录(推荐)。
- ERROR_DIRECTORY:可选。存放与导入有关的错误信息的 Cloud Storage 目录。将此字段留空可自动创建临时目录(推荐)。
dataSchema
:对于dataSchema
属性,请使用值product_merchant_center
。请参阅 Merchant Center 商品表架构。
我们建议您不要指定暂存目录或错误目录,以便系统可以自动创建包含新的暂存目录和错误目录的 Cloud Storage 存储桶。这些目录在 BigQuery 数据集所在的区域中创建,并且对每个导入作业都是唯一的(这样可以防止多个导入作业将数据暂存到同一目录和重新导入相同的数据)。三天后,系统会自动删除存储分区和目录,以减少存储费用。
自动创建的存储分区名称包含项目 ID、存储分区区域和数据架构名称,并以下划线分隔(例如
4321_us_catalog_retail
)。自动创建的目录称为staging
或errors
,后跟一个数字(例如staging2345
或errors5678
)。如果指定目录,Cloud Storage 存储分区必须与 BigQuery 数据集位于同一区域,否则导入将失败。以
gs://<bucket>/<folder>/
格式指定暂存和错误目录;二者应为不同的目录。
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ --data '{ "inputConfig":{ "bigQuerySource": { "datasetId":"DATASET_ID", "tableId":"TABLE_ID", "dataSchema":"product_merchant_center" } } }' \ "https://retail.googleapis.com/v2/projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/products:import"
从 BigQuery 导入目录数据
如需从 BigQuery 以正确的格式导入目录数据,请使用 Vertex AI Search for Retail 架构以正确格式创建 BigQuery 表,并加载空表和目录数据。然后,将您的数据上传到 Vertex AI Search 零售解决方案。
如需有关 BigQuery 表的更多帮助,请参阅表简介。如需有关 BigQuery 查询的帮助,请参阅查询 BigQuery 数据概览。
如需遵循有关此任务的分步指导,请直接在 Cloud Shell Editor 中点击操作演示:
要导入目录,请执行以下操作:
如果您的 BigQuery 数据集位于其他项目中,请配置所需的权限,以便 Vertex AI Search for Retail 可以访问 BigQuery 数据集。了解详情。
将目录数据导入 Vertex AI Search 零售解决方案。
控制台
-
在 Search for Retail 控制台中,前往 Data(数据)> 页面。
前往“数据”页面 - 点击导入以打开导入数据面板。
- 选择商品清单。
- 选择 BigQuery 作为数据源。
- 选择您要将目录上传到的分支。
- 选择零售产品目录架构。这是 Vertex AI Search 零售解决方案的产品架构。
- 输入数据所在的 BigQuery 表格。
- 可选:在显示高级选项下,输入项目中 Cloud Storage 存储桶的位置作为数据的临时位置。
如果未指定,则使用默认位置。如果指定,BigQuery 和 Cloud Storage 存储桶必须位于同一区域内。 - 如果您未启用搜索功能,并且使用的是 Merchant Center 架构,请选择商品级别。
如果这是您第一次导入目录,或者要在完全清除后重新导入目录,则必须选择商品级别。详细了解商品级别。在导入任何数据后更改商品级别需要花费大量精力。
重要提示:对于作为商品款式/规格注入的商品清单,您无法为项目启用搜索功能。 - 点击导入。
curl
如果这是您第一次上传目录,或者要在完全清除后重新导入目录,请使用
Catalog.patch
方法设置产品级别。此操作需要 Retail Admin 角色。ingestionProductType
:支持值primary
(默认值)和variant
。merchantCenterProductIdField
:支持值offerId
和itemGroupId
。如果您不使用 Merchant Center,则无需设置此字段。
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ --data '{ "productLevelConfig": { "ingestionProductType": "PRODUCT_TYPE", "merchantCenterProductIdField": "PRODUCT_ID_FIELD" } }' \ "https://retail.googleapis.com/v2/projects/PROJECT_ID/locations/global/catalogs/default_catalog"
为导入作业的输入参数创建一个数据文件。
使用 BigQuerySource 对象指向 BigQuery 数据集。
- DATASET_ID:BigQuery 数据集的 ID。
- TABLE_ID:存放数据的 BigQuery 表的 ID。
- PROJECT_ID:BigQuery 来源所在的项目 ID。如果未指定,则项目 ID 会从父级请求继承。
- STAGING_DIRECTORY:可选。在导入到 BigQuery 之前用作数据的临时位置的 Cloud Storage 目录。将此字段留空可自动创建临时目录(推荐)。
- ERROR_DIRECTORY:可选。存放与导入有关的错误信息的 Cloud Storage 目录。将此字段留空可自动创建临时目录(推荐)。
dataSchema
:对于dataSchema
属性,请使用值product
(默认值)。您将使用 Vertex AI Search for Retail 架构。
我们建议您不要指定暂存目录或错误目录,以便系统可以自动创建包含新的暂存目录和错误目录的 Cloud Storage 存储桶。这些目录在 BigQuery 数据集所在的区域中创建,并且对每个导入作业都是唯一的(这样可以防止多个导入作业将数据暂存到同一目录和重新导入相同的数据)。三天后,系统会自动删除存储分区和目录,以减少存储费用。
自动创建的存储分区名称包含项目 ID、存储分区区域和数据架构名称,并以下划线分隔(例如
4321_us_catalog_retail
)。自动创建的目录称为staging
或errors
,后跟一个数字(例如staging2345
或errors5678
)。如果指定目录,Cloud Storage 存储分区必须与 BigQuery 数据集位于同一区域,否则导入将失败。以
gs://<bucket>/<folder>/
格式指定暂存和错误目录;二者应为不同的目录。{ "inputConfig":{ "bigQuerySource": { "projectId":"PROJECT_ID", "datasetId":"DATASET_ID", "tableId":"TABLE_ID", "dataSchema":"product"} } }
向
Products:import
REST 方法发出POST
请求,并提供数据文件的名称(此处显示为input.json
),以导入您的目录信息。curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" -d @./input.json \ "https://retail.googleapis.com/v2/projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/products:import"
您可以使用 API 以编程方式检查状态。您应该会收到类似如下所示的响应对象:
{ "name": "projects/PROJECT_ID/locations/global/catalogs/default_catalog/operations/import-products-123456", "done": false }
名称字段是操作对象的 ID。要请求此对象的状态,请将名称字段替换为
import
方法返回的值,直到done
字段返回true
:curl -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ "https://retail.googleapis.com/v2/projects/PROJECT_ID/locations/global/catalogs/default_catalog/operations/import-products-123456"
操作完成后,返回的对象的
done
值为true
,并且包含一个类似于以下示例的 Status 对象:{ "name": "projects/PROJECT_ID/locations/global/catalogs/default_catalog/operations/import-products-123456", "metadata": { "@type": "type.googleapis.com/google.cloud.retail.v2.ImportMetadata", "createTime": "2020-01-01T03:33:33.000001Z", "updateTime": "2020-01-01T03:34:33.000001Z", "successCount": "2", "failureCount": "1" }, "done": true, "response": { "@type": "type.googleapis.com/google.cloud.retail.v2.ImportProductsResponse", }, "errorsConfig": { "gcsPrefix": "gs://error-bucket/error-directory" } }
您可以检查 Cloud Storage 错误目录中的文件,了解导入过程中是否出现错误。
-
在 Search for Retail 控制台中,前往 Data(数据)> 页面。
设置对 BigQuery 数据集的访问权限
如果 BigQuery 数据集与 Vertex AI Search for Retail 服务属于不同的项目,要设置访问权限,请完成以下步骤。
在 Google Cloud Console 中打开 IAM 页面。
选择您的 Vertex AI Search for Retail 项目。
找到名为 Retail Service Account 的服务账号。
如果您之前未曾启动导入操作,则此服务账号可能不会列出。如果您没有看到此服务账号,请返回导入任务并启动导入。当由于权限错误而失败时,请返回此处完成此任务。
复制服务账号的标识符,类似于电子邮件地址(例如
service-525@gcp-sa-retail.iam.gserviceaccount.com
)。切换到 BigQuery 项目(在同一 IAM 和管理页面上),然后点击 person_add Grant Access(授予访问权限)。
对于新主账号,请输入 Vertex AI Search for Retail 服务账号的标识符,然后选择 BigQuery > BigQuery User 角色。
点击添加其他角色,然后选择 BigQuery > BigQuery Data Editor。
如果您不想向整个项目提供 Data Editor 角色,则可以将此角色直接添加到数据集。了解详情。
点击保存。
从 Cloud Storage 导入目录数据
如需导入 JSON 格式的目录数据,您需要创建一个或多个 JSON 文件,其中包含要导入的目录数据,然后将其上传到 Cloud Storage。然后,您可以将其导入 Vertex AI Search for Retail。
如需查看 JSON 商品项格式的示例,请参阅商品项 JSON 数据格式。
如需有关将文件上传到 Cloud Storage 方面的帮助,请参阅上传对象。
确保 Vertex AI Search for Retail 服务账号有权读写存储桶。
Vertex AI Search for Retail 服务账号在 Google Cloud 控制台的 IAM 页面中列出,名称为 Retail 服务账号。将账号添加到存储分区权限时,请使用服务账号的标识符(类似于电子邮件地址,例如
service-525@gcp-sa-retail.iam.gserviceaccount.com
)。导入目录数据。
控制台
curl
如果这是您第一次上传目录,或者要在完全清除后重新导入目录,请使用
Catalog.patch
方法设置产品级别。详细了解商品级别。ingestionProductType
:支持值primary
(默认值)和variant
。merchantCenterProductIdField
:支持值offerId
和itemGroupId
。如果您不使用 Merchant Center,则无需设置此字段。
curl -X PATCH \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ --data '{ "productLevelConfig": { "ingestionProductType": "PRODUCT_TYPE", "merchantCenterProductIdField": "PRODUCT_ID_FIELD" } }' \ "https://retail.googleapis.com/v2/projects/PROJECT_ID/locations/global/catalogs/default_catalog"
为导入作业的输入参数创建一个数据文件。您可以使用
GcsSource
对象指向您的 Cloud Storage 存储分区。您可以提供多个文件,也可以只提供一个文件;本例使用了两个文件。
- INPUT_FILE:Cloud Storage 中包含目录数据的一个或多个文件。
- ERROR_DIRECTORY:存放与导入有关的错误信息的 Cloud Storage 目录。
输入文件字段必须采用
gs://<bucket>/<path-to-file>/
格式。错误目录必须采用gs://<bucket>/<folder>/
格式。如果错误目录不存在,系统会创建该目录。 存储桶必须已存在。{ "inputConfig":{ "gcsSource": { "inputUris": ["INPUT_FILE_1", "INPUT_FILE_2"] } }, "errorsConfig":{"gcsPrefix":"ERROR_DIRECTORY"} }
向
Products:import
REST 方法发出POST
请求,并提供数据文件的名称(此处显示为input.json
),以导入目录信息。curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" -d @./input.json \ "https://retail.googleapis.com/v2/projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/products:import"
要检查导入操作的状态,最简单的方法是使用 Google Cloud 控制台。如需了解详情,请参阅查看特定集成操作的状态。
您还可以使用 API 以编程方式检查状态。您应该会收到类似如下所示的响应对象:
{ "name": "projects/PROJECT_ID/locations/global/catalogs/default_catalog/operations/import-products-123456", "done": false }
名称字段是操作对象的 ID。您可以请求此对象的状态,将名称字段替换为导入方法返回的值,直到
done
字段返回true
:curl -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ "https://retail.googleapis.com/v2/projects/PROJECT_ID/locations/global/catalogs/default_catalog/operations/[OPERATION_NAME]"
操作完成后,返回的对象的
done
值为true
,并且包含一个类似于以下示例的 Status 对象:{ "name": "projects/PROJECT_ID/locations/global/catalogs/default_catalog/operations/import-products-123456", "metadata": { "@type": "type.googleapis.com/google.cloud.retail.v2.ImportMetadata", "createTime": "2020-01-01T03:33:33.000001Z", "updateTime": "2020-01-01T03:34:33.000001Z", "successCount": "2", "failureCount": "1" }, "done": true, "response": { "@type": "type.googleapis.com/google.cloud.retail.v2.ImportProductsResponse" }, "errorsConfig": { "gcsPrefix": "gs://error-bucket/error-directory" } }
您可以检查 Cloud Storage 错误目录中的文件,以查看导入期间发生的错误类型。
以内嵌方式导入目录数据
curl
您可以通过以下方式将目录信息内嵌导入到 Retail API 中:向 Products:import
REST 方法发出 POST
请求(使用 productInlineSource
对象指定目录数据)。
在一行中提供整个商品。每件商品应单独占一行。
如需查看 JSON 商品项格式的示例,请参阅商品项 JSON 数据格式。
为您的商品创建 JSON 文件,并将其命名为
./data.json
:{ "inputConfig": { "productInlineSource": { "products": [ { PRODUCT_1 } { PRODUCT_2 } ] } } }
调用 POST 方法:
curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json; charset=utf-8" \ --data @./data.json \ "https://retail.googleapis.com/v2/projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/products:import"
Java
产品项 JSON 数据格式
JSON 文件中的 Product
条目应如以下示例所示。
在一行中提供整个商品。每件商品应单独占一行。
至少填充以下必填字段:
{
"id": "1234",
"categories": "Apparel & Accessories > Shoes",
"title": "ABC sneakers"
}
{
"id": "5839",
"categories": "casual attire > t-shirts",
"title": "Crew t-shirt"
}
完成对象:
{
"name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/products/1234",
"id": "1234",
"categories": "Apparel & Accessories > Shoes",
"title": "ABC sneakers",
"description": "Sneakers for the rest of us",
"attributes": { "vendor": {"text": ["vendor123", "vendor456"]} },
"language_code": "en",
"tags": [ "black-friday" ],
"priceInfo": {
"currencyCode": "USD", "price":100, "originalPrice":200, "cost": 50
},
"availableTime": "2020-01-01T03:33:33.000001Z",
"availableQuantity": "1",
"uri":"http://example.com",
"images": [
{"uri": "http://example.com/img1", "height": 320, "width": 320 }
]
}
{
"name": "projects/PROJECT_NUMBER/locations/global/catalogs/default_catalog/branches/0/products/4567",
"id": "4567",
"categories": "casual attire > t-shirts",
"title": "Crew t-shirt",
"description": "A casual shirt for a casual day",
"attributes": { "vendor": {"text": ["vendor789", "vendor321"]} },
"language_code": "en",
"tags": [ "black-friday" ],
"priceInfo": {
"currencyCode": "USD", "price":50, "originalPrice":60, "cost": 40
},
"availableTime": "2020-02-01T04:44:44.000001Z",
"availableQuantity": "2",
"uri":"http://example.com",
"images": [
{"uri": "http://example.com/img2", "height": 320, "width": 320 }
]
}
历史目录数据
Vertex AI Search for Retail 支持导入和管理历史目录数据。使用历史用户事件进行模型训练时,历史目录数据会很有帮助。过去的产品信息可用于丰富历史用户事件数据并提高模型准确率。
历史产品存储为过期产品。它们不会在搜索响应中返回,但对 Update
、List
和 Delete
API 调用可见。
导入历史目录数据
如果产品的 expireTime
字段设置为过去的时间戳,则此产品将被视为历史产品。为了避免影响推荐功能,请将商品库存状况设置为 OUT_OF_STOCK。
我们建议您使用以下方法导入历史目录数据:
调用 Product.Create
方法
使用 Product.Create
方法创建一个 Product
条目,并将 expireTime
字段设置为过去的时间戳。
内嵌导入过期产品
这些步骤与内嵌导入相同,但产品应将 expireTime
字段设置为过去的时间戳。
在一行中提供整个商品。每件商品应单独占一行。
内嵌导入请求中使用的 ./data.json
示例:
{ "inputConfig": { "productInlineSource": { "products": [ { "id": "historical_product_001", "categories": "Apparel & Accessories > Shoes", "title": "ABC sneakers", "expire_time": { "second": "2021-10-02T15:01:23Z" // a past timestamp } }, { "id": "historical product 002", "categories": "casual attire > t-shirts", "title": "Crew t-shirt", "expire_time": { "second": "2021-10-02T15:01:24Z" // a past timestamp } } ] } } }
从 BigQuery 或 Cloud Storage 导入过期产品
请使用从 BigQuery 导入目录数据或从 Cloud Storage 导入目录数据中记录的相同步骤。但是,请务必将 expireTime
字段设置为过去的时间戳。
使目录保持最新状态
为了获得最佳结果,您的目录必须包含最新信息。建议您每天导入目录,以确保目录是最新的。您可以使用 Google Cloud Scheduler 安排导入时间,也可以在使用 Google Cloud 控制台导入数据时选择自动安排选项。
您可以只更新新商品项或发生更改的商品项,也可以导入整个目录。如果您导入目录中已有的商品,系统不会再次添加这些商品。系统会更新所有发生更改的项。
如需更新单个商品,请参阅更新商品信息。
批量更新
您可以使用导入方法来批量更新目录。此操作方法与首次导入相同;请按照导入目录数据中的步骤操作。
监控导入运行状况
如需监控目录提取和健康状况,请执行以下操作:
在“搜索 Retail Data”(搜索 Retail 数据)页面的目录标签页中,查看有关您的目录的汇总信息并预览上传的商品。
在数据质量页面上,评估您是否需要更新目录数据以提高搜索结果质量并解锁搜索效果层级。
如需详细了解如何检查搜索数据质量和查看搜索效果层级,请参阅解锁搜索效果层级。如需简要了解此页面上提供的商品目录指标,请参阅商品目录质量指标。
如需创建提醒,以便在数据上传出现问题时通知您,请按照设置 Cloud Monitoring 提醒中的步骤操作。
为了获得高质量的结果,保持目录保持最新至关重要。使用提醒监控导入错误率,并在需要时采取措施。