高级网站索引会产生每月数据存储费用,具体取决于您导入数据存储空间的网站数据的大小。如需在导入网页数据之前估算其大小,您可以调用 estimateDataSize
方法并指定要导入的网页。estimateDataSize
方法是一种长时间运行的操作,会一直运行到估算数据大小的流程完成为止。此过程可能需要几分钟到一个多小时,具体取决于您指定的网页数量。在估算出 Web 数据的大小后,您可以使用 Vertex AI Agent Builder 价格页面(请参阅数据索引价格部分)或 Google Cloud 的价格计算器(搜索 Vertex AI Agent Builder)估算每月数据存储费用。
准备工作
确定您打算在将网站数据导入数据存储区时要包含(以及可选的要排除)的网站的网址模式。您可以在调用 estimateDataSize
方法时指定这些网址格式。
过程
如需估算 Web 数据的大小,请按以下步骤操作:
调用
estimateDataSize
方法。curl -X POST \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ -H "Content-Type: application/json" \ "https://discoveryengine.googleapis.com/v1alpha/projects/PROJECT_ID/locations/global:estimateDataSize" \ -d '{ "website_data_source": { "estimator_uri_patterns": { provided_uri_pattern: "URI_PATTERN_TO_INCLUDE", exact_match: EXACT_MATCH_BOOLEAN }, "estimator_uri_patterns": { provided_uri_pattern: "URI_PATTERN_TO_EXCLUDE", exact_match: EXACT_MATCH_BOOLEAN, exclusive: EXCLUSIVE_BOOLEAN } } }'
替换以下内容:
PROJECT_ID
:您的项目的 ID。URI_PATTERN_TO_INCLUDE
:您要纳入数据大小估算范围的网站的网址格式。URI_PATTERN_TO_EXCLUDE
:(可选)您要从数据大小估算值中排除的网站的网址格式。对于
URI_PATTERN_TO_INCLUDE
和URI_PATTERN_TO_EXCLUDE
,您可以使用类似以下的模式:- 整个网站:
www.mysite.com
- 网站的某些部分:
www.mysite.com/faq
- 整个网域:
mysite.com
或*.mysite.com
- 整个网站:
EXCLUSIVE_BOOLEAN
:(可选)如果为true
,则所提供的 URI 模式表示从数据大小估算值中排除的网页。默认值为false
,这意味着所提供的 URI 模式代表数据大小估算中包含的网页。EXACT_MATCH_BOOLEAN
:(可选)如果为true
,则所提供的 URI 模式表示单个网页,而不是网页及其所有子网页。默认值为false
,这意味着所提供的 URI 模式代表网页及其所有子网页。
输出类似于以下内容:
{ "name": "projects/PROJECT_ID/locations/global/operations/estimate-data-size-01234567890123456789", "metadata": { "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.EstimateDataSizeMetadata" } }
此输出包含
name
字段,即长时间运行的操作的名称。保存name
值,以便在下一步中使用。轮询
operations.get
方法。curl -X GET \ -H "Authorization: Bearer $(gcloud auth application-default print-access-token)" \ "https://discoveryengine.googleapis.com/v1/OPERATION_NAME"
将
OPERATION_NAME
替换为您在上一步中保存的name
值。您还可以通过列出长时间运行的操作来获取操作名称。评估每个回答。
如果响应不包含
"done": true
,则表示数据大小估算过程尚未完成。继续轮询。输出类似于以下内容:
{ "name": "projects/PROJECT_ID/locations/global/operations/estimate-data-size-01234567890123456789", "metadata": { "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.EstimateDataSizeMetadata" } }
如果响应包含
"done": true
,则表示数据大小估算流程已完成。保存响应中的DATA_SIZE_BYTES
值,以便在下一步中使用。输出类似于以下内容:
{ "name": "projects/PROJECT_ID/locations/global/operations/estimate-data-size-01234567890123456789", "metadata": { "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.EstimateDataSizeMetadata", "createTime": "2023-12-08T19:54:06.911248Z" }, "done": true, "response": { "@type": "type.googleapis.com/google.cloud.discoveryengine.v1alpha.EstimateDataSizeResponse", "dataSizeBytes": DATA_SIZE_BYTES, "documentCount": DOCUMENT_COUNT } }
此输出包括以下值:
DATA_SIZE_BYTES
:Web 数据的估算大小(以字节为单位)。DOCUMENT_COUNT
:Web 数据中的网页估算数量。
将上一步中的
DATA_SIZE_BYTES
值除以 1,000,000,000,即可得出 GB。保存此值以供下一步使用。如需估算您的每月数据存储费用,请执行以下操作:
点击添加到估算。
搜索
Vertex AI Agent Builder
,然后点击 Vertex AI Agent Builder 复选框。在数据索引框中,输入上一步中估算的网站数据大小(以 GB 为单位)。
如需查看预计数据存储费用,请查看预计费用框。