您必须将预测自定义资源部署在基础架构运算符 (IO) 为您创建的预测集群中。操作员会在同一集群中创建预测工作负载。
如需创建预测集群，请与 IO 合作，以关联您的预测项目，并在 Google Distributed Cloud (GDC) 气隙环境中分配在线预测所需的节点池。
如需创建预测集群，请执行以下步骤：
确定组织中要与新集群关联的项目，以便进行在线预测。
如需创建项目，请参阅为 Vertex AI 设置项目。 进行 API 调用时，您需要提供项目 ID。
从 Distributed Cloud 中可用的机器类型列表中，选择集群中工作负载所需的节点机器类型。
您选择的机器类型取决于预测模型的大小和复杂程度，并决定了 IO 提供给集群的计算和图形处理单元 (GPU) 资源。 为节点选择机器类型时，请遵循节点选择建议。
使用预测集群支持请求模板向 IO 发送电子邮件，以提交支持请求并解决您创建集群的请求。
如有必要，请与 IO 沟通，直到他们完成以下操作：创建与您的项目关联的预测集群，并在该集群内分配相应的节点池。
完成集群配置后，预测集群即可用于在线预测。
节点选择建议
当 IO 在集群中创建节点池时，它们会分配 Distributed Cloud 中的一种可用机器类型，以便为工作器节点提供一组预定义的资源。根据模型的大小和复杂程度，您需要不同的计算性能，因此需要特定数量的 CPU、内存和 GPU。如果您想创建预测集群，则必须在与 IO 的通信中提供这些详细信息。
在确定预测集群中所需的节点池的机器类型时，您必须遵循以下做法：
- Distributed Cloud 会为强制性系统组件向节点添加计算开销。因此，您必须为节点池选择比模型资源池中使用的机器类型更大的机器类型。
- 选择可提供满足您需求的最低内存和计算资源的解决方案。例如，如果您的模型需要 8 个 vCPU，请选择
n2-highcpu-8-gdc机器类型，这是 Distributed Cloud 中具有 8 个 vCPU 和 8 GB 内存的最小解决方案。 - 随着项目的推进，只有在较小的解决方案无法满足您的需求以及模型的大小和复杂程度时，才考虑采用性能更高的解决方案。请务必遵循最小权限原则，仅使用执行特定工作流程所需的资源。这种负责任的方法可确保在分布式云环境中合理使用资源。
- 如果您的模型需要 GPU，请仅选择具有 GPU 的解决方案。
- 如果您的模型需要 GPU，请考虑
a2-highgpu-1g-gdc机器类型，这是提供 GPU 的最小解决方案。
预测集群案例模板
请使用以下模板向您的 IO 发送电子邮件。该电子邮件会提交支持请求，以创建在线预测所需的预测集群。
Good day,
I need to create a prediction cluster and associate it with a project in my organization to use online predictions.
Please use the following information for the creation of the cluster:
- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]
**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster
Thank you,
[Your name]