自行部署模型概览

Model Garden 同时提供可自行部署的开放模型、合作伙伴模型和自定义模型，您可以在 Vertex AI 上部署和提供这些模型。这些模型与模型即服务 (MaaS) 产品不同，后者是无服务器的，不需要手动部署。

自行部署模型时，您可以在 Google Cloud 项目和 VPC 网络中安全地部署模型。

自行部署开放模型

开放模型为各种 AI 任务提供预训练模型，包括擅长多模态处理的 Gemini 模型。开放模型可免费使用，您可以随意发布其输出，并且只要您遵守许可条款，就可以在任何地方使用它。Vertex AI 提供开放模型（也称为开放权重模型）和开源模型。

将开放模型与 Vertex AI 搭配使用时，您可以将 Vertex AI 用于基础设施。您还可以将开放模型与其他基础设施产品（例如 PyTorch 或 Jax）搭配使用。

开放权重模型

许多开放模型都被认为是开放权重大语言模型 (LLM)。开放模型比非开放权重模型的透明度更高。模型的权重是存储在模型的神经网络架构中的数值，用于表示从训练模型的数据中学习的模式和关系。系统会发布开放权重模型的预训练参数或权重。您可以使用开放权重模型进行推理和调优，但不提供原始数据集、模型架构和训练代码等详细信息。

开源模型

开放模型不同于开源 AI 模型。虽然开放模型通常会公开已学模式的权重和核心数值表示法，但不一定会提供完整的源代码或训练细节。提供权重可提供一定程度的 AI 模型透明度，让您无需自行构建模型即可了解模型的功能。

自行部署的合作伙伴模型

预览版

此功能受服务专用条款的“通用服务条款”部分中的“非正式版产品条款”的约束。 非正式版功能“按原样”提供，可能只能获得有限的支持。 如需了解详情，请参阅发布阶段说明。

Model Garden 可帮助您购买和管理合作伙伴提供的专有模型许可，这些模型可作为自行部署选项提供。从 Cloud Marketplace 购买模型访问权限后，您可以选择部署到按需硬件上，也可以使用 Compute Engine 预留和承诺使用折扣来满足预算要求。您需要为模型使用情况以及您使用的 Vertex AI 基础设施付费。

如需申请使用自行部署的合作伙伴模型，请在 Model Garden 控制台中找到相关模型，点击与销售人员联系，然后填写表单，这样即可与 Google Cloud 销售代表联系。

如需详细了解如何部署和使用合作伙伴模型，请参阅部署合作伙伴模型并发出预测请求。

注意事项

使用自行部署的合作伙伴模型时，请考虑以下限制：

• 与开放模型不同，您无法导出权重。
• 如果您为项目设置了 VPC Service Controls，则无法上传模型，这会阻止您部署合作伙伴模型。
• 对于端点，仅支持共享公共端点类型。

注意：合作伙伴会针对特定于模型的问题提供支持。如需就模型性能相关问题与合作伙伴联系，请使用其 Model Garden 模型卡片“支持”部分中的详细联系信息。

详细了解 Vertex AI 中的自行部署模型

• 如需详细了解自定义权重，请参阅部署具有自定义权重的模型。
• 如需详细了解 Model Garden，请参阅 Model Garden 概览。
• 如需详细了解如何部署模型，请参阅使用 Model Garden 中的模型。
• 使用 Gemma 开放模型
• 使用 Llama 开放模型
• 使用 Hugging Face 开放模型