GDC Connected 上的 Gemini API 在 GDC Connected 上的运作方式

本页介绍了 Gemini on Google Distributed Cloud Connected API 的运作方式，包括有关其基础架构、硬件和软件功能的信息。

概览

Gemini on GDC connected API 是一种开箱即用的软件解决方案，可让您在连接到本地网络的 Google 认证硬件上部署 Gemini 模型。这些模型托管在部署于分布式云连接集群上的保密虚拟机 (CVM) 中。所需硬件具有 Google 建立并认证的特定配置。

经 Google 认证的硬件

Gemini on GDC connected API 需要经过 Google 认证的硬件，并且配置必须完全符合经过 Google 认证的硬件中的说明。 您必须先在本地订购并安装此硬件，然后才能订购 Gemini on GDC connected API。 在订购通过 GDC 连接的 API 上的 Gemini 时，您必须按照安装要求中所述，向 Google 提供相应的服务标签和其他硬件识别信息。

经过 Google 认证的硬件具有以下规范：

  • 平台：Dell XE9680 服务器机箱
  • CPU：2 个 Intel Xeon Platinum 8592+ 64 核处理器
  • 内存：2TB DDR5 5600 MT/s RDIMM RAM
  • GPU：NVIDIA HGX H200 SXM 组件，包含八 (8) 个 NVIDIA H200 系列 GPU
  • 存储：经过 FIPS 认证的 NVMe 存储，配置如下：
    • 2 个 960 GB 驱动器，采用硬件 RAID1，用于操作系统
    • 软件 RAID1 中的 2 个 15.36 TB 驱动器，预留用于系统预留功能
    • 6 个 15.36 TB 驱动器，用于存储机密虚拟机的本地数据，这些虚拟机可为连接到 GDC 的 Gemini API 端点提供服务。
  • 网络：
    • 两 (2) 个 Mellanox ConnectX-6 双端口 100 GbE QFSP56 网络适配器
    • 一个 (1) 集成的 Broadcom 5720 1 GbE 网卡
  • 管理：集成式 Dell 远程访问控制器 9 (iDRAC9) Datacenter 16G，用于嵌入式系统管理
  • 电源：六 (6) 个 2800W 钛金认证电源

在 GDC Connected API 上部署 Gemini 时，需要使用一台 (1) 经过 Google 认证的机器。 Gemini on GDC connected API 不在非 Google 认证的硬件配置上运行。

保密虚拟机

由 Gemini on GDC connected API 提供的模型托管在运行于分布式云连接集群中的保密虚拟机内。远程证明可确保已部署 CVM 的安全性和完整性以及运行这些 CVM 的安全软件环境。

远程证明

Gemini on GDC connected API 需要持续的互联网连接，以保持对已部署 CVM 和托管它们的安全软件环境的远程证明。证明机制是使用 Intel® Software Guard Extension (Intel® SGX) 远程证明服务实现的。您必须订阅 Intel® SGX Provisioning Certification Service，并在订购通过 GDC 连接的 API 上的 Gemini 时向 Google 提供相应的 API 密钥。

远程证明失败

远程证明服务会在 Gemini on GDC 连接的 API 部署与 Google 之间建立心跳，这需要不间断的互联网连接。如果此心跳中断的时间连续超过 30 分钟，CVM 将关闭，直到重新建立心跳为止。请与您的 Google 代表联系，以解决认证失败问题。

支持的模型

此版本的 Gemini on GDC connected API 支持以下模型：

  • Gemini 2.0 Flash 128k，公开 ID 为 gemini-2.0-flash-001。

如需详细了解适合使用 GDC 连接 API 的 Gemini 的工作负载，请参阅 Gemini 概览。

部署步骤

概括来讲，在 Gemini on GDC Connected API 上部署 Gemini 模型的过程如下所示：

  1. 按照硬件中的说明，采购并安装经过 Google 认证的硬件。
  2. 完成满足安装要求中所述所有安装要求所需的步骤。
  3. 按照在 Distributed Cloud connected 上订购 Gemini on Google Distributed Cloud connected API 中的说明，订购 Gemini on GDC connected API。 在订购时，您必须提供安装要求中列出的信息，以便 Google 可以为您的 Gemini on GDC 连接的 API 部署提供软件管理和远程证明，以证明托管您要部署的模型的 CVM。
  4. 安排 Google 技术人员上门，以便在您的 Google 认证硬件上安装和配置 Gemini on GDC Connected API 软件。
  5. 按照启用必需的 API 中的说明启用必需的 API。
  6. 按照授予必需的角色中所述，为 Gemini on Google Distributed Cloud Connected API 管理员和 Gemini on GDC Connected API 模型消费者账号授予必需的角色。
  7. 按照部署 Gemini on GDC 连接的 API 端点中所述，创建并部署 Gemini on GDC 连接的 API 端点。
  8. 按照与 GDC 连接的 API 端点上的 Gemini 进行互动中所述，与部署在 GDC 连接的 API 端点上的 Gemini 进行互动。

后续步骤