安装要求

在订购 Gemini on Google Distributed Cloud Connected API 之前,您必须满足本文档中所述的安装要求。如需了解详情,请参阅获取支持

经过认证的硬件

在订购 Gemini on GDC connected API 之前,您必须采购符合本部分所述确切配置的认证硬件。此配置适用于单个经过 Google 认证的机器。

Dell SKU 数量
PowerEdge XE9680,DSS RESTRICTED 210-BHYV 1
2.5 底盘 379-BDTF 1
可信平台模块 2.0 V3 461-AAIG 1
XE9680 6U 机箱,配备 8 个 GPU,仅支持 8 个 2.5 英寸 NVMe 321-BIEK 1
Intel Xeon Platinum 8592+ 1.9G、64C/128T、20GT/s、320M 缓存、Turbo、HT (350W) DDR5-5600 338-CPBP 1
Intel Xeon Platinum 8592+ 1.9G、64C/128T、20GT/s、320M 缓存、Turbo、HT (350W) DDR5-5600 338-CPBP 1
已选择其他处理器 379-BDCO 1
升降卡配置 2 330-BCHH 1
适用于 2 个 CPU 配置的散热器 412-BBCN 1
性能优化 370-AAIP 1
5600MT/s RDIMM 370-BBRX 1
C30,NVME 机箱不支持 RAID 780-BCDO 1
无控制器 405-AACD 1
性能 BIOS 设置 384-BBBL 1
采用 GPT 分区的 UEFI BIOS 启动模式 800-BBDM 1
超高性能风扇 x6 750-ADGJ 1
3+3 FTR(GPU 电源制动已启用)、热插拔 PSU、2800W MM HLAC (200-240Vac) 钛金、C22 连接器 450-AMMN 1
XE9680 系统主板,MX,MLK 338-CPWL 1
PowerEdge 2U LCD 前挡板 325-BETK 1
NVIDIA HGX H200 8-GPU SXM 141GB 700W GPU 组件 490-BKHF 1
BOSS-N1 控制器卡 + 2 个 FIPS M.2 960GB (RAID 1) 403-BCVH 1
XE9680 BOSS 线缆 470-AFNO 1
没有 OCP 3.0 中间层 NIC 卡 412-AASK 1
没有操作系统,没有实用程序分区 611-BBBG 1
iDRAC9、Datacenter 16G 528-CTID 1
iDRAC Secure Enterprise Key Manager 许可 2.0 634-BZIL 1
安全组件验证 528-COYT 1
iDRAC,出厂生成的密码 379-BCSF 1
iDRAC 服务模块 (ISM),未安装 379-BCQX 1
iDRAC Group Manager,已停用 379-BCQY 1
XE9680 机架导轨理线臂 770-BEPB 1
XE9680 滑动就绪轨道 (B28) 770-BEPC 1
PowerEdge XE9680,已发货 340-DDBX 1
PowerEdge XE9680 CE 标示,无 CCC 标示 389-EFKE 1
XE9680 运输材料 343-BBXC 1
企业计划管理支持 973-3700 1
基本次工作日 36 个月 709-BFTF 1
RESTRICTED:ProSupport One Data Center and Next Business Day Onsite Service Vol Low Ext, 24 Month(s) 199-BTKS 1
RESTRICTED:ProSupport One Data Center and Next Business Day Onsite Service Vol Low Init, 36 Month(s) 199-BTKT 1
保留企业版硬盘,60 个月 711-BCXN 1
ProDeploy Plus PowerEdge XE 系列 5U6U 683-BDSB 1
已选择基础架构部署 701-6538 1
128GB RDIMM,5600MT/s,四级 370-BBQY 16
800G 数据中心 NVMe 混合用途 AG 驱动器 U2 Gen4(带托架) 400-BRPJ 1
C20 到 C21,PDU 型,16 安培,8 英尺,电源线 450-AGXK 6
Broadcom 5720 双端口 1GbE LOM 540-BDKD 1
Mellanox ConnectX-6 DX 双端口 100GbE QSFP56 网卡,全高 540-BCXO 2

尺寸和重量

每台经过 Google 认证的机器的高度为 6U,尺寸如下:

  • 高度:263.2 毫米(10.36 英寸)
  • 宽度:482.0 毫米(18.97 英寸)
  • 深度:1008.77 毫米(39.71 英寸),包括前挡板

每台经过 Google 认证的机器重 113.3 千克(249.78 磅)。

供电和冷却

每台经过 Google 认证的机器都具有以下电气规格:

  • 电压:100V 至 240V 交流电,50/60Hz
  • 功率:最大 11,000W

您的设施必须具有足够的冷却能力,才能支持每个已部署 Gemini on GDC connected API 的 Google 认证机器。

网络

本部分介绍了在 GDC Connected API 上部署 Gemini 的网络要求。

网络连接

图 1 说明了 GDC 连接 API 网络上的 Gemini。

图 1. Distributed Cloud connected 网络上的 GDC connected API 上的 Gemini。
图 1. Distributed Cloud connected 网络上的 GDC connected API 版 Gemini。

您必须满足以下网络连接要求,才能部署 Gemini on GDC connected API:

  • 准备一个支持四通道小型可插拔 (QFSP) 100 千兆位光纤连接的架顶式 (ToR) 交换机。

  • 在每个经过 Google 认证的机器上,至少在 ToR 交换机上分配一个 QFSP 100 千兆位光端口;不过,Google 建议为每个机器分配两个 QFSP 100G 光端口,以实现高可用性。每个端口都需要 QSFP-100G-SR4-S 线缆。

  • 如果每台机器分配两个端口,请将两个 ToR 交换机端口连接到每台机器上的同一 Mellanox CX-6 网络适配器。

  • 网速至少为 1 Gbps(下游)和 100 Mbps(上游)的网络连接。

为每台经过 Google 认证的机器建立以下网络连接:

  • 将机器上 Mellanox CX-6 网络适配器的一个或两个 QFSP 100 千兆位端口连接到 ToR 交换机。这些端口用于处理 Gemini on GDC 连接的 API 和 Distributed Cloud 连接的软件的高速流量。

  • 将计算机上的集成式 Dell 远程访问控制器 (iDRAC) 端口连接到单独的第 2 层交换机。 这是机器管理所必需的。

  • 在第 2 层连接管理交换机和 ToR 交换机。

网络配置

按如下方式配置本地网络,以便在 GDC 连接的 API 上部署 Gemini:

  • 分配一个专用未标记 VLAN,并将其配置为最大传输单元 (MTU) 大小为 1500 字节。
  • 为工作负载连接分配专用 /26 IPv4 CIDR 地址块。
  • 使用 BGP 对等互连为 VLAN 配置北向连接;向上游网络通告分配的 /26 CIDR 块。
  • 为 VLAN 配置通向上游网络和互联网的默认路由。
  • 一个动态主机配置协议 (DHCP) 服务器,可为经过 Google 认证的机器分配 IPv4 地址以进行启动。 此 DHCP 块中的地址必须是工作负载连接 IPv4 CIDR 地址块的最后一个 /29 部分。

ToR 交换机配置

按如下方式配置 ToR 交换机:

  • 在分配给 GDC 连接的 API 机器上 Gemini 的端口上启用 DHCPv4 和 DNS 支持。
  • 在 MTU 为 1500 字节的专用未标记 VLAN 上配置专用 /26 IPv4 CIDR 地址块。
  • 将 CIDR 块中的第一个 IPv4 地址分配为网络网关。
  • 确保 CIDR 块中的其余 IPv4 地址处于空闲状态;GDC 连接的 API 上的 Gemini 会自动为系统功能、服务和本地模型端点分配这些地址。

DHCP 服务器配置

在连接到 API 的 GDC 机器上为 Gemini 配置 DHCP 服务器,如下所示:

  • DHCP 服务器必须可从连接到 GDC 上连接的 Gemini API 机器的所有 ToR 交换机端口访问。
  • 在连接到 GDC 的 API 机器上,为 Gemini 预留您已分配的 /26 IPv4 CIDR 块的最后一个 /29 段以用于 DHCP 分配,并将 DHCP 服务器配置为使用此 /29 段作为 DHCP 地址池。

防火墙配置

将本地防火墙配置为允许 Gemini on GDC 连接的 API 流量,如下所示:

名称 来源 IP 地址 目标任播 IP 地址 协议 端口
GDC 连接管理 (TCP)、证明服务、朗读检查服务、模型下载 GDCc 可用区 CIDR (/26) Google IP 范围 TCP 443
GDC 互联管理 (UDP) GDCc 可用区 CIDR (/26) Google IP 范围 UDP 443
域名服务 (DNS) GDCc 可用区 CIDR (/26) Google DNS:8.8.8.88.8.4.4 UDP 53
网络时间协议 (NTP) GDCc 可用区 CIDR (/26) Google NTP:216.239.35.{0,4,8,12} UDP 123
Intel TDX 远程证明 GDCc 可用区 CIDR (/26) 4.255.75.174/32 TCP 443

Intel TDX 远程证明 API 密钥

如需对为 Gemini on GDC 连接的 API 端点提供服务的机密虚拟机启用证明,您必须获取 Intel TDX 远程证明 API 密钥并将其提供给 Google。如需获取 API 密钥,请完成本部分中的步骤。

  1. 前往 Intel® Provisioning Certification Service for ECDSA Attestation 页面

  2. Get PCK Certificates 部分,点击 Subscribe

  3. 按照显示的说明创建账号并建立 Intel® SGX Provisioning Certification Service 订阅。

  4. 在您账号的您的订阅部分中,找到并记下 Intel® SGX Provisioning Certification Service 订阅的主 API 密钥

需要向 Google 提供的信息

向 Google 提供以下信息:

  1. 负责采购和部署 Google 认证机器的人员的联系信息。

  2. 您为 Google 认证的机器分配的 /26 IPv4 CIDR 块。

  3. Intel® SGX Provisioning Certification Service 订阅的主 API 密钥和辅助 API 密钥。

  4. 已连接到 GDC 的 Gemini API 机器的服务标记。如需查看相关说明,请参阅查找 Express 服务代码和服务标签

  5. Google 认证的机器中非启动磁盘驱动器的物理安全标识符 (PSID)。

  6. Google Cloud 项目的项目 ID,该项目托管了 Distributed Cloud Connected Zone for Gemini on GDC Connected API。

验证已认证的硬件

在安排 Google 技术人员上门服务之前,您必须按以下步骤验证您的认证硬件:

  1. 从您的 Google 代表处获取硬件验证脚本。

  2. 在经过认证的机器上安装或实时启动 Ubuntu Linux。

  3. 在经过认证的机器上运行硬件验证脚本。

  4. 将脚本的输出内容提供给您的 Google 代表。

后续步骤

如需将 Gemini on GDC 连接的 API 部署上线,请执行以下操作:

  1. 在目标位置接收并安装通过 Gemini on GDC connected API 认证的硬件。

  2. 按照本文档前面所述,配置 Gemini on GDC connected API 环境。

  3. 验证经过认证的硬件,如本文档前面所述。

  4. 与您的 Google 代表协调,安排 Google 技术人员上门服务。

  5. 完成 Google 技术人员的访问,以安装和配置 Gemini on GDC Connected API 软件。

  6. 完成创建和管理端点中的步骤。