在订购 Gemini on Google Distributed Cloud Connected API 之前,您必须满足本文档中所述的安装要求。如需了解详情,请参阅获取支持。
经过认证的硬件
在订购 Gemini on GDC connected API 之前,您必须采购符合本部分所述确切配置的认证硬件。此配置适用于单个经过 Google 认证的机器。
项 | Dell SKU | 数量 |
---|---|---|
PowerEdge XE9680,DSS RESTRICTED | 210-BHYV | 1 |
2.5 底盘 | 379-BDTF | 1 |
可信平台模块 2.0 V3 | 461-AAIG | 1 |
XE9680 6U 机箱,配备 8 个 GPU,仅支持 8 个 2.5 英寸 NVMe | 321-BIEK | 1 |
Intel Xeon Platinum 8592+ 1.9G、64C/128T、20GT/s、320M 缓存、Turbo、HT (350W) DDR5-5600 | 338-CPBP | 1 |
Intel Xeon Platinum 8592+ 1.9G、64C/128T、20GT/s、320M 缓存、Turbo、HT (350W) DDR5-5600 | 338-CPBP | 1 |
已选择其他处理器 | 379-BDCO | 1 |
升降卡配置 2 | 330-BCHH | 1 |
适用于 2 个 CPU 配置的散热器 | 412-BBCN | 1 |
性能优化 | 370-AAIP | 1 |
5600MT/s RDIMM | 370-BBRX | 1 |
C30,NVME 机箱不支持 RAID | 780-BCDO | 1 |
无控制器 | 405-AACD | 1 |
性能 BIOS 设置 | 384-BBBL | 1 |
采用 GPT 分区的 UEFI BIOS 启动模式 | 800-BBDM | 1 |
超高性能风扇 x6 | 750-ADGJ | 1 |
3+3 FTR(GPU 电源制动已启用)、热插拔 PSU、2800W MM HLAC (200-240Vac) 钛金、C22 连接器 | 450-AMMN | 1 |
XE9680 系统主板,MX,MLK | 338-CPWL | 1 |
PowerEdge 2U LCD 前挡板 | 325-BETK | 1 |
NVIDIA HGX H200 8-GPU SXM 141GB 700W GPU 组件 | 490-BKHF | 1 |
BOSS-N1 控制器卡 + 2 个 FIPS M.2 960GB (RAID 1) | 403-BCVH | 1 |
XE9680 BOSS 线缆 | 470-AFNO | 1 |
没有 OCP 3.0 中间层 NIC 卡 | 412-AASK | 1 |
没有操作系统,没有实用程序分区 | 611-BBBG | 1 |
iDRAC9、Datacenter 16G | 528-CTID | 1 |
iDRAC Secure Enterprise Key Manager 许可 2.0 | 634-BZIL | 1 |
安全组件验证 | 528-COYT | 1 |
iDRAC,出厂生成的密码 | 379-BCSF | 1 |
iDRAC 服务模块 (ISM),未安装 | 379-BCQX | 1 |
iDRAC Group Manager,已停用 | 379-BCQY | 1 |
XE9680 机架导轨理线臂 | 770-BEPB | 1 |
XE9680 滑动就绪轨道 (B28) | 770-BEPC | 1 |
PowerEdge XE9680,已发货 | 340-DDBX | 1 |
PowerEdge XE9680 CE 标示,无 CCC 标示 | 389-EFKE | 1 |
XE9680 运输材料 | 343-BBXC | 1 |
企业计划管理支持 | 973-3700 | 1 |
基本次工作日 36 个月 | 709-BFTF | 1 |
RESTRICTED:ProSupport One Data Center and Next Business Day Onsite Service Vol Low Ext, 24 Month(s) | 199-BTKS | 1 |
RESTRICTED:ProSupport One Data Center and Next Business Day Onsite Service Vol Low Init, 36 Month(s) | 199-BTKT | 1 |
保留企业版硬盘,60 个月 | 711-BCXN | 1 |
ProDeploy Plus PowerEdge XE 系列 5U6U | 683-BDSB | 1 |
已选择基础架构部署 | 701-6538 | 1 |
128GB RDIMM,5600MT/s,四级 | 370-BBQY | 16 |
800G 数据中心 NVMe 混合用途 AG 驱动器 U2 Gen4(带托架) | 400-BRPJ | 1 |
C20 到 C21,PDU 型,16 安培,8 英尺,电源线 | 450-AGXK | 6 |
Broadcom 5720 双端口 1GbE LOM | 540-BDKD | 1 |
Mellanox ConnectX-6 DX 双端口 100GbE QSFP56 网卡,全高 | 540-BCXO | 2 |
尺寸和重量
每台经过 Google 认证的机器的高度为 6U,尺寸如下:
- 高度:263.2 毫米(10.36 英寸)
- 宽度:482.0 毫米(18.97 英寸)
- 深度:1008.77 毫米(39.71 英寸),包括前挡板
每台经过 Google 认证的机器重 113.3 千克(249.78 磅)。
供电和冷却
每台经过 Google 认证的机器都具有以下电气规格:
- 电压:100V 至 240V 交流电,50/60Hz
- 功率:最大 11,000W
您的设施必须具有足够的冷却能力,才能支持每个已部署 Gemini on GDC connected API 的 Google 认证机器。
网络
本部分介绍了在 GDC Connected API 上部署 Gemini 的网络要求。
网络连接
图 1 说明了 GDC 连接 API 网络上的 Gemini。
您必须满足以下网络连接要求,才能部署 Gemini on GDC connected API:
准备一个支持四通道小型可插拔 (QFSP) 100 千兆位光纤连接的架顶式 (ToR) 交换机。
在每个经过 Google 认证的机器上,至少在 ToR 交换机上分配一个 QFSP 100 千兆位光端口;不过,Google 建议为每个机器分配两个 QFSP 100G 光端口,以实现高可用性。每个端口都需要 QSFP-100G-SR4-S 线缆。
如果每台机器分配两个端口,请将两个 ToR 交换机端口连接到每台机器上的同一 Mellanox CX-6 网络适配器。
网速至少为 1 Gbps(下游)和 100 Mbps(上游)的网络连接。
为每台经过 Google 认证的机器建立以下网络连接:
将机器上 Mellanox CX-6 网络适配器的一个或两个 QFSP 100 千兆位端口连接到 ToR 交换机。这些端口用于处理 Gemini on GDC 连接的 API 和 Distributed Cloud 连接的软件的高速流量。
将计算机上的集成式 Dell 远程访问控制器 (iDRAC) 端口连接到单独的第 2 层交换机。 这是机器管理所必需的。
在第 2 层连接管理交换机和 ToR 交换机。
网络配置
按如下方式配置本地网络,以便在 GDC 连接的 API 上部署 Gemini:
- 分配一个专用未标记 VLAN,并将其配置为最大传输单元 (MTU) 大小为 1500 字节。
- 为工作负载连接分配专用 /26 IPv4 CIDR 地址块。
- 使用 BGP 对等互连为 VLAN 配置北向连接;向上游网络通告分配的 /26 CIDR 块。
- 为 VLAN 配置通向上游网络和互联网的默认路由。
- 一个动态主机配置协议 (DHCP) 服务器,可为经过 Google 认证的机器分配 IPv4 地址以进行启动。 此 DHCP 块中的地址必须是工作负载连接 IPv4 CIDR 地址块的最后一个 /29 部分。
ToR 交换机配置
按如下方式配置 ToR 交换机:
- 在分配给 GDC 连接的 API 机器上 Gemini 的端口上启用 DHCPv4 和 DNS 支持。
- 在 MTU 为 1500 字节的专用未标记 VLAN 上配置专用 /26 IPv4 CIDR 地址块。
- 将 CIDR 块中的第一个 IPv4 地址分配为网络网关。
- 确保 CIDR 块中的其余 IPv4 地址处于空闲状态;GDC 连接的 API 上的 Gemini 会自动为系统功能、服务和本地模型端点分配这些地址。
DHCP 服务器配置
在连接到 API 的 GDC 机器上为 Gemini 配置 DHCP 服务器,如下所示:
- DHCP 服务器必须可从连接到 GDC 上连接的 Gemini API 机器的所有 ToR 交换机端口访问。
- 在连接到 GDC 的 API 机器上,为 Gemini 预留您已分配的 /26 IPv4 CIDR 块的最后一个 /29 段以用于 DHCP 分配,并将 DHCP 服务器配置为使用此 /29 段作为 DHCP 地址池。
防火墙配置
将本地防火墙配置为允许 Gemini on GDC 连接的 API 流量,如下所示:
名称 | 来源 IP 地址 | 目标任播 IP 地址 | 协议 | 端口 |
---|---|---|---|---|
GDC 连接管理 (TCP)、证明服务、朗读检查服务、模型下载 | GDCc 可用区 CIDR (/26) | Google IP 范围 | TCP | 443 |
GDC 互联管理 (UDP) | GDCc 可用区 CIDR (/26) | Google IP 范围 | UDP | 443 |
域名服务 (DNS) | GDCc 可用区 CIDR (/26) | Google DNS:8.8.8.8 、8.8.4.4 |
UDP | 53 |
网络时间协议 (NTP) | GDCc 可用区 CIDR (/26) | Google NTP:216.239.35.{0,4,8,12} |
UDP | 123 |
Intel TDX 远程证明 | GDCc 可用区 CIDR (/26) | 4.255.75.174/32 |
TCP | 443 |
Intel TDX 远程证明 API 密钥
如需对为 Gemini on GDC 连接的 API 端点提供服务的机密虚拟机启用证明,您必须获取 Intel TDX 远程证明 API 密钥并将其提供给 Google。如需获取 API 密钥,请完成本部分中的步骤。
前往 Intel® Provisioning Certification Service for ECDSA Attestation 页面。
在 Get PCK Certificates 部分,点击 Subscribe。
按照显示的说明创建账号并建立 Intel® SGX Provisioning Certification Service 订阅。
在您账号的您的订阅部分中,找到并记下 Intel® SGX Provisioning Certification Service 订阅的主 API 密钥。
需要向 Google 提供的信息
向 Google 提供以下信息:
负责采购和部署 Google 认证机器的人员的联系信息。
您为 Google 认证的机器分配的 /26 IPv4 CIDR 块。
Intel® SGX Provisioning Certification Service 订阅的主 API 密钥和辅助 API 密钥。
已连接到 GDC 的 Gemini API 机器的服务标记。如需查看相关说明,请参阅查找 Express 服务代码和服务标签。
Google 认证的机器中非启动磁盘驱动器的物理安全标识符 (PSID)。
Google Cloud 项目的项目 ID,该项目托管了 Distributed Cloud Connected Zone for Gemini on GDC Connected API。
验证已认证的硬件
在安排 Google 技术人员上门服务之前,您必须按以下步骤验证您的认证硬件:
从您的 Google 代表处获取硬件验证脚本。
在经过认证的机器上安装或实时启动 Ubuntu Linux。
在经过认证的机器上运行硬件验证脚本。
将脚本的输出内容提供给您的 Google 代表。
后续步骤
如需将 Gemini on GDC 连接的 API 部署上线,请执行以下操作:
在目标位置接收并安装通过 Gemini on GDC connected API 认证的硬件。
按照本文档前面所述,配置 Gemini on GDC connected API 环境。
验证经过认证的硬件,如本文档前面所述。
与您的 Google 代表协调,安排 Google 技术人员上门服务。
完成 Google 技术人员的访问,以安装和配置 Gemini on GDC Connected API 软件。
完成创建和管理端点中的步骤。