安裝需求

訂購 Gemini on Google Distributed Cloud connected API 前,請先確認您符合本文所述的安裝需求。詳情請參閱「取得支援」一文。

認證硬體

訂購 Gemini on GDC 連線 API 之前,請務必先採購符合本節所述確切設定的認證硬體。這項設定適用於單一 Google 認證裝置。

項目 Dell SKU 數量
PowerEdge XE9680,DSS RESTRICTED 210-BHYV 1
2.5 底盤 379-BDTF 1
可信任平台模組 2.0 V3 461-AAIG 1
XE9680 6U 機箱,搭載 8 個 GPU,僅支援 8 個 2.5 吋 NVMe 321-BIEK 1
Intel Xeon Platinum 8592+ 1.9G、64C/128T、20GT/s、320M 快取、Turbo、HT (350W) DDR5-5600 338-CPBP 1
Intel Xeon Platinum 8592+ 1.9G、64C/128T、20GT/s、320M 快取、Turbo、HT (350W) DDR5-5600 338-CPBP 1
已選取其他處理器 379-BDCO 1
Riser Config 2 330-BCHH 1
2 個 CPU 設定的散熱片 412-BBCN 1
最佳處理效能 370-AAIP 1
5600MT/s RDIMM 370-BBRX 1
C30,NVME 機箱不支援 RAID 780-BCDO 1
沒有遙控器 405-AACD 1
效能 BIOS 設定 384-BBBL 1
使用 GPT 分區的 UEFI BIOS 啟動模式 800-BBDM 1
高效能風扇 x6 750-ADGJ 1
3+3 FTR (已啟用 GPU 電源煞車)、熱插拔 PSU、2800W MM HLAC (200-240Vac) 鈦金、C22 連接器 450-AMMN 1
XE9680 系統主機板,MX,MLK 338-CPWL 1
PowerEdge 2U LCD 螢幕外框 325-BETK 1
NVIDIA HGX H200 8-GPU SXM 141GB 700W GPU 組件 490-BKHF 1
BOSS-N1 控制器卡 + 2 個 FIPS M.2 960GB (RAID 1) 403-BCVH 1
XE9680 BOSS 纜線 470-AFNO 1
沒有 OCP 3.0 中介層 NIC 卡 412-AASK 1
未安裝作業系統,沒有公用程式磁碟分割 611-BBBG 1
iDRAC9、Datacenter 16G 528-CTID 1
iDRAC Secure Enterprise Key Manager 授權 2.0 634-BZIL 1
安全元件驗證 528-COYT 1
iDRAC,原廠產生的密碼 379-BCSF 1
iDRAC 服務模組 (ISM),未安裝 379-BCQX 1
iDRAC 群組管理員,已停用 379-BCQY 1
XE9680 機架導軌線材管理臂 770-BEPB 1
XE9680 滑動式 Ready Rail (B28) 770-BEPC 1
PowerEdge XE9680,出貨 340-DDBX 1
PowerEdge XE9680 CE 標章,無 CCC 標章 389-EFKE 1
XE9680 運送材料 343-BBXC 1
企業計畫管理支援 973-3700 1
Basic Next Business Day 36 Months 709-BFTF 1
RESTRICTED:ProSupport One Data Center and Next Business Day Onsite Service Vol Low Ext, 24 Month(s) 199-BTKS 1
RESTRICTED:ProSupport One Data Center and Next Business Day Onsite Service Vol Low Init, 36 Month(s) 199-BTKT 1
Keep Your Hard Drive For Enterprise, 60 Month(s) 711-BCXN 1
ProDeploy Plus PowerEdge XE 系列 5U6U 683-BDSB 1
已選取基礎架構部署 701-6538 1
128 GB RDIMM,5600 MT/s,四級 370-BBQY 16
800G 資料中心 NVMe 混合用途 AG 磁碟 U2 Gen4 (含載體) 400-BRPJ 1
C20 至 C21、PDU 樣式、16 安培、8 英尺、電源線 450-AGXK 6
Broadcom 5720 雙埠 1GbE LOM 540-BDKD 1
Mellanox ConnectX-6 DX 雙埠 100GbE QSFP56 網路介面卡,全高 540-BCXO 2

尺寸和重量

每部 Google 認證的機器高度為 6U,尺寸如下:

  • 高度:263.2 公釐 (10.36 吋)
  • 寬度:482.0 公釐 (18.97 吋)
  • 深度:1008.77 公釐 (39.71 吋),含前擋板

每部 Google 認證機器的重量為 113.3 公斤 (249.78 磅)。

電力和冷卻系統

每部 Google 認證的機器都具有下列電氣規格:

  • 電壓:100V 至 240V AC,50/60Hz
  • 功率:最高 11,000W

您的設施必須具備足夠的冷卻能力,才能支援每個 Gemini on GDC 連線 API 部署作業的一部 Google 認證機器。

網路

本節說明透過 GDC 連線 API 部署 Gemini 時的網路需求。

網路連線

圖 1 說明 GDC connected API 網路上的 Gemini。

圖 1. 透過 Distributed Cloud 連結網路,在 GDC connected API 上使用 Gemini。
圖 1. Distributed Cloud 連結網路方案上的 Gemini on GDC connected API。

如要在 GDC 連線 API 上部署 Gemini,必須符合下列網路連線規定:

  • 準備支援 Quad Small Form-factor Pluggable (QFSP) 100 Gigabit 光纖連線的架頂 (ToR) 交換器。

  • 每部 Google 認證的機器,在 ToR 交換器上至少要分配一個 QFSP 100 Gigabit 光纖連接埠;不過,Google 建議每部機器分配兩個 QFSP 100G 光纖連接埠,以確保高可用性。這些通訊埠都需要 QSFP-100G-SR4-S 纜線。

  • 如果每部機器分配兩個連接埠,請將兩個 ToR 交換器連接埠連至每部機器上的相同 Mellanox CX-6 網路介面卡。

  • 網際網路連線的最低頻寬為下游 1 Gbps 和上游 100 Mbps。

針對每部 Google 認證的機器,建立下列網路連線:

  • 將機器上 Mellanox CX-6 網路介面卡的其中一個或兩個 QFSP 100 Gigabit 通訊埠,連線至 ToR 交換器。這些連接埠會處理 Gemini on GDC 連線 API 和 Distributed Cloud 連線軟體的高速流量。

  • 將電腦上的整合式 Dell 遠端存取控制器 (iDRAC) 連接埠,連線至獨立的第 2 層交換器。 這是管理電腦的必要條件。

  • 在第 2 層連線管理交換器和 ToR 交換器。

網路設定

請按照下列步驟設定區域網路,在 GDC 連線 API 上部署 Gemini:

  • 分配專屬的未標記 VLAN,並將最大傳輸單位 (MTU) 大小設為 1500 位元組。
  • 為工作負載連線分配私人 /26 IPv4 CIDR 位址區塊。
  • 使用 BGP 對等互連設定 VLAN 的北向連線,並將指派的 /26 CIDR 區塊通告至上游網路。
  • 為 VLAN 佈建連往上游網路和網際網路的預設路徑。
  • 動態主機設定通訊協定 (DHCP) 伺服器,可將 IPv4 位址指派給通過 Google 認證的機器,以進行啟動程序。這個 DHCP 區塊中的位址必須是工作負載連線 IPv4 CIDR 位址區塊的最後一個 /29 區段。

ToR 交換器設定

請按照下列步驟設定 ToR 交換器:

  • 在連線至 GDC Connected API 電腦的 Gemini 分配埠上,啟用 DHCPv4 和 DNS 支援。
  • 在 MTU 為 1500 位元組的專屬未標記 VLAN 上,設定私人 /26 IPv4 CIDR 區塊。
  • 將 CIDR 區塊中的第一個 IPv4 位址分配為網路閘道。
  • 確認 CIDR 區塊中的其餘 IPv4 位址皆為空閒狀態;Gemini on GDC 連線 API 會自動為系統功能、服務和本機模型端點分配這些位址。

DHCP 伺服器設定

在 GDC 連線 API 電腦上,為 Gemini 設定 DHCP 伺服器,步驟如下:

  • DHCP 伺服器必須可從所有 ToR 交換器連接埠存取,這些連接埠會連線至 GDC 連線 API 機器的 Gemini。
  • 在 GDC 連線 API 電腦上,為指派 DHCP 保留您分配給 Gemini 的 /26 IPv4 CIDR 區塊的最後一個 /29 區段,並將 DHCP 伺服器設定為使用這個 /29 區段做為 DHCP 位址集區。

防火牆設定

設定本機防火牆,允許 Gemini on GDC 連線 API 流量,方法如下:

名稱 來源 IP 位址 目的地任播 IP 位址 通訊協定 通訊埠
GDC connected 管理 (TCP)、認證服務、背誦檢查服務、模型下載 GDCc 可用區 CIDR (/26) Google IP 範圍 TCP 443
GDC connected 管理 (UDP) GDCc 可用區 CIDR (/26) Google IP 範圍 UDP 443
網域名稱服務 (DNS) GDCc 可用區 CIDR (/26) Google DNS:8.8.8.88.8.4.4 UDP 53
網路時間通訊協定 (NTP) GDCc 可用區 CIDR (/26) Google NTP:216.239.35.{0,4,8,12} UDP 123
Intel TDX 遠端認證 GDCc 可用區 CIDR (/26) 4.255.75.174/32 TCP 443

Intel TDX 遠端認證 API 金鑰

如要啟用為 Gemini on GDC 連線 API 端點提供服務的機密虛擬機器認證,請取得 Intel TDX 遠端認證 API 金鑰,並提供給 Google。如要取得 API 金鑰,請完成本節中的步驟。

  1. 前往 Intel® Provisioning Certification Service for ECDSA Attestation 頁面

  2. 在「取得 PCK 憑證」部分,按一下「訂閱」

  3. 按照畫面上的指示建立帳戶,並設定 Intel® SGX Provisioning Certification Service 訂閱項目。

  4. 在帳戶的「你的訂閱項目」部分,找出並記下 Intel® SGX Provisioning Certification Service 訂閱項目的主要 API 金鑰

提供給 Google 的資訊

請向 Google 提供下列資訊:

  1. 負責採購及部署 Google 認證機器的聯絡人資訊。

  2. 您為 Google 認證機器分配的 /26 IPv4 CIDR 區塊。

  3. Intel® SGX Provisioning Certification Service 訂閱方案的主要和次要 API 金鑰。

  4. Gemini on GDC 連線 API 機器的服務標記。如需操作說明,請參閱「尋找快速服務代碼和服務編號」。

  5. Google 認證電腦中非開機磁碟機的實體安全 ID (PSID)。

  6. 專案 ID: Google Cloud 專案會代管 Distributed Cloud 連線區域,以透過 Gemini on GDC 連線 API 存取。

驗證認證硬體

安排 Google 技術人員上門服務前,請務必先驗證認證硬體,方法如下:

  1. 向 Google 代表索取硬體驗證指令碼。

  2. 在認證的電腦上安裝或即時啟動 Ubuntu Linux。

  3. 在認證的電腦上執行硬體驗證指令碼。

  4. 將指令碼輸出內容提供給 Google 代表。

後續步驟

如要讓 Gemini on GDC 連線 API 部署作業上線,請按照下列步驟操作:

  1. 在目標地點接收並安裝 Gemini on GDC connected API 認證硬體。

  2. 如本文稍早所述,設定 Gemini on GDC 連線 API 環境。

  3. 如本文稍早所述,驗證認證硬體。

  4. 請與 Google 代表協調,安排 Google 技術人員到府服務。

  5. Google 技術人員會到府安裝及設定 Gemini on GDC connected API 軟體。

  6. 完成「建立及管理端點」中的步驟。