So funktioniert die Gemini on GDC Connected API in GDC Connected

Auf dieser Seite wird beschrieben, wie die Gemini on Google Distributed Cloud Connected API funktioniert. Außerdem finden Sie Informationen zur Infrastruktur sowie zu den Hardware- und Softwarefunktionen.

Übersicht

Gemini on GDC connected API ist eine schlüsselfertige Softwarelösung, mit der Sie Gemini-Modelle auf Ihrer eigenen Google-zertifizierten Hardware bereitstellen können, die mit Ihrem lokalen Netzwerk verbunden ist. Die Modelle werden in Confidential Virtual Machines (CVMs) gehostet, die in Distributed Cloud Connected-Clustern bereitgestellt werden. Die erforderliche Hardware hat eine bestimmte Konfiguration, die von Google festgelegt und zertifiziert wurde.

Von Google zertifizierte Hardware

Für die API für Gemini auf GDC ist Google-zertifizierte Hardware erforderlich, die genau wie unter Google-zertifizierte Hardware beschrieben konfiguriert ist. Sie müssen diese Hardware bestellen und in Ihren Räumlichkeiten installieren, bevor Sie Gemini über die GDC-verbundene API bestellen. Sie müssen Google die entsprechenden Service-Tags und andere Hardware-Identifikationsinformationen zur Verfügung stellen, wenn Sie Gemini über die GDC-verbundene API bestellen, wie in den Installationsanforderungen beschrieben.

Die von Google zertifizierte Hardware hat die folgenden Spezifikationen:

  • Plattform:Dell XE9680-Servergehäuse
  • CPU:Zwei (2) Intel Xeon Platinum 8592+-Prozessoren mit 64 Kernen
  • Arbeitsspeicher: 2 TB DDR5 5600 MT/s RDIMM RAM
  • GPU:NVIDIA HGX H200 SXM-Baugruppe mit acht (8) GPUs der NVIDIA H200-Serie
  • Speicher: FIPS-zertifizierter NVMe-Speicher, der so konfiguriert ist:
    • 2 × 960 GB-Festplatten in Hardware-RAID1 für das Betriebssystem
    • 2 × 15,36 TB-Laufwerke in Software-RAID1, die für systemreservierte Funktionen reserviert sind
    • 6 Laufwerke mit je 15,36 TB zum Speichern von Daten für die vertraulichen VMs, die Ihre mit Gemini on GDC verbundenen API-Endpunkte lokal bereitstellen.
  • Netzwerk:
    • Zwei (2) Mellanox ConnectX-6 Dual-Port-100 GbE-QFSP56-Netzwerkadapter
    • Ein (1) integrierter Broadcom 5720 1 GbE-Netzwerkadapter
  • Verwaltung: Integrierter Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G für die Verwaltung eingebetteter Systeme
  • Stromversorgung:Sechs (6) 2.800 W starke Netzteile mit Titanium-Zertifizierung

Eine einzelne Bereitstellung von Gemini auf der GDC Connected API besteht aus einer (1) von Google zertifizierten Maschine. Gemini on GDC connected API wird nicht auf Hardwarekonfigurationen ausgeführt, die nicht von Google zertifiziert sind.

Vertrauliche virtuelle Maschinen

Die von Gemini on GDC connected bereitgestellten Modelle werden in vertraulichen virtuellen Maschinen gehostet, die in Distributed Cloud connected-Clustern ausgeführt werden. Durch die Remote-Attestierung werden die Sicherheit und Integrität der bereitgestellten CVMs und der sicheren Softwareumgebung, in der sie ausgeführt werden, gewährleistet.

Remote-Zertifizierung

Für die Gemini on GDC connected API ist eine ständige Internetverbindung erforderlich, um die Remote-Attestierung der bereitgestellten CVMs und der sicheren Softwareumgebung, in der sie gehostet werden, aufrechtzuerhalten. Der Attestierungsmechanismus wird mit Intel® Software Guard Extension (Intel® SGX) Remote Attestation Services implementiert. Sie benötigen ein Abonnement für den Intel® SGX Provisioning Certification Service und müssen Google die entsprechenden API-Schlüssel zur Verfügung stellen, wenn Sie Gemini über die GDC-verbundene API bestellen.

Fehler bei der Remote-Zertifizierung

Der Remote-Attestierungsdienst stellt eine Heartbeat-Verbindung zwischen Ihrer Gemini on GDC-API-Bereitstellung und Google her. Dazu ist eine ununterbrochene Internetverbindung erforderlich. Wenn dieser Heartbeat länger als 30 Minuten unterbrochen wird, werden die CVMs heruntergefahren, bis der Heartbeat wiederhergestellt ist. Wenden Sie sich an Ihren Google-Ansprechpartner, um Attestierungsfehler zu beheben.

Unterstützte Modelle

Diese Version der Gemini on GDC Connected API unterstützt die folgenden Modelle:

  • Gemini 2.0 Flash 128k mit der öffentlichen ID gemini-2.0-flash-001.

Weitere Informationen zu den Arbeitslasten, die für die Gemini on GDC Connected API geeignet sind, finden Sie unter Gemini – Übersicht.

Deployment

Die Bereitstellung eines Gemini-Modells in der Gemini on GDC-API sieht ungefähr so aus:

  1. Beschaffen und installieren Sie die von Google zertifizierte Hardware, wie unter Hardware beschrieben.
  2. Führen Sie die erforderlichen Schritte aus, um alle in Installationsanforderungen beschriebenen Installationsanforderungen zu erfüllen.
  3. Bestellen Sie die Gemini on GDC Connected API, wie unter Gemini on Google Distributed Cloud Connected API in Distributed Cloud Connected bestellen beschrieben. Bei der Bestellung müssen Sie die unter Installationsanforderungen aufgeführten Informationen angeben, damit Google Ihre mit Gemini on GDC verbundene API-Bereitstellung für die Softwareverwaltung und die Remote-Attestierung der CVMs bereitstellen kann, auf denen die Modelle gehostet werden, die Sie bereitstellen möchten.
  4. Vereinbaren Sie einen Termin mit einem Google-Techniker, der Ihren Standort besuchen muss, um die mit GDC verbundene API-Software für Gemini auf Ihrer Google-zertifizierten Hardware zu installieren und zu konfigurieren.
  5. Aktivieren Sie die erforderlichen APIs, wie unter Erforderliche APIs aktivieren beschrieben.
  6. Weisen Sie Ihren Administratoren der mit Gemini on Google Distributed Cloud verbundenen API und den Konten der Nutzer der mit Gemini on GDC verbundenen API-Modelle die erforderlichen Rollen zu, wie unter Erforderliche Rollen zuweisen beschrieben.
  7. Erstellen und stellen Sie Ihre mit Gemini on GDC verbundenen API-Endpunkte bereit, wie unter Mit Gemini on GDC verbundene API-Endpunkte bereitstellen beschrieben.
  8. Interagieren Sie mit Ihren bereitgestellten Gemini on GDC-API-Endpunkten, wie unter Mit einem Gemini on GDC-API-Endpunkt interagieren beschrieben.

Nächste Schritte