Fonctionnement de l'API Gemini sur GDC connecté

Cette page décrit le fonctionnement de l'API Gemini on Google Distributed Cloud connected, y compris des informations sur son infrastructure, ainsi que ses capacités matérielles et logicielles.

Présentation

Gemini sur l'API connectée GDC est une solution logicielle clé en main qui vous permet de déployer des modèles Gemini sur votre propre matériel certifié Google connecté à votre réseau local. Les modèles sont hébergés dans des machines virtuelles confidentielles (CVM) déployées sur des clusters Distributed Cloud connectés. La configuration du matériel requis est spécifique, établie et certifiée par Google.

Matériel certifié par Google

L'API Gemini sur GDC connecté nécessite du matériel certifié par Google, configuré exactement comme décrit dans Matériel certifié par Google. Vous devez commander et installer ce matériel dans vos locaux avant de commander l'API Gemini on GDC connected. Vous devez fournir les numéros de série correspondants et d'autres informations d'identification du matériel à Google lorsque vous commandez Gemini sur l'API connectée GDC, comme décrit dans Exigences d'installation.

Le matériel certifié par Google présente les spécifications suivantes :

  • Plate-forme : châssis de serveur Dell XE9680
  • Processeur : deux processeurs Intel Xeon Platinum 8592+ à 64 cœurs
  • Mémoire : 2 To de RAM DDR5 5600 MT/s RDIMM
  • GPU : assemblage NVIDIA HGX H200 SXM avec huit (8) GPU de la série NVIDIA H200
  • Stockage : stockage NVMe certifié FIPS configuré comme suit :
    • Deux disques de 960 Go en RAID1 matériel pour le système d'exploitation
    • Deux disques de 15,36 To en RAID 1 logiciel réservés aux fonctions système
    • Six disques de 15,36 To pour stocker les données des machines virtuelles confidentielles qui diffusent localement vos points de terminaison d'API connectés à Gemini sur GDC.
  • Mise en réseau :
    • Deux (2) adaptateurs réseau Mellanox ConnectX-6 double port 100 GbE QFSP56
    • Un adaptateur réseau Broadcom 5720 1 GbE intégré
  • Gestion : Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G pour la gestion des systèmes intégrés
  • Alimentation : six alimentations certifiées Titanium de 2 800 W

Un déploiement unique de l'API Gemini sur GDC connecté se compose d'une (1) machine certifiée par Google. Gemini sur l'API connectée GDC ne s'exécute pas sur les configurations matérielles non certifiées par Google.

Machines virtuelles confidentielles

Les modèles proposés par Gemini sur l'API connectée GDC sont hébergés dans des machines virtuelles confidentielles s'exécutant sur des clusters Distributed Cloud connectés. L'attestation à distance garantit la sécurité et l'intégrité des CVM déployées et de l'environnement logiciel sécurisé qui les exécute.

Attestation à distance

L'API Gemini on GDC connected nécessite une connexion Internet constante pour maintenir l'attestation à distance des CVM déployées et de l'environnement logiciel sécurisé qui les héberge. Le mécanisme d'attestation est implémenté à l'aide des services d'attestation à distance Intel® Software Guard Extension (Intel® SGX). Vous devez disposer d'un abonnement au service de certification de provisionnement Intel® SGX et fournir les clés API correspondantes à Google lorsque vous commandez Gemini sur l'API connectée GDC.

Échec de l'attestation à distance

Le service d'attestation à distance établit un signal de présence entre votre déploiement d'API Gemini sur GDC connecté et Google, ce qui nécessite une connexion Internet ininterrompue. Si ce signal est interrompu pendant plus de 30 minutes consécutives, les CVM sont arrêtées jusqu'à ce que le signal soit rétabli. Contactez votre représentant Google pour résoudre les échecs d'attestation.

Modèles compatibles

Cette version de l'API connectée Gemini sur GDC est compatible avec les modèles suivants :

  • Gemini 2.0 Flash 128k avec l'ID public gemini-2.0-flash-001.

Pour en savoir plus sur les charges de travail adaptées à Gemini sur l'API connectée GDC, consultez Présentation de Gemini.

Procédure de déploiement

Dans les grandes lignes, le déploiement d'un modèle Gemini sur l'API connectée Gemini on GDC se présente comme suit :

  1. Procurez-vous et installez le matériel certifié par Google, comme décrit dans Matériel.
  2. Suivez les étapes nécessaires pour satisfaire toutes les exigences d'installation décrites dans Exigences d'installation.
  3. Commandez l'API Gemini on GDC Connected comme décrit dans Commander l'API Gemini on Google Distributed Cloud Connected sur Distributed Cloud Connected. Lorsque vous passez commande, vous devez fournir les informations listées dans Conditions d'installation afin que Google puisse provisionner votre déploiement d'API connectée Gemini sur GDC pour la gestion des logiciels et l'attestation à distance des CVM qui hébergent les modèles que vous souhaitez déployer.
  4. Planifiez une visite avec un technicien Google qui doit se rendre sur place pour installer et configurer le logiciel de l'API Gemini on GDC Connected sur votre matériel certifié Google.
  5. Activez les API requises, comme décrit dans Activer les API requises.
  6. Attribuez les rôles requis à vos administrateurs d'API connectées Gemini sur Google Distributed Cloud et à vos comptes de consommateur de modèle d'API connectées Gemini sur GDC, comme décrit dans Attribuer les rôles requis.
  7. Créez et déployez vos points de terminaison d'API connectés à Gemini sur GDC, comme décrit dans Déployer un point de terminaison d'API connecté à Gemini sur GDC.
  8. Interagissez avec les points de terminaison de l'API Gemini sur GDC connectés que vous avez déployés, comme décrit dans Interagir avec un point de terminaison de l'API Gemini sur GDC connecté.

Étapes suivantes