Come funziona l'API Gemini su GDC Connected

Questa pagina descrive il funzionamento dell'API Gemini su Google Distributed Cloud connected, incluse informazioni su infrastruttura, funzionalità hardware e software.

Panoramica

Gemini sull'API GDC connected è una soluzione software chiavi in mano che ti consente di eseguire il deployment dei modelli Gemini sul tuo hardware certificato da Google connesso alla tua rete locale. I modelli sono ospitati all'interno di macchine virtuali confidenziali (CVM) di cui è stato eseguito il deployment su cluster Distributed Cloud Connected. L'hardware richiesto ha una configurazione specifica stabilita e certificata da Google.

Hardware certificato da Google

L'API Gemini on GDC connessa richiede hardware certificato da Google configurato esattamente come descritto in Hardware certificato da Google. Devi ordinare e installare questo hardware presso la tua sede prima di ordinare Gemini sull'API connessa a GDC. Quando ordini Gemini sull'API connessa a GDC, devi fornire a Google i service tag corrispondenti e altre informazioni di identificazione dell'hardware, come descritto in Requisiti di installazione.

L'hardware certificato da Google ha le seguenti specifiche:

Piattaforma: chassis del server Dell XE9680
CPU: due (2) processori Intel Xeon Platinum 8592+ a 64 core
Memoria: 2 TB di RAM RDIMM DDR5 5600 MT/s
GPU: gruppo NVIDIA HGX H200 SXM con otto (8) GPU della serie NVIDIA H200
Spazio di archiviazione: spazio di archiviazione NVMe con certificazione FIPS configurato come segue:
- 2 unità da 960 GB in RAID1 hardware per il sistema operativo
- 2 unità da 15,36 TB in RAID1 software riservate alle funzioni riservate al sistema
- 6 unità da 15,36 TB per l'archiviazione dei dati per le macchine virtuali confidenziali che servono localmente gli endpoint API Gemini on GDC connessi.
Networking:
- Due (2) schede di rete Mellanox ConnectX-6 dual-port 100 GbE QFSP56
- Un (1) adattatore di rete Broadcom 5720 1 GbE integrato
Gestione: Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G per la gestione del sistema integrato
Alimentazione: sei (6) alimentatori con certificazione Titanium da 2800 W

Un singolo deployment di Gemini sull'API GDC Connected è costituito da una (1) macchina certificata da Google. Gemini sull'API GDC connessa non viene eseguito su configurazioni hardware non certificate da Google.

Macchine virtuali confidenziali

I modelli forniti da Gemini sull'API GDC Connected sono ospitati all'interno di macchine virtuali confidenziali in esecuzione su cluster Distributed Cloud Connected. L'attestazione remota garantisce la sicurezza e l'integrità delle CVM di cui è stato eseguito il deployment e dell'ambiente software sicuro che le esegue.

Attestazione remota

L'API Gemini su GDC connessa richiede una connessione a internet costante per mantenere l'attestazione remota delle CVM di cui è stato eseguito il deployment e dell'ambiente software sicuro che le ospita. Il meccanismo di attestazione viene implementato utilizzando Intel® Software Guard Extension (Intel® SGX) Remote Attestation Services. Devi disporre di un abbonamento al servizio di provisioning di Intel® SGX e fornire le chiavi API corrispondenti a Google quando ordini Gemini sull'API connessa a GDC.

Errore di attestazione da remoto

Il servizio di attestazione remota stabilisce un heartbeat tra il deployment dell'API connessa di Gemini on GDC e Google, che richiede una connessione a internet ininterrotta. Se questo heartbeat viene interrotto per più di 30 minuti consecutivi, le CVM vengono arrestate finché l'heartbeat non viene ristabilito. Contatta il tuo rappresentante di Google per risolvere gli errori di attestazione.

Modelli supportati

Questa release dell'API Gemini on GDC connessa supporta i seguenti modelli:

Gemini 2.0 Flash 128k con ID pubblico gemini-2.0-flash-001.

Per ulteriori informazioni sui workload adatti a Gemini nell'API GDC Connected, consulta la panoramica di Gemini.

Passi per il deployment

A livello generale, il deployment di un modello Gemini sull'API Gemini su GDC Connected è il seguente:

Acquista e installa l'hardware certificato da Google, come descritto in Hardware.
Completa i passaggi necessari per soddisfare tutti i requisiti di installazione descritti in Requisiti di installazione.
Ordina Gemini sull'API GDC connessa come descritto in Ordina Gemini sull'API Google Distributed Cloud connessa su Distributed Cloud connesso. Al momento dell'ordine, devi fornire le informazioni elencate in Requisiti di installazione in modo che Google possa eseguire il provisioning del deployment dell'API connessa di Gemini su GDC per la gestione del software e l'attestazione remota delle CVM che ospitano i modelli che vuoi eseguire il deployment.
Pianifica una visita con un tecnico Google che deve recarsi presso la tua sede per installare e configurare il software dell'API Gemini on GDC connected sull'hardware certificato da Google.
Abilita le API richieste, come descritto in Abilita le API richieste.
Concedi agli amministratori delle API connesse di Gemini on Google Distributed Cloud e agli account consumer del modello di API connesse di Gemini on GDC i ruoli richiesti, come descritto in Concedere i ruoli richiesti.
Crea ed esegui il deployment degli endpoint API connessi a Gemini on GDC, come descritto in Esegui il deployment di un endpoint API connesso a Gemini on GDC.
Interagisci con Gemini di cui è stato eseguito il deployment sugli endpoint API connessi a GDC come descritto in Interagisci con un endpoint API connesso a Gemini on GDC.