Como funciona o Gemini na API GDC connected no GDC connected

Esta página descreve como funciona a API Google Distributed Cloud connected do Gemini, incluindo informações sobre a respetiva infraestrutura, hardware e capacidades de software.

Vista geral

O Gemini on GDC connected API é uma solução de software pronta a usar que lhe permite implementar modelos do Gemini no seu próprio hardware certificado pela Google ligado à sua rede local. Os modelos estão alojados em máquinas virtuais confidenciais (CVMs) implementadas em clusters Distributed Cloud connected. O hardware necessário tem uma configuração específica estabelecida e certificada pela Google.

Hardware certificado pela Google

O Gemini na API GDC connected requer hardware certificado pela Google configurado exatamente como descrito em Hardware certificado pela Google. Tem de encomendar e instalar este hardware nas suas instalações antes de encomendar o Gemini na API GDC connected. Tem de fornecer as etiquetas de serviço correspondentes e outras informações de identificação de hardware à Google quando encomendar o Gemini na API GDC Connected, conforme descrito nos Requisitos de instalação.

O hardware certificado pela Google tem as seguintes especificações:

  • Plataforma: chassis do servidor Dell XE9680
  • CPU: dois (2) processadores Intel Xeon Platinum 8592+ de 64 núcleos
  • Memória: 2 TB DDR5 5600 MT/s RDIMM RAM
  • GPU: conjunto NVIDIA HGX H200 SXM com oito (8) GPUs da série NVIDIA H200
  • Armazenamento: armazenamento NVMe certificado pela FIPS configurado da seguinte forma:
    • 2 discos de 960 GB em RAID1 de hardware para o sistema operativo
    • 2 unidades de 15,36 TB no RAID1 de software reservadas para funções reservadas do sistema
    • 6 unidades de 15,36 TB para armazenar dados para as máquinas virtuais confidenciais que servem localmente os seus pontos finais da API Gemini on GDC connected.
  • Rede:
    • Dois (2) adaptadores de rede Mellanox ConnectX-6 de porta dupla 100 GbE QFSP56
    • Um (1) adaptador de rede Broadcom 5720 1 GbE integrado
  • Gestão: Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G para gestão de sistemas incorporados
  • Alimentação: seis (6) fontes de alimentação de 2800 W com certificação Titanium

Uma única implementação do Gemini na API GDC connected consiste numa (1) máquina certificada pela Google. O Gemini na API GDC Connected não é executado em configurações de hardware não certificadas pela Google.

Máquinas virtuais confidenciais

Os modelos disponibilizados pelo Gemini na API GDC connected estão alojados em máquinas virtuais confidenciais executadas em clusters Distributed Cloud connected. A atestação remota garante a segurança e a integridade das CVMs implementadas e do ambiente de software seguro que as executa.

Atestação remota

O Gemini na API GDC Connected requer uma ligação constante à Internet para manter a atestação remota das CVMs implementadas e do ambiente de software seguro que as aloja. O mecanismo de atestação é implementado através dos serviços de atestação remota da Intel® Software Guard Extension (Intel® SGX). Tem de ter uma subscrição do serviço de certificação de aprovisionamento Intel® SGX e fornecer as chaves de API correspondentes à Google quando encomendar o Gemini na API GDC connected.

Falha na atestação remota

O serviço de atestação remota estabelece uma ligação entre a implementação da API Gemini on GDC e a Google, o que requer uma ligação à Internet ininterrupta. Se este sinal for interrompido durante mais de 30 minutos consecutivos, as VMs do CVM são encerradas até que o sinal seja restabelecido. Contacte o seu representante da Google para resolver falhas na atestação.

Modelos suportados

Esta versão do Gemini na API GDC connected é compatível com os seguintes modelos:

  • Gemini 2.0 Flash 128k com ID público gemini-2.0-flash-001.

Para mais informações sobre as cargas de trabalho adequadas para o Gemini na API Google Data Cloud, consulte a vista geral do Gemini.

Passos de implementação

A um nível elevado, a implementação de um modelo Gemini na API Gemini on GDC connected tem o seguinte aspeto:

  1. Adquira e instale o hardware certificado pela Google, conforme descrito em Hardware.
  2. Conclua os passos necessários para cumprir todos os requisitos de instalação descritos em Requisitos de instalação.
  3. Encomende o Gemini na API GDC connected, conforme descrito em Encomende o Gemini na API Google Distributed Cloud connected no Distributed Cloud connected. Ao fazer a encomenda, tem de facultar as informações indicadas nos Requisitos de instalação para que a Google possa aprovisionar a sua implementação da API Gemini on GDC connected para a gestão de software e a atestação remota das CVMs que alojam os modelos que quer implementar.
  4. Agende uma visita com um técnico da Google que tem de visitar a sua localização para instalar e configurar o software da API Gemini on GDC connected no hardware certificado pela Google.
  5. Ative as APIs necessárias, conforme descrito em Ative as APIs necessárias.
  6. Conceda aos administradores da API Gemini on Google Distributed Cloud connected e às contas de consumidor do modelo da API Gemini on GDC connected as funções necessárias, conforme descrito em Conceda as funções necessárias.
  7. Crie e implemente os seus pontos finais da API Gemini on GDC connected, conforme descrito no artigo Implemente um ponto final da API Gemini on GDC connected.
  8. Interagir com o Gemini implementado nos pontos finais da API ligada ao GDC, conforme descrito no artigo Interagir com um ponto final da API ligada ao GDC do Gemini.

O que se segue?