Como o Gemini na API GDC connected no GDC connected funciona

Nesta página, descrevemos como funciona o Gemini na API conectada do Google Distributed Cloud, incluindo informações sobre infraestrutura, recursos de hardware e software.

Visão geral

O Gemini na API conectada do GDC é uma solução de software pronta para uso que permite implantar modelos do Gemini no seu próprio hardware certificado pelo Google conectado à rede local. Os modelos são hospedados em máquinas virtuais confidenciais (CVMs) implantadas em clusters conectados ao Distributed Cloud. O hardware necessário tem uma configuração específica estabelecida e certificada pelo Google.

Hardware certificado pelo Google

O Gemini na API conectada do GDC exige hardware certificado pelo Google configurado exatamente como descrito em Hardware certificado pelo Google. É necessário pedir e instalar esse hardware nas suas instalações antes de pedir o Gemini na API conectada ao GDC. Você precisa fornecer as tags de serviço correspondentes e outras informações de identificação de hardware ao Google ao fazer o pedido do Gemini na API conectada ao GDC, conforme descrito em Requisitos de instalação.

O hardware certificado pelo Google tem as seguintes especificações:

  • Plataforma:chassi do servidor Dell XE9680
  • CPU:dois processadores Intel Xeon Platinum 8592+ de 64 núcleos
  • Memória: 2 TB DDR5 5600 MT/s RDIMM RAM
  • GPU:conjunto NVIDIA HGX H200 SXM com oito (8) GPUs da série NVIDIA H200
  • Armazenamento: armazenamento NVMe certificado pelo FIPS configurado da seguinte maneira:
    • 2 unidades de 960 GB em RAID1 de hardware para o sistema operacional
    • 2 unidades de 15,36 TB em RAID1 de software reservadas para funções reservadas do sistema
    • Seis unidades de 15,36 TB para armazenar dados das máquinas virtuais confidenciais que atendem localmente aos endpoints de API conectados do Gemini no GDC.
  • Rede:
    • Dois (2) adaptadores de rede Mellanox ConnectX-6 de porta dupla 100 GbE QFSP56
    • Um adaptador de rede Broadcom 5720 1 GbE integrado
  • Gerenciamento: Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G para gerenciamento de sistemas incorporados
  • Alimentação:seis fontes de alimentação de 2.800 W com certificação Titanium

Uma única implantação do Gemini na API GDC connected consiste em uma (1) máquina certificada pelo Google. O Gemini na API conectada do GDC não é executado em configurações de hardware não certificadas pelo Google.

Máquinas virtuais confidenciais

Os modelos disponibilizados pelo Gemini na API conectada do GDC são hospedados em máquinas virtuais confidenciais executadas em clusters Distributed Cloud Connected. A comprovação remota garante a segurança e a integridade das CVMs implantadas e do ambiente de software seguro que as executa.

Atestado remoto

A API conectada do Gemini no GDC exige uma conexão constante com a Internet para manter o atestado remoto das CVMs implantadas e do ambiente de software seguro que as hospeda. O mecanismo de certificação é implementado usando os Serviços de certificação remota do Intel® Software Guard Extension (Intel® SGX). Você precisa ter uma assinatura do serviço de certificação de provisionamento do Intel® SGX e fornecer as chaves de API correspondentes ao Google ao pedir o Gemini na API conectada ao GDC.

Falha na atestação remota

O serviço de atestado remoto estabelece um heartbeat entre a implantação da API conectada do Gemini no GDC e o Google, o que exige uma conexão de Internet ininterrupta. Se esse heartbeat for interrompido por mais de 30 minutos consecutivos, as CVMs serão desligadas até que ele seja restabelecido. Entre em contato com seu representante do Google para resolver falhas de atestado.

Modelos compatíveis

Esta versão da API conectada do Gemini no GDC é compatível com os seguintes modelos:

  • Gemini 2.0 Flash 128k com ID público gemini-2.0-flash-001.

Para mais informações sobre as cargas de trabalho adequadas para o Gemini na API conectada do GDC, consulte a visão geral do Gemini.

Etapas da implantação

Em um nível superior, a implantação de um modelo do Gemini na API conectada do Gemini no GDC tem esta aparência:

  1. Adquira e instale o hardware certificado pelo Google, conforme descrito em Hardware.
  2. Conclua as etapas necessárias para atender a todos os requisitos de instalação descritos em Requisitos de instalação.
  3. Faça o pedido do Gemini na API GDC connected, conforme descrito em Pedir o Gemini na API Google Distributed Cloud connected no Distributed Cloud connected. Ao fazer o pedido, você precisa fornecer as informações listadas em Requisitos de instalação para que o Google possa provisionar o Gemini na implantação da API conectada ao GDC para gerenciamento de software e comprovação remota das CVMs que hospedam os modelos que você quer implantar.
  4. Agende uma visita com um técnico do Google, que precisa ir até seu local para instalar e configurar o software da API Gemini no GDC conectado no hardware certificado pelo Google.
  5. Ative as APIs necessárias, conforme descrito em Ativar as APIs necessárias.
  6. Conceda aos administradores da API conectada do Gemini no Google Distributed Cloud e às contas de consumidor do modelo da API conectada do Gemini no GDC os papéis necessários, conforme descrito em Conceder os papéis necessários.
  7. Crie e implante seus endpoints de API conectados do Gemini no GDC, conforme descrito em Implantar um endpoint de API conectado do Gemini no GDC.
  8. Interaja com o Gemini implantado nos endpoints de API conectados ao GDC, conforme descrito em Interagir com um Gemini em um endpoint de API conectado ao GDC.

A seguir