Cómo funciona Gemini en la API de GDC conectado

En esta página, se describe cómo funciona Gemini en la API conectada de Google Distributed Cloud, incluida información sobre su infraestructura, hardware y capacidades de software.

Descripción general

Gemini en la API conectada de GDC es una solución de software llave en mano que te permite implementar modelos de Gemini en tu propio hardware certificado por Google y conectado a tu red local. Los modelos se alojan en máquinas virtuales confidenciales (CVM) implementadas en clústeres conectados a Distributed Cloud. El hardware requerido tiene una configuración específica establecida y certificada por Google.

Hardware certificado por Google

La API conectada de Gemini en GDC requiere hardware certificado por Google configurado exactamente como se describe en Hardware certificado por Google. Debes pedir e instalar este hardware en tus instalaciones antes de solicitar la API conectada de Gemini en GDC. Cuando pidas Gemini en la API conectada a GDC, debes proporcionar a Google las etiquetas de servicio correspondientes y otra información de identificación del hardware, como se describe en los requisitos de instalación.

El hardware certificado por Google tiene las siguientes especificaciones:

  • Plataforma: Chasis del servidor Dell XE9680
  • CPU: Dos (2) procesadores Intel Xeon Platinum 8592+ de 64 núcleos
  • Memoria: 2 TB de RAM RDIMM DDR5 a 5600 MT/s
  • GPU: NVIDIA HGX H200 SXM con ocho (8) GPUs de la serie NVIDIA H200
  • Almacenamiento: Almacenamiento NVMe certificado por FIPS configurado de la siguiente manera:
    • 2 unidades de 960 GB en RAID 1 de hardware para el sistema operativo
    • 2 unidades de 15.36 TB en RAID 1 de software reservadas para funciones reservadas del sistema
    • 6 unidades de 15.36 TB para almacenar datos de las máquinas virtuales confidenciales que publican de forma local tus extremos de API conectados a Gemini on GDC.
  • Redes:
    • Dos (2) adaptadores de red Mellanox ConnectX-6 de doble puerto 100 GbE QFSP56
    • Un (1) adaptador de red Broadcom 5720 1 GbE integrado
  • Administración: Controlador de acceso remoto integrado de Dell 9 (iDRAC9) Datacenter 16G para la administración de sistemas integrados
  • Alimentación: Seis (6) fuentes de alimentación con certificación de titanio de 2,800 W

Una sola implementación de Gemini en la API conectada a GDC consta de una (1) máquina certificada por Google. Gemini en la API conectada de GDC no se ejecuta en configuraciones de hardware que no están certificadas por Google.

Máquinas virtuales confidenciales

Los modelos que ofrece Gemini en la API conectada de GDC se alojan en máquinas virtuales confidenciales que se ejecutan en clústeres conectados a Distributed Cloud. La certificación remota garantiza la seguridad y la integridad de las CVM implementadas y el entorno de software seguro en el que se ejecutan.

Certificación remota

La API conectada de Gemini en GDC requiere una conexión a Internet constante para mantener la certificación remota de las CVM implementadas y el entorno de software seguro que las aloja. El mecanismo de certificación se implementa con los servicios de certificación remota de Intel® Software Guard Extension (Intel® SGX). Debes tener una suscripción al servicio de certificación de aprovisionamiento de Intel® SGX y proporcionar las claves de API correspondientes a Google cuando pidas Gemini en la API conectada a GDC.

Error de certificación remota

El servicio de certificación remota establece un latido entre la implementación de la API conectada de Gemini en GDC y Google, lo que requiere una conexión a Internet ininterrumpida. Si este latido se interrumpe durante más de 30 minutos consecutivos, las CVM se apagan hasta que se restablece el latido. Comunícate con tu representante de Google para resolver los errores de certificación.

Modelos compatibles

Esta versión de la API conectada de Gemini en GDC admite los siguientes modelos:

  • Gemini 2.0 Flash 128k con ID público gemini-2.0-flash-001.

Para obtener más información sobre las cargas de trabajo adecuadas para Gemini en la API conectada a GDC, consulta la descripción general de Gemini.

Pasos para la implementación

En términos generales, la implementación de un modelo de Gemini en la API conectada de Gemini en GDC se ve de la siguiente manera:

  1. Adquiere e instala el hardware certificado por Google, como se describe en Hardware.
  2. Completa los pasos necesarios para satisfacer todos los requisitos de instalación que se describen en Requisitos de instalación.
  3. Solicita la API de Gemini en GDC connected como se describe en Solicita la API de Gemini en Google Distributed Cloud connected en Distributed Cloud connected. Cuando realices el pedido, debes proporcionar la información que se indica en Requisitos de instalación para que Google pueda aprovisionar tu implementación de la API conectada de Gemini en GDC para la administración de software y la certificación remota de las CVM que alojan los modelos que deseas implementar.
  4. Programa una visita con un técnico de Google que debe visitar tu ubicación para instalar y configurar el software de la API conectada de Gemini en GDC en tu hardware certificado por Google.
  5. Habilita las APIs necesarias, como se describe en Habilita las APIs necesarias.
  6. Otorga a los administradores de la API conectada de Gemini on Google Distributed Cloud y a las cuentas de consumidor del modelo de la API conectada de Gemini on GDC los roles requeridos, como se describe en Otorga los roles requeridos.
  7. Crea e implementa tus extremos de API conectados a Gemini on GDC, como se describe en Implementa un extremo de API conectado a Gemini on GDC.
  8. Interactúa con tu Gemini implementado en los extremos de API conectados a GDC como se describe en Interactúa con un extremo de API conectado a Gemini on GDC.

¿Qué sigue?