Cómo funciona la API de Gemini en GDC conectado

En esta página se describe cómo funciona la API Gemini en Google Distributed Cloud connected, incluida información sobre su infraestructura y sus capacidades de hardware y software.

Información general

Gemini en la API conectada de GDC es una solución de software llave en mano que te permite implementar modelos de Gemini en tu propio hardware certificado por Google conectado a tu red local. Los modelos se alojan en máquinas virtuales confidenciales (CVMs) implementadas en clústeres de Distributed Cloud connected. El hardware necesario tiene una configuración específica establecida y certificada por Google.

Hardware certificado por Google

Gemini en la API conectada de GDC requiere hardware certificado por Google configurado exactamente como se describe en Hardware certificado por Google. Debes pedir e instalar este hardware en tus instalaciones antes de pedir Gemini en la API conectada de GDC. Debes proporcionar las etiquetas de servicio correspondientes y otra información de identificación del hardware a Google al pedir Gemini en la API conectada de GDC, tal como se describe en los requisitos de instalación.

El hardware certificado por Google tiene las siguientes especificaciones:

  • Plataforma: chasis de servidor Dell XE9680
  • CPU: dos (2) procesadores Intel Xeon Platinum 8592+ de 64 núcleos
  • Memoria: 2 TB de RAM DDR5 5600 MT/s RDIMM
  • GPU: ensamblaje NVIDIA HGX H200 SXM con ocho (8) GPUs de la serie NVIDIA H200
  • Almacenamiento: almacenamiento NVMe certificado por FIPS configurado de la siguiente manera:
    • 2 unidades de 960 GB en RAID 1 de hardware para el sistema operativo
    • 2 unidades de 15,36 TB en RAID 1 de software reservadas para funciones reservadas del sistema
    • 6 unidades de 15,36 TB para almacenar datos de las máquinas virtuales confidenciales que sirven localmente tus endpoints de API conectados de Gemini en GDC.
  • Redes:
    • Dos (2) adaptadores de red Mellanox ConnectX-6 de doble puerto 100 GbE QFSP56
    • Un (1) adaptador de red Broadcom 5720 1 GbE integrado
  • Gestión: Integrated Dell Remote Access Controller 9 (iDRAC9) Datacenter 16G para la gestión de sistemas integrados
  • Alimentación: seis fuentes de alimentación de 2800 W con certificación de titanio

Una sola implementación de Gemini en la API GDC connected consta de una (1) máquina certificada por Google. Gemini en la API conectada de GDC no se ejecuta en configuraciones de hardware que no estén certificadas por Google.

Máquinas virtuales confidenciales

Los modelos que ofrece Gemini en la API de GDC connected se alojan en máquinas virtuales confidenciales que se ejecutan en clústeres de Distributed Cloud connected. La certificación remota garantiza la seguridad y la integridad de las CVMs implementadas y del entorno de software seguro en el que se ejecutan.

Atestación remota

La API conectada de Gemini en GDC requiere una conexión a Internet constante para mantener la certificación remota de las CVMs implementadas y el entorno de software seguro que las aloja. El mecanismo de certificación se implementa mediante los servicios de certificación remota de Intel® Software Guard Extension (Intel® SGX). Debes tener una suscripción al servicio de certificación de aprovisionamiento de Intel® SGX y proporcionar las claves de API correspondientes a Google al pedir Gemini en la API conectada de GDC.

Fallo de atestación remota

El servicio de certificación remota establece un latido entre tu implementación de la API conectada de Gemini en GDC y Google, lo que requiere una conexión a Internet ininterrumpida. Si este latido se interrumpe durante más de 30 minutos consecutivos, las máquinas virtuales de contenedor se apagan hasta que se restablece el latido. Ponte en contacto con tu representante de Google para resolver los errores de atestación.

Modelos admitidos

Esta versión de Gemini en la API conectada de GDC admite los siguientes modelos:

  • Gemini 2.0 Flash 128k con el ID público gemini-2.0-flash-001.

Para obtener más información sobre las cargas de trabajo adecuadas para Gemini en la API de GDC conectado, consulta la descripción general de Gemini.

Pasos de la implementación

A grandes rasgos, la implementación de un modelo de Gemini en la API de Gemini on GDC connected es la siguiente:

  1. Adquiere e instala el hardware certificado por Google, tal como se describe en Hardware.
  2. Completa los pasos necesarios para cumplir todos los requisitos de instalación que se describen en Requisitos de instalación.
  3. Pide Gemini en la API de GDC connected tal como se describe en el artículo Pedir Gemini en la API de Google Distributed Cloud connected en Distributed Cloud connected. Al hacer el pedido, debes proporcionar la información que se indica en la sección Requisitos de instalación para que Google pueda aprovisionar tu implementación de la API conectada de Gemini en GDC para la gestión de software y la certificación remota de las máquinas virtuales de contenedores (CVMs) que alojan los modelos que quieres implementar.
  4. Programa una visita con un técnico de Google, que deberá acudir a tu ubicación para instalar y configurar el software de la API conectada de Gemini en GDC en tu hardware certificado por Google.
  5. Habilita las APIs necesarias, tal como se describe en Habilitar las APIs necesarias.
  6. Asigna los roles necesarios a los administradores de la API conectada de Gemini en Google Distributed Cloud y a las cuentas de consumidor del modelo de la API conectada de Gemini en GDC, tal como se describe en Asignar los roles necesarios.
  7. Crea y despliega tus endpoints de API conectados a Gemini on GDC, tal como se describe en el artículo Desplegar un endpoint de API conectado a Gemini on GDC.
  8. Interactúa con tu Gemini implementado en los endpoints de la API conectada de GDC tal como se describe en el artículo Interactuar con un endpoint de la API conectada de Gemini on GDC.

Siguientes pasos