Implementar componentes clave en la organización de Gemini

En esta página se explica cómo desplegar GenAI Router y el servidor de modelos en la organización de Gemini que has creado. Para obtener más información sobre estos componentes, consulta Componentes clave.

Antes de empezar

Para implementar componentes clave en la organización de Gemini, debes tener lo siguiente:

• Anular los GEMINI y GPU feature gates de componentes operativos en la organización de Gemini.
• Comprueba que la organización de Gemini esté activa y en funcionamiento.
• Carga los pesos del modelo de Gemini en la organización de Gemini.

Desplegar el router de IA generativa y el servidor de modelos

Para implementar GenAI Router y el servidor de modelos en la organización de Gemini, sigue estos pasos:

1. Aplica el recurso personalizado GeminiPackage al servidor de la API de gestión de la organización de Gemini:

   KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
   apiVersion: gemini.gdc.goog/v1
   kind: GeminiPackage
   metadata:
     name: gemini-l1opr-cr
     namespace: gemini-system
   spec:
     applications:
     - name: l2crd
       path: gemini-l2crd
     - name: l2opr
       path: gemini-l2operator
     - name: genai-router
       path: gemini-genai-router
   EOF
   

   Sustituye GEM_ORG_MGMT_KUBECONFIG_PATH por la ruta al archivo kubeconfig del servidor de la API de gestión de la organización de Gemini.

2. Implementa el recurso personalizado ServoConfig siguiendo los pasos del runbook GEMINI-R0008. También puede aplicar el siguiente recurso personalizado:

   kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
   apiVersion: aiplatform.gdc.goog/v1
   kind: ServoConfig
   metadata:
     name: gemini-models
     namespace: gemini-system
   spec:
     modelCombos:
     - name: gemini-1.5-flash-002
       replicas: 2
     - name: gemini-1.5-pro-002
       replicas: 1
   EOF
   

Siguientes pasos

• Configurar el almacenamiento de vídeos