Implementa componentes clave en la organización de Gemini

En esta página, se detalla cómo implementar el GenAI Router y el servidor de modelos en la organización de Gemini que creaste. Para obtener más información sobre estos componentes, consulta Componentes clave.

Antes de comenzar

Para implementar componentes clave en la organización de Gemini, debes tener lo siguiente:

Implementa el GenAI Router y el servidor de modelos

Para implementar el enrutador de IA generativa y el servidor del modelo en la organización de Gemini, sigue estos pasos:

  1. Aplica el recurso personalizado GeminiPackage al servidor de la API de administración de la organización de Gemini:

    KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
apiVersion: gemini.gdc.goog/v1
kind: GeminiPackage
metadata:
  name: gemini-l1opr-cr
  namespace: gemini-system
spec:
  applications:
  - name: l2crd
    path: gemini-l2crd
  - name: l2opr
    path: gemini-l2operator
  - name: genai-router
    path: gemini-genai-router
EOF

    Reemplaza GEM_ORG_MGMT_KUBECONFIG_PATH por la ruta de acceso al archivo kubeconfig del servidor de la API de administración de la organización de Gemini.

  2. Implementa el recurso personalizado ServoConfig siguiendo los pasos del manual de ejecución GEMINI-R0008. Como alternativa, aplica el siguiente recurso personalizado:

    kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
apiVersion: aiplatform.gdc.goog/v1
kind: ServoConfig
metadata:
  name: gemini-models
  namespace: gemini-system
spec:
  modelCombos:
  - name: gemini-1.5-flash-002
    replicas: 2
  - name: gemini-1.5-pro-002
    replicas: 1
EOF

¿Qué sigue?