Déployer des composants clés dans l'organisation Gemini

Cette page explique comment déployer le routeur d'IA générative et le serveur de modèle dans l'organisation Gemini que vous avez créée. Pour en savoir plus sur ces composants, consultez Composants clés.

Avant de commencer

Pour déployer des composants clés dans l'organisation Gemini, vous devez disposer des éléments suivants :

Déployer le routeur d'IA générative et le serveur de modèles

Pour déployer le routeur IA générative et le serveur de modèle dans l'organisation Gemini, procédez comme suit :

  1. Appliquez la ressource personnalisée GeminiPackage au serveur de l'API Management depuis l'organisation Gemini :

    KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
apiVersion: gemini.gdc.goog/v1
kind: GeminiPackage
metadata:
  name: gemini-l1opr-cr
  namespace: gemini-system
spec:
  applications:
  - name: l2crd
    path: gemini-l2crd
  - name: l2opr
    path: gemini-l2operator
  - name: genai-router
    path: gemini-genai-router
EOF

    Remplacez GEM_ORG_MGMT_KUBECONFIG_PATH par le chemin d'accès au fichier kubeconfig du serveur d'API Management de l'organisation Gemini.

  2. Déployez la ressource personnalisée ServoConfig en suivant les étapes du runbook GEMINI-R0008. Vous pouvez également appliquer la ressource personnalisée suivante :

    kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
apiVersion: aiplatform.gdc.goog/v1
kind: ServoConfig
metadata:
  name: gemini-models
  namespace: gemini-system
spec:
  modelCombos:
  - name: gemini-1.5-flash-002
    replicas: 2
  - name: gemini-1.5-pro-002
    replicas: 1
EOF

Étapes suivantes