Schlüsselkomponenten in der Gemini-Organisation bereitstellen

Auf dieser Seite wird beschrieben, wie Sie den GenAI Router und den Modellserver in der von Ihnen erstellten Gemini-Organisation bereitstellen. Weitere Informationen zu diesen Komponenten finden Sie unter Wichtige Komponenten.

Hinweise

Für die Bereitstellung wichtiger Komponenten in der Gemini-Organisation benötigen Sie Folgendes:

• Überschreiben Sie die Feature-Gates für die bedienbaren Komponenten GEMINI und GPU in der Gemini-Organisation.
• Prüfen Sie, ob die Gemini-Organisation aktiv ist.
• Gewichte des Gemini-Modells in die Gemini-Organisation laden

GenAI Router und Modellserver bereitstellen

So stellen Sie den GenAI Router und den Modellserver in der Gemini-Organisation bereit:

1. Wenden Sie die benutzerdefinierte Ressource GeminiPackage auf den Management API-Server der Gemini-Organisation an:

   KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
   apiVersion: gemini.gdc.goog/v1
   kind: GeminiPackage
   metadata:
     name: gemini-l1opr-cr
     namespace: gemini-system
   spec:
     applications:
     - name: l2crd
       path: gemini-l2crd
     - name: l2opr
       path: gemini-l2operator
     - name: genai-router
       path: gemini-genai-router
   EOF
   

   Ersetzen Sie GEM_ORG_MGMT_KUBECONFIG_PATH durch den Pfad zur kubeconfig-Datei des Management-API-Servers der Gemini-Organisation.

2. Stellen Sie die benutzerdefinierte Ressource ServoConfig bereit. Folgen Sie dazu der Anleitung im GEMINI-R0008-Runbook. Alternativ können Sie die folgende benutzerdefinierte Ressource anwenden:

   kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
   apiVersion: aiplatform.gdc.goog/v1
   kind: ServoConfig
   metadata:
     name: gemini-models
     namespace: gemini-system
   spec:
     modelCombos:
     - name: gemini-1.5-flash-002
       replicas: 2
     - name: gemini-1.5-pro-002
       replicas: 1
   EOF
   

Nächste Schritte

• Speicher für Videos konfigurieren