Implemente componentes principais na organização do Gemini

Esta página detalha como implementar o Router de IA gen e o servidor de modelos na organização do Gemini que criou. Para mais informações sobre estes componentes, consulte o artigo Componentes principais.

Antes de começar

Para implementar componentes importantes na organização do Gemini, tem de ter o seguinte:

• Substitua os GEMINI e os GPU operable component feature gates na organização do Gemini.
• Verifique se a organização do Gemini está operacional.
• Carregue os pesos do modelo Gemini na organização do Gemini.

Implemente o router de IA gen e o servidor de modelos

Para implementar o router de IA gen. e o servidor de modelos na organização do Gemini, siga estes passos:

1. Aplique o recurso personalizado GeminiPackage ao servidor da API de gestão a partir da organização do Gemini:

   KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH
   
   kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
   apiVersion: gemini.gdc.goog/v1
   kind: GeminiPackage
   metadata:
     name: gemini-l1opr-cr
     namespace: gemini-system
   spec:
     applications:
     - name: l2crd
       path: gemini-l2crd
     - name: l2opr
       path: gemini-l2operator
     - name: genai-router
       path: gemini-genai-router
   EOF
   

   Substitua GEM_ORG_MGMT_KUBECONFIG_PATH pelo caminho para o ficheiro kubeconfig do servidor da API de gestão da organização Gemini.

2. Implemente o recurso personalizado ServoConfig seguindo os passos do manual de procedimentos GEMINI-R0008. Em alternativa, aplique o seguinte recurso personalizado:

   kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
   apiVersion: aiplatform.gdc.goog/v1
   kind: ServoConfig
   metadata:
     name: gemini-models
     namespace: gemini-system
   spec:
     modelCombos:
     - name: gemini-1.5-flash-002
       replicas: 2
     - name: gemini-1.5-pro-002
       replicas: 1
   EOF
   

O que se segue?

• Configure o armazenamento para vídeos