在 Gemini 组织中部署关键组件

本页面详细介绍了如何将 GenAI 路由器和模型服务器部署到您创建的 Gemini 组织。如需详细了解这些组件，请参阅主要组件。

准备工作

如需在 Gemini 组织中部署关键组件，您必须具备以下条件：

  • 替换 Gemini 组织中的 GEMINI 和 GPU 可操作组件功能门。
  • 验证 Gemini 组织是否已启动并正在运行。
  • 将 Gemini 模型权重加载到 Gemini 组织中。

部署 GenAI 路由器和模型服务器

如需在 Gemini 组织中部署 GenAI 路由器和模型服务器，请按以下步骤操作：

  1. 将 GeminiPackage 自定义资源从 Gemini 组织应用到管理 API 服务器：

    KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
apiVersion: gemini.gdc.goog/v1
kind: GeminiPackage
metadata:
  name: gemini-l1opr-cr
  namespace: gemini-system
spec:
  applications:
  - name: l2crd
    path: gemini-l2crd
  - name: l2opr
    path: gemini-l2operator
  - name: genai-router
    path: gemini-genai-router
EOF

    将 GEM_ORG_MGMT_KUBECONFIG_PATH 替换为 Gemini 组织的管理 API 服务器的 kubeconfig 文件路径。

  2. 按照 GEMINI-R0008 运行手册中的步骤部署 ServoConfig 自定义资源。或者，应用以下自定义资源：

    kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
apiVersion: aiplatform.gdc.goog/v1
kind: ServoConfig
metadata:
  name: gemini-models
  namespace: gemini-system
spec:
  modelCombos:
  - name: gemini-1.5-flash-002
    replicas: 2
  - name: gemini-1.5-pro-002
    replicas: 1
EOF

后续步骤