在客户组织中部署关键组件

本页详细介绍了如何将推理网关部署到客户组织。如需详细了解此组件，请参阅主要组件。

准备工作

如需在客户组织中部署关键组件，您必须具备以下条件：

部署推理网关

如需在客户组织中部署推理网关，请按以下步骤操作：

  1. 将 AICSPackage 自定义资源从客户组织应用到管理 API 服务器：

    CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
apiVersion: aics.gdc.goog/v1
kind: AICSPackage
metadata:
  name: aics-l1opr-cr
  namespace: aics-system
spec:
  applications:
  - name: inference-gateway
    path: inference-gateway
  - name: l2crd
    path: vai-l2crd
  - name: l2opr
    path: aics-l2operator
EOF

    将 CUS_ORG_MGMT_KUBECONFIG_PATH 替换为客户组织的管理 API 服务器的 kubeconfig 文件的路径。

  2. 检索 GenAI 路由器的完全限定域名 (FQDN)：

    GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

    将 GEM_ORG_MGMT_KUBECONFIG_PATH 替换为 Gemini 组织的管理 API 服务器的 kubeconfig 文件路径。

    输出类似于以下示例：

    "genai-router.org-1.zone1.google.gdch.test"

  3. 在客户组织的组织基础架构集群中创建一个包含 GenAI 路由器 FQDN 的 ConfigMap：

    CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-gateway-config
  namespace: aics-system
data:
  GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
EOF

    将 CUS_ORG_CP_KUBECONFIG_PATH 替换为客户组织的组织基础架构集群的 kubeconfig 文件的路径。

  4. 将信任软件包从 Gemini 组织的组织基础架构集群复制到客户组织的组织基础架构集群：

    GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
  -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml

(echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml

kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml

    替换以下内容：

    • GEM_ORG_CP_KUBECONFIG_PATH：Gemini 组织的组织基础架构集群的 kubeconfig 文件的路径。
    • CUS_ORG_CP_KUBECONFIG_PATH：客户组织的组织基础架构集群的 kubeconfig 文件的路径。

后续步骤