在客戶機構中部署主要元件

本頁詳細說明如何將 Inference Gateway 部署至客戶機構。如要進一步瞭解這個元件，請參閱「主要元件」。

事前準備

如要在客戶機構中部署重要元件，您必須具備下列條件：

部署推論閘道

如要在客戶機構中部署 Inference Gateway，請按照下列步驟操作：

  1. 從客戶機構將 AICSPackage 自訂資源套用至管理 API 伺服器：

    CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
apiVersion: aics.gdc.goog/v1
kind: AICSPackage
metadata:
  name: aics-l1opr-cr
  namespace: aics-system
spec:
  applications:
  - name: inference-gateway
    path: inference-gateway
  - name: l2crd
    path: vai-l2crd
  - name: l2opr
    path: aics-l2operator
EOF

    將 CUS_ORG_MGMT_KUBECONFIG_PATH 替換為客戶機構管理 API 伺服器的 kubeconfig 檔案路徑。

  2. 擷取 GenAI 路由器完整網域名稱 (FQDN)：

    GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

    將 GEM_ORG_MGMT_KUBECONFIG_PATH 替換為 Gemini 機構中管理 API 伺服器的 kubeconfig 檔案路徑。

    輸出內容如下列範例所示：

    "genai-router.org-1.zone1.google.gdch.test"

  3. 在客戶機構的機構基礎架構叢集中，建立包含 GenAI Router FQDN 的 ConfigMap：

    CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-gateway-config
  namespace: aics-system
data:
  GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
EOF

    將 CUS_ORG_CP_KUBECONFIG_PATH 替換為客戶機構的機構基礎架構叢集 kubeconfig 檔案路徑。

  4. 將信任套件從 Gemini 機構的機構基礎架構叢集，複製到客戶機構的機構基礎架構叢集：

    GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
  -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml

(echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml

kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml

    更改下列內容：

    • GEM_ORG_CP_KUBECONFIG_PATH：Gemini 機構的機構基礎架構叢集 kubeconfig 檔案路徑。
    • CUS_ORG_CP_KUBECONFIG_PATH：客戶機構的機構基礎架構叢集 kubeconfig 檔案路徑。

後續步驟