お客様の組織に主要コンポーネントをデプロイする

このページでは、Inference Gateway を顧客組織にデプロイする方法について詳しく説明します。このコンポーネントの詳細については、主要コンポーネントをご覧ください。

始める前に

お客様の組織に主要なコンポーネントをデプロイするには、次のものが必要です。

推論 Gateway をデプロイする

お客様の組織に Inference Gateway をデプロイする手順は次のとおりです。

  1. お客様の組織から管理 API サーバーに AICSPackage カスタム リソースを適用します。

    CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
apiVersion: aics.gdc.goog/v1
kind: AICSPackage
metadata:
  name: aics-l1opr-cr
  namespace: aics-system
spec:
  applications:
  - name: inference-gateway
    path: inference-gateway
  - name: l2crd
    path: vai-l2crd
  - name: l2opr
    path: aics-l2operator
EOF

    CUS_ORG_MGMT_KUBECONFIG_PATH は、顧客組織の管理 API サーバーの kubeconfig ファイルのパスに置き換えます。

  2. GenAI Router の完全修飾ドメイン名（FQDN）を取得します。

    GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

    GEM_ORG_MGMT_KUBECONFIG_PATH は、Gemini 組織の管理 API サーバーの kubeconfig ファイルのパスに置き換えます。

    出力は、次の例のようになります。

    "genai-router.org-1.zone1.google.gdch.test"

  3. 顧客組織の組織インフラストラクチャ クラスタに GenAI Router FQDN を含む ConfigMap を作成します。

    CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-gateway-config
  namespace: aics-system
data:
  GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
EOF

    CUS_ORG_CP_KUBECONFIG_PATH は、顧客組織の組織インフラストラクチャ クラスタの kubeconfig ファイルのパスに置き換えます。

  4. Gemini 組織の組織インフラストラクチャ クラスタから、顧客組織の組織インフラストラクチャ クラスタに信頼バンドルをコピーします。

    GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
  -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml

(echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml

kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml

    次のように置き換えます。

    • GEM_ORG_CP_KUBECONFIG_PATH: Gemini 組織の組織インフラストラクチャ クラスタの kubeconfig ファイルのパス。
    • CUS_ORG_CP_KUBECONFIG_PATH: お客様の組織の組織インフラストラクチャ クラスタの kubeconfig ファイルのパス。

次のステップ