고객 조직에 주요 구성요소 배포

이 페이지에서는 고객 조직에 추론 게이트웨이를 배포하는 방법을 자세히 설명합니다. 이 구성요소에 관한 자세한 내용은 주요 구성요소를 참고하세요.

시작하기 전에

고객 조직에 주요 구성요소를 배포하려면 다음이 필요합니다.

추론 게이트웨이 배포

고객 조직에 추론 게이트웨이를 배포하려면 다음 단계를 따르세요.

  1. 고객 조직에서 관리 API 서버에 AICSPackage 커스텀 리소스를 적용합니다.

    CUS_ORG_MGMT_KUBECONFIG=CUS_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${CUS_ORG_MGMT_KUBECONFIG:?} -f << EOF
apiVersion: aics.gdc.goog/v1
kind: AICSPackage
metadata:
  name: aics-l1opr-cr
  namespace: aics-system
spec:
  applications:
  - name: inference-gateway
    path: inference-gateway
  - name: l2crd
    path: vai-l2crd
  - name: l2opr
    path: aics-l2operator
EOF

    CUS_ORG_MGMT_KUBECONFIG_PATH를 고객 조직의 관리 API 서버에 대한 kubeconfig 파일의 경로로 바꿉니다.

  2. 생성형 AI 라우터의 정규화된 도메인 이름 (FQDN)을 가져옵니다.

    GEM_ORG_MGMT_KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

GEN_AI_ROUTER_FQDN=$(kubectl --kubeconfig ${GEM_ORG_MGMT_KUBECONFIG:?} \
  get dnsregistrations.network.private.gdc.goog/genai-router \
  -n gemini-system -o json | jq '.status.fqdn')

echo $GEN_AI_ROUTER_FQDN

    GEM_ORG_MGMT_KUBECONFIG_PATH를 Gemini 조직의 관리 API 서버 kubeconfig 파일 경로로 바꿉니다.

    출력은 다음 예시와 같이 표시됩니다.

    "genai-router.org-1.zone1.google.gdch.test"

  3. 고객 조직의 조직 인프라 클러스터에 생성형 AI 라우터 FQDN이 포함된 ConfigMap을 만듭니다.

    CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig ${CUS_ORG_CP_KUBECONFIG:?} apply -f - << EOF
apiVersion: v1
kind: ConfigMap
metadata:
  name: inference-gateway-config
  namespace: aics-system
data:
  GEMINI_ADDRESS: $GEN_AI_ROUTER_FQDN
EOF

    CUS_ORG_CP_KUBECONFIG_PATH를 고객 조직의 조직 인프라 클러스터 kubeconfig 파일의 경로로 바꿉니다.

  4. Gemini 조직의 조직 인프라 클러스터에서 고객 조직의 조직 인프라 클러스터로 신뢰 번들을 복사합니다.

    GEM_ORG_CP_KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
CUS_ORG_CP_KUBECONFIG=CUS_ORG_CP_KUBECONFIG_PATH

kubectl --kubeconfig=${GEM_ORG_CP_KUBECONFIG:?} get configMap trust-store-root-ext
  -n istio-system -o yaml | yq .data > genai-istio-ca-crt.yaml

(echo "apiVersion: v1"; echo "kind: ConfigMap"; echo "metadata:"; echo "  name: genai-isito-ca"; \
echo "  namespace: aics-system"; echo "data:"; sed 's/^/  /' genai-istio-ca-crt.yaml | cat -) > genai-istio-ca.yaml

kubectl --kubeconfig=${CUS_ORG_CP_KUBECONFIG:?} apply -f genai-istio-ca.yaml

    다음을 바꿉니다.

    • GEM_ORG_CP_KUBECONFIG_PATH: Gemini 조직의 조직 인프라 클러스터 kubeconfig 파일의 경로입니다.
    • CUS_ORG_CP_KUBECONFIG_PATH: 고객 조직의 조직 인프라 클러스터 kubeconfig 파일의 경로입니다.

다음 단계