Gemini 조직에 주요 구성요소 배포

이 페이지에서는 생성한 Gemini 조직에 생성형 AI 라우터와 모델 서버를 배포하는 방법을 자세히 설명합니다. 이러한 구성요소에 대한 자세한 내용은 주요 구성요소를 참고하세요.

시작하기 전에

Gemini 조직에 주요 구성요소를 배포하려면 다음이 필요합니다.

생성형 AI 라우터 및 모델 서버 배포

Gemini 조직에 생성형 AI 라우터와 모델 서버를 배포하려면 다음 단계를 따르세요.

  1. Gemini 조직에서 관리 API 서버에 GeminiPackage 커스텀 리소스를 적용합니다.

    KUBECONFIG=GEM_ORG_MGMT_KUBECONFIG_PATH

kubectl apply --kubeconfig ${KUBECONFIG:?} -f << EOF
apiVersion: gemini.gdc.goog/v1
kind: GeminiPackage
metadata:
  name: gemini-l1opr-cr
  namespace: gemini-system
spec:
  applications:
  - name: l2crd
    path: gemini-l2crd
  - name: l2opr
    path: gemini-l2operator
  - name: genai-router
    path: gemini-genai-router
EOF

    GEM_ORG_MGMT_KUBECONFIG_PATH를 Gemini 조직의 관리 API 서버 kubeconfig 파일 경로로 바꿉니다.

  2. GEMINI-R0008 런북의 단계에 따라 ServoConfig 커스텀 리소스를 배포합니다. 또는 다음 맞춤 리소스를 적용합니다.

    kubectl apply --kubeconfig ${KUBECONFIG:?} -f - << EOF
apiVersion: aiplatform.gdc.goog/v1
kind: ServoConfig
metadata:
  name: gemini-models
  namespace: gemini-system
spec:
  modelCombos:
  - name: gemini-1.5-flash-002
    replicas: 2
  - name: gemini-1.5-pro-002
    replicas: 1
EOF

다음 단계