Gemini 조직 만들기

이 페이지에서는 Google Distributed Cloud (GDC) 에어 갭에서 새 조직을 만들고 Gemini를 사용하도록 조직을 구성하는 방법을 안내합니다.

이 페이지에서는 서로 다른 개념을 나타내는 두 가지 용어인 고객 조직과 Gemini 조직을 사용합니다. 각 용어는 다음과 같이 정의됩니다.

• 고객 조직: 사용자가 워크로드를 실행하고, 플랫폼 인프라에 액세스하고, Vertex AI 서비스를 사용하는 GDC 조직입니다. 고객 조직에 대한 자세한 내용은 고객 조직 만들기를 참고하세요.
• Gemini 조직: Gemini 모델 서버를 실행하도록 구성된 조직 리소스입니다. 보안상의 이유로 사용자 워크로드는 이 조직에서 실행할 수 없습니다. Google에서 승인한 서드 파티 코드만 Gemini 조직 내에서 실행해야 합니다. Gemini 조직은 멀티 싱글 테넌시 모델을 따르는 고객 조직과는 별도의 조직으로, 모든 고객 조직에는 자체 Gemini 조직이 있습니다.

조직 차이점에 대한 자세한 내용은 운영자 개요를 참고하세요.

시작하기 전에

Gemini 조직을 만들려면 다음이 필요합니다.

• 고객 조직이 실행 중입니다.
• 시스템의 브라우저
• Git 명령줄 인터페이스 (CLI)
• kubectl CLI
• gdcloud CLI
• jq 및 yq CLI 도구 jq 및 yq이 포함된 도구 컨테이너 설정에 관한 자세한 내용은 OOPS-P0065 런북을 참고하세요.
• 필요한 인프라 운영자 (IO) 역할 이러한 역할에 대한 자세한 내용은 IAM 권한 준비를 참고하세요.

또한 배포 전 검사를 충족하는지 확인하세요.

Gemini 조직 만들기

Gemini 조직을 만들려면 다음 단계를 따르세요.

1. IO ID 공급업체를 IAC를 사용하여 조직에 연결할 때까지 조직 만들기 가이드를 따릅니다. 이 작업은 단일 영역에서 Gemini 조직 역할을 하는 별도의 조직을 만듭니다. 조직을 만들 때는 다음 가이드라인을 따르세요.

   • 사용 가능한 서버 중 하나는 d3-highgpu1-256-gdc-metal 머신 클래스가 있는 Dell XE9680 서버여야 합니다. IaC로 조직 만들기 안내의 첫 번째 단계에서는 사용 가능한 서버를 확인하는 명령어를 제공합니다. 머신 클래스가 d3-highgpu1-256-gdc-metal인 서버를 사용할 수 없는 경우 동적 확장 개요를 참고하여 서버 확장 옵션을 살펴보세요. 그런 다음 새 워크로드 서버를 추가합니다.

   • IaC로 조직을 만드는 경우 Organization 커스텀 리소스를 만든 후 커스텀 리소스에 organizations.resourcemanager.private.gdc.goog/shared-service-cluster-skip-create-cluster: "true" 주석을 추가하여 공유 서비스 클러스터 생성을 건너뛰고 리소스를 최적화합니다.

   • 단일 영역에서 OrganizationZonalConfig 커스텀 리소스를 만듭니다. 이 영역은 Gemini 영역으로 사용됩니다. 고객 조직은 동일한 영역에 있어야 하지만 여러 영역에 배포할 수도 있습니다. 자세한 내용은 Gemini의 다중 영역 배포 모델을 참고하세요.

2. Gemini 조직의 Organization 커스텀 리소스에 lcm.private.gdc.goog/org-tenant="gemini" 라벨을 추가합니다.

   KUBECONFIG=ROOT_ADMIN_KUBECONFIG_PATH
   GEMINI_ORG_NAME=GEMINI_ORGANIZATION_NAME
   
   kubectl label organization -n gpc-system ${GEMINI_ORG_NAME:?} \
     lcm.private.gdc.goog/org-tenant="gemini" --kubeconfig ${KUBECONFIG:?}
   

   다음을 바꿉니다.

   • ROOT_ADMIN_KUBECONFIG_PATH: 루트 관리자 클러스터의 kubeconfig 파일 경로입니다.
   • GEMINI_ORGANIZATION_NAME: Gemini 조직의 이름입니다.

3. Gemini 조직의 조직 인프라 클러스터가 실행 중인지 확인합니다.

   kubectl get cluster/${GEMINI_ORG_NAME:?}-admin -n ${GEMINI_ORG_NAME:?}
   

   다음 출력은 org-1라는 Gemini 조직의 예시를 보여줍니다.

   NAMESPACE   NAME          ABM VERSION        DESIRED ABM VERSION   CLUSTER STATE
   org-1       org-1-admin   1.30.500-gke.128   1.30.500-gke.128      Running
   

4. Gemini 조직의 조직 인프라 클러스터 내에 H200 GPU가 구성된 모든 워커 노드를 찾습니다.

   KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
   
   kubectl --kubeconfig ${KUBECONFIG:?} get nodes \
     -o json | jq -r \
     '.items[] | select(.status.capacity."nvidia.com/gpu-pod-NVIDIA_H200"=="8") | .metadata.name'
   

   GEM_ORG_CP_KUBECONFIG_PATH를 Gemini 조직의 조직 인프라 클러스터 kubeconfig 파일의 경로로 바꿉니다.

5. 이전 명령어에서 가져온 H200 GPU가 있는 모든 작업자 노드에 gemini.gdc.goog/large-gemini=true 라벨을 적용합니다.

   NODE_NAME=H200_WORKER_NODE_NAME
   
   kubectl label node ${NODE_NAME:?} \
     "gemini.gdc.goog/large-gemini=true" \
     --kubeconfig ${KUBECONFIG:?}
   

   H200_WORKER_NODE_NAME을 H200 GPU가 있는 작업자 노드의 이름으로 바꿉니다.

   중요: H200 GPU가 있는 모든 작업자 노드에 이 명령어를 실행해야 합니다.

Gemini 작동 가능 구성요소의 기능 게이트 재정의

Gemini 조직의 프로비저닝을 완료하고 READY 상태인지 확인한 후에는 기능 게이트를 재정의하여 Gemini 또는 고객 조직에서 작동 가능한 구성요소를 사용 설정해야 합니다.

다음 표에는 기능 게이트를 재정의하고 작동 가능한 구성요소를 사용 설정하기 위해 따라야 하는 런북이 요약되어 있습니다.

작동 가능한 구성요소	타겟 조직	런북 참조
GEMINI	Gemini 조직	GEMINI-F0001
AICS	고객의 조직	AICS-F0001
GPU	Gemini 조직	GPU-F0001

암호화 키 생성

조직의 암호화 키 생성은 일회성 작업입니다. 명령어를 다시 실행하면 시스템에서 업로드된 모델을 더 이상 복호화할 수 없습니다. 키를 생성하려면 방금 만든 새 조직에서 작업을 실행해야 합니다.

KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
kubectl --kubeconfig=${KUBECONFIG:?} -n gemini create job --from=cronjob/gemini-weights-transfer-keygen

작업이 완료되면 다음 명령어를 사용하여 키를 읽을 수 있습니다.

KUBECONFIG=GEM_ORG_CP_KUBECONFIG_PATH
kubectl --kubeconfig=${KUBECONFIG:?} -n gemini-system \
  logs job.batch/gemini-weights-transfer-keygen \
  | grep -oP '<PublicKey.*?</PublicKey>' | head -n 1

다음 단계

• Gemini 모델 가중치 다운로드 및 전송
• Gemini 모델 가중치를 GDC에 로드