예측 클러스터 만들기

인프라 운영자 (IO)가 생성한 예측 클러스터에 예측 커스텀 리소스를 배포해야 합니다. 운영자는 이 동일한 클러스터에서 예측 워크로드를 만듭니다.

예측 클러스터를 만들려면 IO와 협력하여 예측 프로젝트를 연결하고 Google Distributed Cloud (GDC) 에어 갭에서 온라인 예측에 필요한 노드 풀을 할당하세요.

예측 클러스터를 만들려면 다음 단계를 수행하세요.

  1. 온라인 예측을 위해 새 클러스터와 연결할 조직의 프로젝트를 식별합니다.

    프로젝트를 만들려면 Vertex AI용 프로젝트 설정을 참고하세요. API를 호출할 때는 프로젝트 ID가 필요합니다.

  2. Distributed Cloud의 사용 가능한 머신 유형 목록에서 클러스터의 워크로드에 필요한 노드의 머신 유형을 선택합니다.

    선택하는 머신 유형은 예측 모델 크기 및 복잡성에 따라 달라지며, IO가 클러스터에 제공하는 컴퓨팅 및 그래픽 처리 장치 (GPU) 리소스를 결정합니다. 노드의 머신 유형을 선택할 때는 노드 선택 권장사항을 따르세요.

  3. 예측 클러스터 케이스 템플릿을 사용하여 IO에 이메일을 보내 케이스를 열고 클러스터 생성 요청을 처리합니다.

  4. 필요한 경우 IO가 프로젝트와 연결된 예측 클러스터를 만들고 클러스터 내에 적절한 노드 풀을 할당할 때까지 IO와 소통합니다.

클러스터 프로비저닝이 완료되면 예측 클러스터에서 온라인 예측을 실행할 수 있습니다.

노드 선택 추천

IO가 클러스터에 노드 풀을 만들면 Distributed Cloud의 사용 가능한 머신 유형 중 하나를 할당하여 작업자 노드에 사전 정의된 리소스 집합을 제공합니다. 모델 크기와 복잡성에 따라 서로 다른 컴퓨팅 성능이 필요하며, 따라서 특정 양의 CPU, 메모리, GPU가 필요합니다. 예측 클러스터를 만들려면 IO와의 커뮤니케이션에서 이러한 세부정보를 제공해야 합니다.

IO와 함께 예측 클러스터에 필요한 노드 풀의 머신 유형을 결정할 때는 다음 관행을 준수해야 합니다.

  • Distributed Cloud는 필수 시스템 구성요소의 노드에 컴퓨팅 오버헤드를 추가합니다. 따라서 모델의 리소스 풀에서 사용하려는 것보다 큰 머신 유형을 노드 풀에 선택해야 합니다.
  • 요구사항에 필요한 최소 메모리 및 컴퓨팅 리소스를 제공하는 솔루션을 선택합니다. 예를 들어 모델에 vCPU가 8개 필요한 경우 Distributed Cloud에서 vCPU가 8개이고 메모리가 8GB인 가장 작은 솔루션인 n2-highcpu-8-gdc 머신 유형을 선택합니다.
  • 진행하면서 더 작은 솔루션이 요구사항과 모델의 크기 및 복잡성에 적합하지 않은 경우에만 고성능 솔루션을 고려하세요. 특정 워크플로를 실행하는 데 필요한 리소스만 사용하여 최소 권한 원칙을 준수하는 것이 중요합니다. 이 책임감 있는 접근 방식을 통해 분산 클라우드 환경에서 리소스를 신중하게 사용할 수 있습니다.
  • 모델에 GPU가 필요한 경우에만 GPU가 있는 솔루션을 선택하세요.
  • 모델에 GPU가 필요한 경우 GPU를 제공하는 가장 작은 솔루션인 a2-highgpu-1g-gdc 머신 유형을 고려하세요.

예측 클러스터 케이스 템플릿

다음 템플릿을 사용하여 IO에게 이메일을 보내세요. 이메일이 온라인 예측에 필요한 예측 클러스터를 만들기 위한 케이스를 엽니다.

Good day,

I need to create a prediction cluster and associate it with a project in my organization to use online predictions.

Please use the following information for the creation of the cluster:

- **Cluster name:** vtx-ai-prediction
- **Name of the organization:** [Specify your organization's name.]
- **Project name:** [Specify the name of your project to associate with the prediction cluster.]
- **Machine type for the node pool:** [Specify the machine type you chose from the list of available machine types for the cluster nodes based on node selection recommendations. Please note that the IO can respond with a different suggestion based on your needs.]
- **Compute resources:** [Optionally, if you know how many compute resources your workloads need, describe them in this field.]
- **Memory resources:** [Optionally, if you know how many memory resources your workloads need, describe them in this field.]
- **GPU resources:** [Optionally, if you know how many GPU resources your workloads need, describe them in this field.]

**Note for IO:** Review the instructions to create the prediction cluster in the following section of the documentation: Operator > Configure the deployment > Create the Prediction cluster

Thank you,
[Your name]