MaxDiffusion과 함께 GKE에서 TPU를 사용하여 Stable Diffusion XL(SDXL) 제공

Autopilot Standard

---

이 튜토리얼에서는 MaxDiffusion과 함께Google Kubernetes Engine(GKE)에서 Tensor Processing Unit(TPU)을 사용하여 SDXL 이미지 생성 모델을 제공하는 방법을 보여줍니다. 이 튜토리얼에서는 Hugging Face에서 모델을 다운로드하고 MaxDiffusion을 실행하는 컨테이너를 사용하여 Autopilot 또는 Standard 클러스터에 배포합니다.

이 가이드는 AI/ML 워크로드를 배포하고 제공할 때 관리형 Kubernetes의 세밀한 제어, 맞춤설정, 확장성, 복원력, 이동성, 비용 효율성이 필요한 경우 좋은 출발점이 될 수 있습니다. ML 모델을 비용 효율적으로 빠르게 빌드하고 제공할 수 있는 통합 관리형 AI 플랫폼이 필요한 경우 Vertex AI 배포 솔루션을 사용하는 것이 좋습니다.

배경

MaxDiffusion과 함께 GKE에서 TPU를 사용하여 SDXL을 제공하면 비용 효율성, 확장성, 높은 가용성을 비롯한 관리형 Kubernetes의 모든 이점을 갖춘 강력한 프로덕션에 즉시 사용 가능한 서빙 솔루션을 빌드할 수 있습니다. 이 섹션에서는 이 튜토리얼에서 사용되는 주요 기술을 설명합니다.

Stable Diffusion XL(SDXL)

Stable Diffusion XL(SDXL)은 추론을 위해 MaxDiffusion에서 지원되는 잠재 확산 모델(LDM)의 한 유형입니다. 생성형 AI의 경우 LDM을 사용하여 텍스트 설명에서 고품질 이미지를 생성할 수 있습니다. LDM은 이미지 검색 및 이미지 캡션과 같은 애플리케이션에 유용합니다.

SDXL은 샤딩 주석으로 단일 또는 멀티 호스트 추론을 지원합니다. 따라서 SDXL을 여러 머신에서 학습시키고 실행하여 효율성을 높일 수 있습니다.

자세한 내용은 안정성 AI 저장소의 생성 모델 및 SDXL 문서를 참조하세요.

TPU

TPU는 Google이 TensorFlow, PyTorch 및 JAX와 같은 프레임워크를 활용하여 빌드된 머신러닝 및 AI 모델을 가속화하는 데 사용하기 위해 커스텀 개발한 ASIC(application-specific integrated circuits)입니다.

GKE에서 TPU를 사용하기 전에 다음 학습 과정을 완료하는 것이 좋습니다.

1. Cloud TPU 시스템 아키텍처를 사용하는 현재 TPU 버전 가용성 알아보기
2. GKE의 TPU 알아보기

이 튜토리얼에서는 SDXL 모델 서빙을 설명합니다. GKE는 지연 시간이 짧은 프롬프트를 제공하기 위한 모델 요구사항에 따라 TPU 토폴로지가 구성된 단일 호스트 TPU v5e 노드에 모델을 배포합니다. 이 가이드에서 모델은 1x1 토폴로지와 함께 TPU v5e 칩을 사용합니다.

MaxDiffusion

MaxDiffusion은 Python 및 Jax로 작성된 참조 구현 모음으로, TPU 및 GPU를 비롯한 XLA 기기에서 실행되는 다양한 잠재 확산 모델입니다. MaxDiffusion은 연구 및 프로덕션을 위한 Diffusion 프로젝트의 시작점입니다.

자세한 내용은 MaxDiffusion 저장소를 참조하세요.

목표

이 튜토리얼은 JAX를 사용하는 생성형 AI 고객, SDXL의 신규 또는 기존 사용자, ML 엔지니어, MLOps(DevOps) 엔지니어, LLM 제공을 위해 Kubernetes 컨테이너 조정 기능을 사용하는 데 관심이 있는 플랫폼 관리자를 대상으로 합니다.

이 가이드는 다음 과정을 다룹니다.

1. 모델 특성에 따라 권장 TPU 토폴로지를 사용하여 GKE Autopilot 또는 Standard 클러스터를 만듭니다.
2. SDXL 추론 컨테이너 이미지를 빌드합니다.
3. GKE에 SDXL 추론 서버를 배포합니다.
4. 웹 앱을 통해 모델과의 상호작용을 제공합니다.

아키텍처

이 섹션에서는 이 튜토리얼에서 사용되는 GKE 아키텍처를 설명합니다. 이 아키텍처는 TPU를 프로비저닝하고 MaxDiffusion 구성요소를 호스팅하는 GKE Autopilot 또는 Standard 클러스터로 구성됩니다. GKE는 이러한 구성요소를 사용하여 모델을 배포하고 제공합니다.

다음 다이어그램은 이 아키텍처의 구성요소를 보여줍니다.

이 아키텍처에는 다음 구성요소가 포함됩니다.

• GKE Autopilot 또는 Standard 리전 클러스터입니다.
• MaxDiffusion 배포에서 SDXL 모델을 호스팅하는 단일 호스트 TPU 슬라이스 노드 풀 1개
• ClusterIP 유형의 부하 분산기가 있는 서비스 구성요소. 이 서비스는 인바운드 트래픽을 모든 MaxDiffusion HTTP 복제본에 분산합니다.
• 인바운드 트래픽을 분산하고 모델 제공 트래픽을 ClusterIP 서비스로 리디렉션하는 외부 LoadBalancer 서비스를 사용하는 WebApp HTTP 서버

시작하기 전에

• Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

• In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

  Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

  Go to project selector

• Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

• Enable the required API.

  Enable the API

• In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

  Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

  Go to project selector

• Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

• Enable the required API.

  Enable the API

• 프로젝트에 다음 역할이 있는지 확인합니다. roles/container.admin, roles/iam.serviceAccountAdmin

  역할 확인

  1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

     IAM으로 이동
  2. 프로젝트를 선택합니다.

  3. 주 구성원 열에서 이메일 주소가 있는 행을 찾습니다.

     이메일 주소가 열에 없으면 역할이 없는 것입니다.

  4. 이메일 주소가 있는 행에 대해 역할 열에서 역할 목록에 필요한 역할이 있는지 확인합니다.

  역할 부여

  1. Google Cloud 콘솔에서 IAM 페이지로 이동합니다.

     IAM으로 이동
  2. 프로젝트를 선택합니다.
  3. 액세스 권한 부여를 클릭합니다.
  4. 새 주 구성원 필드에 이메일 주소를 입력합니다.
  5. 역할 선택 목록에서 역할을 선택합니다.
  6. 역할을 추가로 부여하려면 다른 역할 추가를 클릭하고 각 역할을 추가합니다.
  7. 저장을 클릭합니다.

• TPU v5e PodSlice Lite 칩에 충분한 할당량이 있는지 확인합니다. 이 튜토리얼에서는 온디맨드 인스턴스를 사용합니다.

환경 준비

이 튜토리얼에서는 Cloud Shell을 사용하여 Google Cloud에서 호스팅되는 리소스를 관리합니다. Cloud Shell에는 kubectl 및 gcloud CLI를 포함하여 이 튜토리얼에 필요한 소프트웨어가 사전 설치되어 있습니다.

Cloud Shell로 환경을 설정하려면 다음 단계를 따르세요.

1. Google Cloud 콘솔의 Google Cloud 콘솔에서 Cloud Shell 활성화를 클릭하여 Cloud Shell 세션을 시작합니다. 그러면 Google Cloud 콘솔 하단 창에서 세션이 시작됩니다.

2. 기본 환경 변수를 설정합니다.

   gcloud config set project PROJECT_ID
   export PROJECT_ID=$(gcloud config get project)
   export CLUSTER_NAME=CLUSTER_NAME
   export REGION=REGION_NAME
   export ZONE=ZONE
   

   다음 값을 바꿉니다.

   • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
   • CLUSTER_NAME: GKE 클러스터의 이름입니다.
   • REGION_NAME: GKE 클러스터, Cloud Storage 버킷, TPU 노드가 위치한 리전입니다. 리전에는 TPU v5e 머신 유형을 사용할 수 있는 영역이 포함됩니다(예: us-west1, us-west4, us-central1, us-east1, us-east5 또는 europe-west4).
   • (표준 클러스터만 해당) ZONE: TPU 리소스를 사용할 수 있는 영역입니다(예: us-west4-a). Autopilot 클러스터의 경우 영역을 지정할 필요 없이 리전만 지정하면 됩니다.

3. 예시 저장소를 클론하고 튜토리얼 디렉터리를 엽니다.

   git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
   cd kubernetes-engine-samples/ai-ml/maxdiffusion-tpu 
   WORK_DIR=$(pwd)
   gcloud artifacts repositories create gke-llm --repository-format=docker --location=$REGION
   gcloud auth configure-docker $REGION-docker.pkg.dev
   

Google Cloud 리소스 만들기 및 구성

다음 안내에 따라 필요한 리소스를 만듭니다.

참고: 일부 가속기를 사용하려면 용량 예약을 만들어야 할 수도 있습니다. 예약된 리소스를 예약하고 사용하는 방법은 예약된 영역별 리소스 사용을 참조하세요.

GKE 클러스터 만들기

GKE Autopilot 또는 Standard 클러스터의 TPU에서 SDXL을 제공할 수 있습니다. 완전 관리형 Kubernetes 환경을 위해서는 Autopilot을 사용하는 것이 좋습니다. 워크로드에 가장 적합한 GKE 작업 모드를 선택하려면 GKE 작업 모드 선택을 참조하세요.

Autopilot

1. Cloud Shell에서 다음 명령어를 실행합니다.

   gcloud container clusters create-auto ${CLUSTER_NAME} \
     --project=${PROJECT_ID} \
     --region=${REGION} \
     --release-channel=rapid \
     --cluster-version=1.29
   

   GKE는 배포된 워크로드의 요청에 따라 CPU 및 TPU 노드를 사용하여 Autopilot 클러스터를 만듭니다.

2. 클러스터와 통신하도록 kubectl을 구성합니다.

     gcloud container clusters get-credentials ${CLUSTER_NAME} --location=${REGION}
   

표준

1. GKE용 워크로드 아이덴티티 제휴를 사용하는 리전별 GKE Standard 클러스터를 만듭니다.

   gcloud container clusters create ${CLUSTER_NAME} \
       --enable-ip-alias \
       --machine-type=n2-standard-4 \
       --num-nodes=2 \
       --workload-pool=${PROJECT_ID}.svc.id.goog \
       --location=${REGION}
   

   클러스터 만들기는 몇 분 정도 걸릴 수 있습니다.

2. 다음 명령어를 실행하여 클러스터에 대해 노드 풀을 만듭니다.

   gcloud container node-pools create maxdiffusion-tpu-nodepool \
     --cluster=${CLUSTER_NAME} \
     --machine-type=ct5lp-hightpu-1t \
     --num-nodes=1 \
     --region=${REGION} \
     --node-locations=${ZONE} \
     --spot
   

   GKE는 1x1 토폴로지와 1개의 노드를 사용하여 TPU v5e 노드 풀을 만듭니다.

   서로 다른 토폴로지로 노드 풀을 만들려면 TPU 구성 계획 방법을 알아보세요. cloud.google.com/gke-tpu-topology 및 google.com/tpu와 같이 이 튜토리얼의 샘플 값을 업데이트해야 합니다.

3. 클러스터와 통신하도록 kubectl을 구성합니다.

     gcloud container clusters get-credentials ${CLUSTER_NAME} --location=${REGION}
   

SDXL 추론 컨테이너 빌드

다음 안내에 따라 SDXL 추론 서버용 컨테이너 이미지를 빌드합니다.

1. server/cloudbuild.yaml 매니페스트를 엽니다.

   steps:
   - name: 'gcr.io/cloud-builders/docker'
     args: [ 'build', '-t', '$LOCATION-docker.pkg.dev/$PROJECT_ID/gke-llm/max-diffusion:latest', '.' ]
   images:
   - '$LOCATION-docker.pkg.dev/$PROJECT_ID/gke-llm/max-diffusion:latest'

2. 빌드를 실행하고 추론 컨테이너 이미지를 만듭니다.

   cd $WORK_DIR/build/server
   gcloud builds submit . --region=$REGION
   

   출력에는 컨테이너 이미지의 경로가 포함됩니다.

SDXL 추론 서버 배포

1. serve_sdxl_v5e.yaml 매니페스트를 살펴봅니다.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: stable-diffusion-deployment
   spec:
     selector:
       matchLabels:
         app: max-diffusion-server
     replicas: 1  # number of nodes in node-pool
     template:
       metadata:
         labels:
           app: max-diffusion-server
       spec:
         nodeSelector:
           cloud.google.com/gke-tpu-topology: 1x1 #  target topology
           cloud.google.com/gke-tpu-accelerator: tpu-v5-lite-podslice
           #cloud.google.com/gke-spot: "true"
         volumes:
         - name: dshm
           emptyDir:
                 medium: Memory
         containers:
         - name: serve-stable-diffusion
           image: REGION-docker.pkg.dev/PROJECT_ID/gke-llm/max-diffusion:latest
           env:
           - name: MODEL_NAME
             value: 'stable_diffusion'
           ports:
           - containerPort: 8000
           resources:
             requests:
               google.com/tpu: 1  # TPU chip request
             limits:
               google.com/tpu: 1  # TPU chip request
           volumeMounts:
               - mountPath: /dev/shm
                 name: dshm
   
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: max-diffusion-server
     labels:
       app: max-diffusion-server
   spec:
     type: ClusterIP
     ports:
       - port: 8000
         targetPort: 8000
         name: http-max-diffusion-server
         protocol: TCP
     selector:
       app: max-diffusion-server

2. 매니페스트에서 프로젝트 ID를 업데이트합니다.

   cd $WORK_DIR
   sed -i "s|PROJECT_ID|$PROJECT_ID|g" serve_sdxl_v5e.yaml
   sed -i "s|REGION|$REGION|g" serve_sdxl_v5e.yaml
   

3. 매니페스트를 적용합니다.

   kubectl apply -f serve_sdxl_v5e.yaml
   

   출력은 다음과 비슷합니다.

   deployment.apps/max-diffusion-server created
   

4. 모델의 상태를 확인합니다.

   watch kubectl get deploy
   

   출력은 다음과 비슷합니다.

   NAME                          READY   UP-TO-DATE   AVAILABLE   AGE
   stable-diffusion-deployment   1/1     1            1           8m21s
   

5. ClusterIP 주소를 검색합니다.

   kubectl get service max-diffusion-server
   

   출력에 ClusterIP 필드가 포함됩니다. CLUSTER-IP 값을 기록해 둡니다.

6. 배포 검증

    export ClusterIP=CLUSTER_IP
    kubectl run curl --image=curlimages/curl \
       -it --rm --restart=Never \
       -- "$ClusterIP:8000"
   

   CLUSTER_IP를 앞에서 기록해 둔 CLUSTER-IP 값으로 바꿉니다. 출력은 다음과 비슷합니다.

   {"message":"Hello world! From FastAPI running on Uvicorn with Gunicorn."}
   pod "curl" deleted
   

7. 배포에서 로그를 봅니다.

   kubectl logs -l app=max-diffusion-server
   

   배포가 완료되면 출력은 다음과 비슷합니다.

   2024-06-12 15:45:45,459 [INFO] __main__: replicate params:
   2024-06-12 15:45:46,175 [INFO] __main__: start initialized compiling
   2024-06-12 15:45:46,175 [INFO] __main__: Compiling ...
   2024-06-12 15:45:46,175 [INFO] __main__: aot compiling:
   2024-06-12 15:45:46,176 [INFO] __main__: tokenize prompts:2024-06-12 15:48:49,093 [INFO] __main__: Compiled in 182.91802048683167
   INFO:     Started server process [1]
   INFO:     Waiting for application startup.
   INFO:     Application startup complete.
   

웹 앱 클라이언트 배포

이 섹션에서는 SDXL 모델을 제공하기 위해 웹 앱 클라이언트를 배포합니다.

1. build/webapp/cloudbuild.yaml 매니페스트를 살펴봅니다.

   steps:
   - name: 'gcr.io/cloud-builders/docker'
     args: [ 'build', '-t', '$LOCATION-docker.pkg.dev/$PROJECT_ID/gke-llm/max-diffusion-web:latest', '.' ]
   images:
   - '$LOCATION-docker.pkg.dev/$PROJECT_ID/gke-llm/max-diffusion-web:latest'

2. 빌드를 실행하고 build/webapp 디렉터리에서 클라이언트 컨테이너 이미지를 만듭니다.

   cd $WORK_DIR/build/webapp
   gcloud builds submit . --region=$REGION
   

   출력에는 컨테이너 이미지의 경로가 포함됩니다.

3. serve_sdxl_client.yaml 매니페스트를 엽니다.

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: max-diffusion-client
   spec:
     selector:
       matchLabels:
         app: max-diffusion-client
     template:
       metadata:
         labels:
           app: max-diffusion-client
       spec:
         containers:
         - name: webclient
           image: REGION-docker.pkg.dev/PROJECT_ID/gke-llm/max-diffusion-web:latest
           env:
             - name: SERVER_URL
               value: "http://ClusterIP:8000"
           resources:
             requests:
               memory: "128Mi"
               cpu: "250m"
             limits:
               memory: "256Mi"
               cpu: "500m"
           ports:
           - containerPort: 5000
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: max-diffusion-client-service
   spec:
     type: LoadBalancer
     selector:
       app: max-diffusion-client
     ports:
     - port: 8080
       targetPort: 5000

4. 매니페스트에서 프로젝트 ID를 수정합니다.

   cd $WORK_DIR
   sed -i "s|PROJECT_ID|$PROJECT_ID|g" serve_sdxl_client.yaml
   sed -i "s|ClusterIP|$ClusterIP|g" serve_sdxl_client.yaml
   sed -i "s|REGION|$REGION|g" serve_sdxl_client.yaml
   

5. 매니페스트를 적용합니다.

   kubectl apply -f serve_sdxl_client.yaml
   

6. LoadBalancer IP 주소를 검색합니다.

   kubectl get service max-diffusion-client-service
   

   출력에 LoadBalancer 필드가 포함됩니다. EXTERNAL-IP 값을 기록해 둡니다.

성공: GKE에서 MaxDiffusion 및 TPU v5e를 사용하여 SDXL 모델을 성공적으로 배포했습니다.

웹페이지를 사용하여 모델과 상호작용

1. 웹브라우저에서 다음 URL에 액세스:

   http://EXTERNAL_IP:8080
   

   EXTERNAL_IP를 앞에서 기록해 둔 EXTERNAL_IP 값으로 바꿉니다.

2. 채팅 인터페이스를 사용하여 SDXL과 상호작용합니다. 프롬프트를 추가하고 제출을 클릭합니다. 예를 들면 다음과 같습니다.

   Create a detailed image of a fictional historical site, capturing its unique architecture and cultural significance
   

출력은 다음 예시와 비슷한 모델에서 생성된 이미지입니다.

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

프로젝트 삭제

주의: 프로젝트를 삭제하면 다음과 같은 효과가 발생합니다.

• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.

여러 아키텍처, 튜토리얼, 빠른 시작을 살펴보려는 경우 프로젝트를 재사용하면 프로젝트 할당량 한도 초과를 방지할 수 있습니다.

1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

개별 리소스 삭제

다음 섹션의 설명대로 프로젝트를 유지하고 개별 리소스를 삭제합니다. 다음 명령어를 실행하고 안내를 따릅니다.

gcloud container clusters delete ${CLUSTER_NAME} --region=${REGION}

다음 단계

• 다른 TPU 토폴로지를 사용하여 튜토리얼을 구성합니다. 다른 TPU 토폴로지에 대한 자세한 내용은 TPU 구성 계획을 참조하세요.
• 이 튜토리얼에서 클론한 샘플 저장소에서 MaxDiffusion 추론 서버 샘플 코드 살펴보기
• GKE의 TPU 자세히 알아보기
• JetStream GitHub 저장소 살펴보기
• Vertex AI Model Garden 살펴보기