Filestore로 스테이트풀(Stateful) 워크로드 배포

Autopilot

---

이 튜토리얼에서는 Google Kubernetes Engine(GKE)에서 영구 볼륨(PV) 및 영구 볼륨 신청(PVC)을 사용하여 간단한 리더/작성자 스테이트풀(Stateful) 워크로드를 배포하는 방법을 보여줍니다. 이 튜토리얼에 따라 Google Cloud의 관리형 네트워크 파일 시스템인 Filestore를 사용하여 확장성을 설계하는 방법을 알아보세요.

배경

기본적으로 포드는 일시적입니다. 즉, GKE는 삭제, 축출 또는 다시 예약될 때 포드에 저장된 상태와 값을 폐기합니다.

애플리케이션 운영자는 스테이트풀(Stateful) 워크로드를 유지하고 싶을 수 있습니다. 이러한 워크로드 예시에는 WordPress 문서를 처리하는 애플리케이션, 메시징 앱, 머신러닝 작업을 처리하는 앱이 포함됩니다.

GKE에서 Filestore를 사용하여 다음 작업을 수행할 수 있습니다.

• 확장 가능한 스테이트풀(Stateful) 워크로드 배포하기
• 여러 포드가 동시에 동일한 스토리지에서 읽고 쓸 수 있도록 여러 포드가 ReadWriteMany를 accessMode로 갖도록 설정하기
• 여러 포드에 동시에 볼륨을 마운트하도록 GKE 설정하기
• 포드가 삭제될 때 스토리지 유지하기
• 포드가 데이터를 공유하고 쉽게 확장할 수 있도록 설정하기

목표

이 튜토리얼은 PVC 및 NFS를 사용하여 GKE에서 확장 가능한 스테이트풀(Stateful) 워크로드를 설정하려는 애플리케이션 운영자와 기타 사용자를 대상으로 합니다.

이 튜토리얼은 다음 과정을 다룹니다.

1. GKE 클러스터 만들기
2. CSI를 사용하여 Filestore로 관리형 파일 스토리지 구성
3. 리더 및 작성자 포드를 만들기
4. 리더 포드를 서비스 부하 분산기에 노출하고 액세스하기
5. 작성자 확장하기
6. 작성자 포드의 데이터에 액세스하기

비용

이 튜토리얼에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

• Filestore
• GKE

가격 계산기를 사용하여 예상 사용량을 기준으로 예상 비용을 산출합니다.

이 튜토리얼을 마치면 만든 리소스를 삭제하여 비용이 계속 청구되지 않도록 할 수 있습니다. 자세한 내용은 삭제를 참조하세요.

---

Google Cloud 콘솔에서 이 태스크에 대한 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

---

시작하기 전에

프로젝트 설정

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, click Create project to begin creating a new Google Cloud project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. Enable the Compute Engine, GKE, and Filestore APIs.

   Enable the APIs

5. In the Google Cloud console, on the project selector page, click Create project to begin creating a new Google Cloud project.

   Go to project selector

6. Make sure that billing is enabled for your Google Cloud project.

7. Enable the Compute Engine, GKE, and Filestore APIs.

   Enable the APIs

Google Cloud CLI 기본값 설정

1. Google Cloud 콘솔에서 Cloud Shell 인스턴스를 시작합니다.
   Cloud Shell 열기

2. 이 샘플 앱의 소스 코드를 다운로드합니다.

   git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
   cd kubernetes-engine-samples/databases/stateful-workload-filestore
   

3. 기본 환경 변수를 설정합니다.

   gcloud config set project PROJECT_ID
   gcloud config set compute/region COMPUTE_REGION
   gcloud config set compute/zone COMPUTE_ZONE
   gcloud config set filestore/zone COMPUTE_ZONE
   gcloud config set filestore/region COMPUTE_REGION
   

   다음 값을 바꿉니다.

   • PROJECT_ID: Google Cloud 프로젝트 ID입니다.
   • COMPUTE_REGION: Compute Engine 리전입니다.
   • COMPUTE_ZONE: Compute Engine 영역입니다.

GKE 클러스터 만들기

1. stateful-cluster이라는 GKE 클러스터를 만듭니다.

   gcloud container clusters create-auto stateful-cluster --region COMPUTE_REGION
   

   참고: 이 단계가 완료되는 데는 최대 5분이 걸릴 수 있습니다.

   클러스터가 생성된 후의 결과는 다음과 비슷합니다.

     gcloud container clusters describe stateful-cluster
     NAME: stateful-cluster
     LOCATION: northamerica-northeast2
     MASTER_VERSION: 1.21.11-gke.1100
     MASTER_IP: 34.130.255.70
     MACHINE_TYPE: e2-medium
     NODE_VERSION: 1.21.11-gke.1100
     NUM_NODES: 3
     STATUS: RUNNING
   

   여기서 stateful-cluster의 STATUS는 RUNNING입니다.

CSI를 사용하여 Filestore로 관리형 파일 스토리지 구성

GKE는 클러스터에서 Kubernetes Filestore CSI 드라이버를 자동으로 배포하고 관리하는 방법을 제공합니다. Filestore CSI를 사용하면 Filestore 인스턴스를 동적으로 만들거나 삭제하고 StorageClass 또는 Deployment와 함께 Kubernetes 워크로드에서 이를 사용할 수 있습니다.

Filestore 인스턴스를 동적으로 프로비저닝하는 PVC와 PV를 만들어서 새 Filestore 인스턴스를 만들거나 Kubernetes 워크로드에서 사전에 프로비저닝된 Filestore 인스턴스에 액세스할 수 있습니다.

참고: Filestore CSI 드라이버를 사용하려면 클러스터에서 GKE 버전 1.21 이상을 사용해야 합니다.

새 인스턴스

스토리지 클래스 만들기

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: filestore-sc
provisioner: filestore.csi.storage.gke.io
volumeBindingMode: Immediate
allowVolumeExpansion: true
parameters:
  tier: standard
  network: default

• volumeBindingMode는 Immediate으로 설정되므로 볼륨 프로비저닝을 즉시 시작할 수 있습니다.
• Filestore 인스턴스 생성 시간을 단축하려면 tier를 standard로 설정합니다. 사용 가능한 더 높은 NFS 스토리지, 데이터 백업용 스냅샷, 여러 영역에 대한 데이터 복제, 기타 엔터프라이즈 수준 기능이 필요한 경우 tier를 대신 enterprise로 설정하세요. 참고: StorageClass에서 reclaimPolicy가 설정되지 않은 경우 동적으로 생성된 PV의 회수 정책은 기본적으로 Delete로 설정됩니다.

1. StorageClass 리소스를 만듭니다.

   kubectl create -f filestore-storageclass.yaml
   

2. 스토리지 클래스가 생성되었는지 확인합니다.

   kubectl get sc
   

   출력은 다음과 비슷합니다.

   NAME                     PROVISIONER                    RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
   filestore-sc             filestore.csi.storage.gke.io   Delete          Immediate              true                   94m
   

사전 프로비저닝된 인스턴스

스토리지 클래스 만들기

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: filestore-sc
provisioner: filestore.csi.storage.gke.io
volumeBindingMode: Immediate
allowVolumeExpansion: true

volumeBindingMode가 Immediate로 설정되면 볼륨 프로비저닝을 즉시 시작할 수 있습니다.

1. StorageClass 리소스를 만듭니다.

     kubectl create -f preprov-storageclass.yaml
   

2. 스토리지 클래스가 생성되었는지 확인합니다.

     kubectl get sc
   

   출력은 다음과 비슷합니다.

     NAME                     PROVISIONER                    RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
     filestore-sc             filestore.csi.storage.gke.io   Delete          Immediate              true                   94m
   

Filestore 인스턴스의 영구 볼륨 만들기

apiVersion: v1
kind: PersistentVolume
metadata:
  name: fileserver
  annotations:
    pv.kubernetes.io/provisioned-by: filestore.csi.storage.gke.io
spec:
  storageClassName: filestore-sc
  capacity:
    storage: 1Ti
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Delete
  volumeMode: Filesystem
  csi:
    driver: filestore.csi.storage.gke.io
    # Modify this to use the zone, filestore instance and share name.
    volumeHandle: "modeInstance/<FILESTORE_ZONE>/<INSTANCE_NAME>/<FILESTORE_SHARE_NAME>"
    volumeAttributes:
      ip: <IP_ADDRESS> # Modify this to Pre-provisioned Filestore instance IP
      volume: <FILESTORE_SHARE_NAME> # Modify this to Pre-provisioned Filestore instance share name

1. 기존 Filestore 인스턴스가 준비되었는지 확인합니다.

     gcloud filestore instances list
   

   출력은 다음과 비슷합니다. 여기서 STATE 값은 READY입니다.

     INSTANCE_NAME: stateful-filestore
     LOCATION: us-central1-a
     TIER: ENTERPRISE
     CAPACITY_GB: 1024
     FILE_SHARE_NAME: statefulpath
     IP_ADDRESS: 10.109.38.98
     STATE: READY
     CREATE_TIME: 2022-04-05T18:58:28
   

   Filestore 인스턴스의 INSTANCE_NAME, LOCATION, FILE_SHARE_NAME, IP_ADDRESS를 확인하세요.

2. Filestore 인스턴스 콘솔 변수를 입력합니다.

     INSTANCE_NAME=INSTANCE_NAME
     LOCATION=LOCATION
     FILE_SHARE_NAME=FILE_SHARE_NAME
     IP_ADDRESS=IP_ADDRESS
   

3. 자리표시자 변수를 preprov-pv.yaml 파일에 대해 위에서 수집한 콘솔 변수로 바꿉니다.

     sed "s/<INSTANCE_NAME>/$INSTANCE_NAME/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
     sed "s/<LOCATION>/$LOCATION/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
     sed "s/<FILE_SHARE_NAME>/$FILE_SHARE_NAME/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
     sed "s/<IP_ADDRESS>/$IP_ADDRESS/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
   

4. PV 만들기

     kubectl apply -f preprov-pv.yaml
   

5. PV의 STATUS가 Bound로 설정되었는지 확인합니다.

     kubectl get pv
   

   출력은 다음과 비슷합니다.

     NAME        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                STORAGECLASS    REASON   AGE
     fileserver  1Ti        RWX            Delete           Bound    default/fileserver   filestore-sc             46m
   

PersistentVolumeClaim을 사용하여 볼륨에 액세스

다음 pvc.yaml 매니페스트는 filestore-sc라는 Filestore CSI 드라이버의 StorageClass를 참조합니다.

여러 포드가 볼륨에서 읽고 쓰도록 하려면 accessMode를 ReadWriteMany로 설정합니다.

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: fileserver
spec:
  accessModes:
  - ReadWriteMany
  storageClassName: filestore-sc
  resources:
    requests:
      storage: 1Ti

1. PVC를 배포합니다.

   kubectl create -f pvc.yaml
   

2. PVC가 만들어졌는지 확인합니다.

   kubectl get pvc
   

   출력은 다음과 비슷합니다.

   NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
   fileserver   Bound    pvc-aadc7546-78dd-4f12-a909-7f02aaedf0c3   1Ti        RWX            filestore-sc        92m
   

3. 새로 만든 Filestore 인스터스가 준비되었는지 확인합니다.

   gcloud filestore instances list
   

   출력은 다음과 비슷합니다.

   INSTANCE_NAME: pvc-5bc55493-9e58-4ca5-8cd2-0739e0a7b68c
   LOCATION: northamerica-northeast2-a
   TIER: STANDARD
   CAPACITY_GB: 1024
   FILE_SHARE_NAME: vol1
   IP_ADDRESS: 10.29.174.90
   STATE: READY
   CREATE_TIME: 2022-06-24T18:29:19
   

참고: Filestore 인스턴스는 만드는 데 5분 정도 걸릴 수 있습니다. 기다리는 동안 다음 단계를 진행합니다.

리더 및 작성자 포드 만들기

리더 포드 만들기

작성자 포드는 작성자 포드에서 작성 중인 파일을 읽습니다. 리더 포드는 포드 복제본이 파일에 쓴 시간과 작성자를 확인합니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: reader
spec:
  replicas: 1
  selector:
    matchLabels:
      app: reader
  template:
    metadata:
      labels:
        app: reader
    spec:
      containers:
      - name: nginx
        image: nginx:stable-alpine
        ports:
        - containerPort: 80
        volumeMounts:
        - name: fileserver
          mountPath: /usr/share/nginx/html # the shared directory 
          readOnly: true
      volumes:
      - name: fileserver
        persistentVolumeClaim:
          claimName: fileserver

리더 포드는 모든 포드 간에 공유되는 /usr/share/nginx/html 경로에서 읽습니다.

1. 리더 포드를 배포합니다.

   kubectl apply -f reader-fs.yaml
   

2. 포드 목록을 쿼리하여 리더 복제본이 실행 중인지 확인합니다.

   kubectl get pods
   

   출력은 다음과 비슷합니다.

   NAME                      READY   STATUS    RESTARTS   AGE
   reader-66b8fff8fd-jb9p4   1/1     Running   0          3m30s
   

참고: 리더 포드를 만드는 동안 다음 단계를 진행합니다.

작성자 포드 만들기

작성자 포드는 주기적으로 다른 작성자 및 리더 포드가 액세스할 수 있는 공유 파일에 씁니다. 작성자 포드는 호스트 이름을 공유 파일에 기록하여 현재 상태를 기록합니다.

작성자 포드에 사용되는 이미지는 유틸리티 및 프로덕션 애플리케이션에 사용되는 Alpine Linux의 커스텀 이미지입니다. 여기에는 최근 작성자의 메타데이터를 가져오고 모든 고유 작성자 및 총 쓰기 수를 유지하는 indexInfo.html 스크립트가 포함됩니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: writer
spec:
  replicas: 2 # start with 2 replicas
  selector:
    matchLabels:
      app: writer
  template:
    metadata:
      labels:
        app: writer
    spec:
      containers:
      - name: content
        image: us-docker.pkg.dev/google-samples/containers/gke/stateful-workload:latest
        volumeMounts:
        - name: fileserver
          mountPath: /html # the shared directory
        command: ["/bin/sh", "-c"]
        args:
        - cp /htmlTemp/indexInfo.html /html/index.html;
          while true; do
          echo "<b> Date :</b> <text>$(date)</text> <b> Writer :</b> <text2> ${HOSTNAME} </text2> <br>  " >> /html/indexData.html;
          sleep 30;  
          done
      volumes:
      - name: fileserver
        persistentVolumeClaim:
          claimName: fileserver

이 튜토리얼에서는 작성자 포드가 /html/index.html 경로에 30초마다 기록합니다. 쓰기 빈도가 달라지도록 sleep 번호 값을 수정합니다.

1. 작성자 포드를 배포합니다.

   kubectl apply -f writer-fs.yaml
   

2. 포드 목록을 쿼리하여 작성자 포드가 실행 중인지 확인합니다.

   kubectl get pods
   

   출력은 다음과 비슷합니다.

   NAME                      READY   STATUS    RESTARTS   AGE
   reader-66b8fff8fd-jb9p4   1/1     Running   0          3m30s
   writer-855565fbc6-8gh2k   1/1     Running   0          2m31s
   writer-855565fbc6-lls4r   1/1     Running   0          2m31s
   

   참고: 포드 만들기는 최대 5분이 걸릴 수 있습니다.

리더 워크로드를 서비스 부하 분산기에 노출 및 액세스

클러스터 외부에 워크로드를 노출하려면 LoadBalancer 유형의 서비스를 만듭니다. 이 유형의 서비스는 인터넷을 통해 연결할 수 있는 IP 주소로 외부 부하 분산기를 만듭니다.

1. reader-lb라는 이름의 LoadBalancer 서비스 유형을 만듭니다.

   kubectl create -f loadbalancer.yaml
   

2. 배포를 보고 GKE에서 reader-lb 서비스에 대해 EXTERNAL-IP를 할당하는지 확인합니다.

   kubectl get svc --watch
   

   Service가 준비되면 EXTERNAL-IP 열에 부하 분산기의 공개 IP 주소가 표시됩니다.

     NAME         TYPE           CLUSTER-IP    EXTERNAL-IP     PORT(S)        AGE
     kubernetes   ClusterIP      10.8.128.1    <none>          443/TCP        2d21h
     reader-lb    LoadBalancer   10.8.131.79   34.71.232.122   80:32672/TCP   2d20h
   

3. Ctrl+C를 눌러 확인 프로세스를 종료합니다.

4. 웹브라우저를 사용하여 부하 분산기에 할당된 EXTERNAL-IP로 이동합니다. 페이지는 30초마다 새로고침됩니다. 작성자 포드가 많고 빈도가 짧을수록 더 많은 항목이 표시됩니다.

부하 분산기 서비스에 대한 자세한 내용은 loadbalancer.yaml을 참조하세요.

작성자 확장하기

PV accessMode가 ReadWriteMany로 설정되었으므로 GKE는 더 많은 작성자 포드가 이 공유 볼륨에 쓰거나 더 많은 리더가 해당 볼륨을 읽을 수 있도록 포드 수를 늘릴 수 있습니다.

1. writer를 5개 복제본으로 확장합니다.

   kubectl scale deployment writer --replicas=5
   

   출력은 다음과 비슷합니다.

   deployment.extensions/writer scaled
   

   참고: 확장하려면 클러스터가 추가 리소스를 할당하는 동안 몇 분 정도 걸릴 수 있습니다.

2. 실행 중인 복제본 수를 확인합니다.

   kubectl get pods
   

   출력은 다음과 비슷합니다.

   NAME                      READY   STATUS    RESTARTS   AGE
   reader-66b8fff8fd-jb9p4   1/1     Running   0          11m
   writer-855565fbc6-8dfkj   1/1     Running   0          4m
   writer-855565fbc6-8gh2k   1/1     Running   0          10m
   writer-855565fbc6-gv5rs   1/1     Running   0          4m
   writer-855565fbc6-lls4r   1/1     Running   0          10m
   writer-855565fbc6-tqwxc   1/1     Running   0          4m
   

3. 웹브라우저를 사용하여 부하 분산기에 할당된 EXTERNAL-IP로 다시 이동합니다.

이 시점에서 스테이트풀(Stateful) 작성자 포드 5개를 지원하도록 클러스터를 구성하고 확장했습니다. 여러 작성자 포드가 동일한 파일에 동시에 쓰기를 수행하는 경우 리더 포드도 쉽게 확장할 수 있습니다.

선택사항: 작성자 포드에서 데이터 액세스

이 섹션에서는 명령줄 인터페이스를 사용하여 리더 또는 작성자 포드에 액세스하는 방법을 보여줍니다. 작성자가 쓰고 있고 리더가 읽고 있는 공유 구성요소를 확인할 수 있습니다.

1. 작성자 포드 이름을 가져옵니다.

   kubectl get pods
   

   출력은 다음과 비슷합니다.

   NAME                      READY   STATUS    RESTARTS   AGE
   writer-5465d65b46-7hxv4   1/1     Running   0          20d
   

   작성자 포드의 호스트 이름을 확인합니다(예: writer-5465d65b46-7hxv4).

2. 다음 명령어를 실행하여 작성자 포드에 액세스합니다.

   kubectl exec -it WRITER_HOSTNAME -- /bin/sh
   

3. indexData.html 파일에서 공유 구성요소를 확인합니다.

   cd /html
   cat indexData.html
   

4. indexData.html 파일을 지웁니다.

   echo '' > indexData.html
   

   EXTERNAL-IP 주소를 호스팅하는 웹브라우저를 새로고침하여 변경사항을 확인합니다.

5. 환경을 종료합니다.

   exit
   

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

프로젝트 삭제

주의: 프로젝트를 삭제하면 다음과 같은 효과가 발생합니다.
• 프로젝트의 모든 항목이 삭제됩니다. 이 문서의 태스크에 기존 프로젝트를 사용한 경우 프로젝트를 삭제하면 프로젝트에서 수행한 다른 작업도 삭제됩니다.
• 커스텀 프로젝트 ID가 손실됩니다. 이 프로젝트를 만들 때 앞으로 사용할 커스텀 프로젝트 ID를 만들었을 수 있습니다. appspot.com URL과 같이 프로젝트 ID를 사용하는 URL을 보존하려면 전체 프로젝트를 삭제하는 대신 프로젝트 내에서 선택한 리소스만 삭제합니다.
1. In the Google Cloud console, go to the Manage resources page.

   Go to Manage resources

2. In the project list, select the project that you want to delete, and then click Delete.
3. In the dialog, type the project ID, and then click Shut down to delete the project.

개별 리소스 삭제

1. 부하 분산기 서비스를 삭제합니다.

   kubectl delete service reader-lb
   

   리더 서비스에 대해 프로비저닝된 부하 분산기가 삭제될 때까지 기다립니다.

2. 목록에 Listed 0 items가 반환되는지 확인합니다.

   gcloud compute forwarding-rules list
   

3. 배포 삭제

   kubectl delete deployment writer
   kubectl delete deployment reader
   

4. 포드가 삭제되었는지 확인하고 No resources found in default namespace.를 반환합니다.

   kubectl get pods
   

5. PVC를 삭제합니다. delete로 설정된 보관 정책으로 인해 PV 및 Filestore 인스턴스도 삭제됩니다.

   kubectl delete pvc fileserver
   

6. GKE 클러스터를 삭제합니다.

   gcloud container clusters delete stateful-cluster --zone=COMPUTE_ZONE
   

   이렇게 하면 리더 및 작성자 포드를 포함하여 GKE 클러스터를 구성하는 리소스가 삭제됩니다.

다음 단계

• GKE를 통한 Cloud SQL 배포 방법 알아보기
• PV 및 PVC의 액세스 모드
• GKE 및 Filestore 자세히 알아보기
• Filestore CSI 드라이버 자세히 알아보기
• Filestore 인스턴스를 만드는 방법
• GKE 클러스터에서 Filestore 인스턴스에 액세스하는 방법 보기
• 다른 Kubernetes Engine 튜토리얼 살펴보기
• GKE 서비스(서비스를 사용하여 앱을 노출하는 방법)를 사용하여 앱을 노출하는 방법에 대해 자세히 알아보기