Filestore로 스테이트풀(Stateful) 워크로드 배포

이 튜토리얼에서는 Google Kubernetes Engine(GKE)에서 영구 볼륨(PV) 및 영구 볼륨 신청(PVC)을 사용하여 간단한 리더/작성자 스테이트풀(Stateful) 워크로드를 배포하는 방법을 보여줍니다. 이 튜토리얼에 따라 Google Cloud의 관리형 네트워크 파일 시스템인 Filestore를 사용하여 확장성을 설계하는 방법을 알아보세요.

배경

기본적으로 포드는 일시적입니다. 즉, GKE는 삭제, 축출 또는 다시 예약될 때 포드에 저장된 상태와 값을 폐기합니다.

애플리케이션 운영자는 스테이트풀(Stateful) 워크로드를 유지하고 싶을 수 있습니다. 이러한 워크로드의 예시로는 WordPress 기사, 메시지 앱, 머신러닝 작업을 처리하는 앱이 있습니다.

GKE에서 Filestore를 사용하면 다음 작업을 수행할 수 있습니다.

  • 확장 가능한 스테이트풀(Stateful) 워크로드 배포하기
  • 여러 포드가 동시에 동일한 스토리지에서 읽고 쓸 수 있도록 여러 포드가 ReadWriteMany를 accessMode로 갖도록 설정하기
  • 여러 포드에 동시에 볼륨을 마운트하도록 GKE 설정하기
  • 포드가 삭제될 때 스토리지 유지하기
  • 포드가 데이터를 공유하고 쉽게 확장할 수 있도록 설정하기

목표

이 튜토리얼은 PVC 및 NFS를 사용하여 GKE에서 확장 가능한 스테이트풀(Stateful) 워크로드를 설정하려는 애플리케이션 운영자와 기타 사용자를 대상으로 합니다.

스테이트풀(Stateful) 워크로드 GKE 다이어그램

이 튜토리얼은 다음 과정을 다룹니다.

  1. GKE 클러스터 만들기
  2. CSI를 사용하여 Filestore로 관리형 파일 스토리지 구성
  3. 리더 및 작성자 포드를 만들기
  4. 리더 포드를 서비스 부하 분산기에 노출하고 액세스하기
  5. 작성자 확장하기
  6. 작성자 포드의 데이터에 액세스하기

비용

이 튜토리얼에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

가격 계산기를 사용하여 예상 사용량을 기준으로 예상 비용을 산출합니다.

이 튜토리얼을 마치면 만든 리소스를 삭제하여 비용이 계속 청구되지 않도록 할 수 있습니다. 자세한 내용은 삭제를 참조하세요.

Google Cloud 콘솔에서 이 태스크에 대한 단계별 안내를 직접 수행하려면 둘러보기를 클릭합니다.

둘러보기

시작하기 전에

프로젝트 설정

  1. Google Cloud 계정에 로그인합니다. Google Cloud를 처음 사용하는 경우 계정을 만들고 Google 제품의 실제 성능을 평가해 보세요. 신규 고객에게는 워크로드를 실행, 테스트, 배포하는 데 사용할 수 있는 $300의 무료 크레딧이 제공됩니다.

  2. In the Google Cloud console, on the project selector page, click Create project to begin creating a new Google Cloud project.

    Go to project selector

  3. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  4. Enable the Compute Engine, GKE, and Filestore APIs.

    Enable the APIs

    5.

  5. In the Google Cloud console, on the project selector page, click Create project to begin creating a new Google Cloud project.

    Go to project selector

  6. Google Cloud 프로젝트에 결제가 사용 설정되어 있는지 확인합니다.

  7. Enable the Compute Engine, GKE, and Filestore APIs.

    Enable the APIs

    8.

Google Cloud CLI 기본값 설정

  1. Google Cloud 콘솔에서 Cloud Shell 인스턴스를 시작합니다.
    Cloud Shell 열기

  2. 이 샘플 앱의 소스 코드를 다운로드합니다.

    git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples
cd kubernetes-engine-samples/databases/stateful-workload-filestore

  3. 기본 환경 변수를 설정합니다.

    gcloud config set project PROJECT_ID
gcloud config set compute/region COMPUTE_REGION
gcloud config set compute/zone COMPUTE_ZONE
gcloud config set filestore/zone COMPUTE_ZONE
gcloud config set filestore/region COMPUTE_REGION

    다음 값을 바꿉니다.

GKE 클러스터 만들기

  1. stateful-cluster이라는 GKE 클러스터를 만듭니다.

    gcloud container clusters create-auto stateful-cluster --region COMPUTE_REGION

    클러스터가 생성된 후의 결과는 다음과 비슷합니다.

      gcloud container clusters describe stateful-cluster
  NAME: stateful-cluster
  LOCATION: northamerica-northeast2
  MASTER_VERSION: 1.21.11-gke.1100
  MASTER_IP: 34.130.255.70
  MACHINE_TYPE: e2-medium
  NODE_VERSION: 1.21.11-gke.1100
  NUM_NODES: 3
  STATUS: RUNNING

    여기서 stateful-cluster의 STATUS는 RUNNING입니다.

CSI를 사용하여 Filestore로 관리형 파일 스토리지 구성

GKE에서는 클러스터에 Kubernetes Filestore CSI 드라이버를 자동으로 배포하고 관리하는 방법을 제공합니다. Filestore CSI를 사용하면 Filestore 인스턴스를 동적으로 만들거나 삭제하고 StorageClass 또는 Deployment를 사용하여 Kubernetes 워크로드에서 사용할 수 있습니다.

Filestore 인스턴스와 PV를 동적으로 프로비저닝하는 PVC를 만들어서 새 Filestore 인스턴스를 만들거나 Kubernetes 워크로드에서 사전 프로비저닝된 Filestore 인스턴스에 액세스할 수 있습니다.

새 인스턴스

스토리지 클래스 만들기

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: filestore-sc
provisioner: filestore.csi.storage.gke.io
volumeBindingMode: Immediate
allowVolumeExpansion: true
parameters:
  tier: standard
  network: default
  • volumeBindingMode는 Immediate으로 설정되므로 볼륨 프로비저닝을 즉시 시작할 수 있습니다.
  • Filestore 인스턴스 생성 시간을 단축하려면 tier를 standard로 설정합니다. 사용 가능한 더 높은 NFS 스토리지, 데이터 백업용 스냅샷, 여러 영역에 대한 데이터 복제, 기타 엔터프라이즈 수준 기능이 필요한 경우 tier를 대신 enterprise로 설정하세요. 참고: StorageClass에서 reclaimPolicy가 설정되지 않은 경우 동적으로 생성된 PV의 회수 정책은 기본적으로 Delete입니다.

  1. StorageClass 리소스를 만듭니다.

    kubectl create -f filestore-storageclass.yaml

  2. 스토리지 클래스가 생성되었는지 확인합니다.

    kubectl get sc

    출력은 다음과 비슷합니다.

    NAME                     PROVISIONER                    RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
filestore-sc             filestore.csi.storage.gke.io   Delete          Immediate              true                   94m

사전 프로비저닝된 인스턴스

스토리지 클래스 만들기

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: filestore-sc
provisioner: filestore.csi.storage.gke.io
volumeBindingMode: Immediate
allowVolumeExpansion: true

volumeBindingMode가 Immediate로 설정되면 볼륨 프로비저닝을 즉시 시작할 수 있습니다.

  1. StorageClass 리소스를 만듭니다.

      kubectl create -f preprov-storageclass.yaml

  2. 스토리지 클래스가 생성되었는지 확인합니다.

      kubectl get sc

    출력은 다음과 비슷합니다.

      NAME                     PROVISIONER                    RECLAIMPOLICY   VOLUMEBINDINGMODE      ALLOWVOLUMEEXPANSION   AGE
  filestore-sc             filestore.csi.storage.gke.io   Delete          Immediate              true                   94m

Filestore 인스턴스의 영구 볼륨 만들기

apiVersion: v1
kind: PersistentVolume
metadata:
  name: fileserver
  annotations:
    pv.kubernetes.io/provisioned-by: filestore.csi.storage.gke.io
spec:
  storageClassName: filestore-sc
  capacity:
    storage: 1Ti
  accessModes:
    - ReadWriteMany
  persistentVolumeReclaimPolicy: Delete
  volumeMode: Filesystem
  csi:
    driver: filestore.csi.storage.gke.io
    # Modify this to use the zone, filestore instance and share name.
    volumeHandle: "modeInstance/<FILESTORE_ZONE>/<INSTANCE_NAME>/<FILESTORE_SHARE_NAME>"
    volumeAttributes:
      ip: <IP_ADDRESS> # Modify this to Pre-provisioned Filestore instance IP
      volume: <FILESTORE_SHARE_NAME> # Modify this to Pre-provisioned Filestore instance share name

  1. 기존 Filestore 인스턴스가 준비되었는지 확인합니다.

      gcloud filestore instances list

    출력은 다음과 비슷합니다. 여기서 STATE 값은 READY입니다.

      INSTANCE_NAME: stateful-filestore
  LOCATION: us-central1-a
  TIER: ENTERPRISE
  CAPACITY_GB: 1024
  FILE_SHARE_NAME: statefulpath
  IP_ADDRESS: 10.109.38.98
  STATE: READY
  CREATE_TIME: 2022-04-05T18:58:28

    Filestore 인스턴스의 INSTANCE_NAME, LOCATION, FILE_SHARE_NAME, IP_ADDRESS에 유의하세요.

  2. Filestore 인스턴스 콘솔 변수를 채웁니다.

      INSTANCE_NAME=INSTANCE_NAME
  LOCATION=LOCATION
  FILE_SHARE_NAME=FILE_SHARE_NAME
  IP_ADDRESS=IP_ADDRESS

  3. 자리표시자 변수를 preprov-pv.yaml 파일에 대해 위에서 수집한 콘솔 변수로 바꿉니다.

      sed "s/<INSTANCE_NAME>/$INSTANCE_NAME/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
  sed "s/<LOCATION>/$LOCATION/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
  sed "s/<FILE_SHARE_NAME>/$FILE_SHARE_NAME/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml
  sed "s/<IP_ADDRESS>/$IP_ADDRESS/" preprov-pv.yaml > changed.yaml && mv changed.yaml preprov-pv.yaml

  4. PV 만들기

      kubectl apply -f preprov-pv.yaml

  5. PV의 STATUS가 Bound로 설정되었는지 확인합니다.

      kubectl get pv

    출력은 다음과 비슷합니다.

      NAME        CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                STORAGECLASS    REASON   AGE
  fileserver  1Ti        RWX            Delete           Bound    default/fileserver   filestore-sc             46m

PersistentVolumeClaim을 사용하여 볼륨에 액세스

다음 pvc.yaml 매니페스트는 filestore-sc라는 Filestore CSI 드라이버의 StorageClass를 참조합니다.

여러 포드가 볼륨에서 읽고 쓰도록 하려면 accessMode를 ReadWriteMany로 설정합니다.

kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: fileserver
spec:
  accessModes:
  - ReadWriteMany
  storageClassName: filestore-sc
  resources:
    requests:
      storage: 1Ti

  1. PVC를 배포합니다.

    kubectl create -f pvc.yaml

  2. PVC가 만들어졌는지 확인합니다.

    kubectl get pvc

    출력은 다음과 비슷합니다.

    NAME         STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS        AGE
fileserver   Bound    pvc-aadc7546-78dd-4f12-a909-7f02aaedf0c3   1Ti        RWX            filestore-sc        92m

  3. 새로 만든 Filestore 인스턴스가 준비되었는지 확인합니다.

    gcloud filestore instances list

    출력은 다음과 비슷합니다.

    INSTANCE_NAME: pvc-5bc55493-9e58-4ca5-8cd2-0739e0a7b68c
LOCATION: northamerica-northeast2-a
TIER: STANDARD
CAPACITY_GB: 1024
FILE_SHARE_NAME: vol1
IP_ADDRESS: 10.29.174.90
STATE: READY
CREATE_TIME: 2022-06-24T18:29:19

리더 및 작성자 포드 만들기

리더 포드 만들기

작성자 포드는 작성자 포드에서 작성 중인 파일을 읽습니다. 리더 포드는 포드 복제본이 파일에 쓴 시간과 작성자를 확인합니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: reader
spec:
  replicas: 1
  selector:
    matchLabels:
      app: reader
  template:
    metadata:
      labels:
        app: reader
    spec:
      containers:
      - name: nginx
        image: nginx:stable-alpine
        ports:
        - containerPort: 80
        volumeMounts:
        - name: fileserver
          mountPath: /usr/share/nginx/html # the shared directory 
          readOnly: true
      volumes:
      - name: fileserver
        persistentVolumeClaim:
          claimName: fileserver

리더 포드는 모든 포드 간에 공유되는 /usr/share/nginx/html 경로에서 읽습니다.

  1. 리더 포드를 배포합니다.

    kubectl apply -f reader-fs.yaml

  2. 포드 목록을 쿼리하여 리더 복제본이 실행 중인지 확인합니다.

    kubectl get pods

    출력은 다음과 비슷합니다.

    NAME                      READY   STATUS    RESTARTS   AGE
reader-66b8fff8fd-jb9p4   1/1     Running   0          3m30s

작성자 포드 만들기

작성자 포드는 주기적으로 다른 작성자 및 리더 포드가 액세스할 수 있는 공유 파일에 씁니다. 작성자 포드는 호스트 이름을 공유 파일에 기록하여 현재 상태를 기록합니다.

작성자 포드에 사용되는 이미지는 유틸리티 및 프로덕션 애플리케이션에 사용되는 Alpine Linux의 커스텀 이미지입니다. 여기에는 최근 작성자의 메타데이터를 가져오고 모든 고유 작성자 및 총 쓰기 수를 유지하는 indexInfo.html 스크립트가 포함됩니다.

apiVersion: apps/v1
kind: Deployment
metadata:
  name: writer
spec:
  replicas: 2 # start with 2 replicas
  selector:
    matchLabels:
      app: writer
  template:
    metadata:
      labels:
        app: writer
    spec:
      containers:
      - name: content
        image: us-docker.pkg.dev/google-samples/containers/gke/stateful-workload:latest
        volumeMounts:
        - name: fileserver
          mountPath: /html # the shared directory
        command: ["/bin/sh", "-c"]
        args:
        - cp /htmlTemp/indexInfo.html /html/index.html;
          while true; do
          echo "<b> Date :</b> <text>$(date)</text> <b> Writer :</b> <text2> ${HOSTNAME} </text2> <br>  " >> /html/indexData.html;
          sleep 30;  
          done
      volumes:
      - name: fileserver
        persistentVolumeClaim:
          claimName: fileserver

이 튜토리얼에서는 작성자 포드가 /html/index.html 경로에 30초마다 기록합니다. 쓰기 빈도가 달라지도록 sleep 번호 값을 수정합니다.

  1. 작성자 포드를 배포합니다.

    kubectl apply -f writer-fs.yaml

  2. 포드 목록을 쿼리하여 작성자 포드가 실행 중인지 확인합니다.

    kubectl get pods

    출력은 다음과 비슷합니다.

    NAME                      READY   STATUS    RESTARTS   AGE
reader-66b8fff8fd-jb9p4   1/1     Running   0          3m30s
writer-855565fbc6-8gh2k   1/1     Running   0          2m31s
writer-855565fbc6-lls4r   1/1     Running   0          2m31s

리더 워크로드를 서비스 부하 분산기에 노출 및 액세스

클러스터 외부에 워크로드를 노출하려면 LoadBalancer 유형의 서비스를 만듭니다. 이 유형의 서비스는 인터넷을 통해 연결할 수 있는 IP 주소로 외부 부하 분산기를 만듭니다.

  1. reader-lb라는 이름의 LoadBalancer 서비스 유형을 만듭니다.

    kubectl create -f loadbalancer.yaml

  2. 배포를 확인하여 GKE가 reader-lb 서비스에 EXTERNAL-IP를 할당하는지 확인합니다.

    kubectl get svc --watch

    Service가 준비되면 EXTERNAL-IP 열에 부하 분산기의 공개 IP 주소가 표시됩니다.

      NAME         TYPE           CLUSTER-IP    EXTERNAL-IP     PORT(S)        AGE
  kubernetes   ClusterIP      10.8.128.1    <none>          443/TCP        2d21h
  reader-lb    LoadBalancer   10.8.131.79   34.71.232.122   80:32672/TCP   2d20h

  3. Ctrl+C를 눌러 감시 프로세스를 종료합니다.

  4. 웹브라우저를 사용하여 부하 분산기에 할당된 EXTERNAL-IP로 이동합니다. 페이지는 30초마다 새로고침됩니다. 작성자 포드가 많고 빈도가 짧을수록 더 많은 항목이 표시됩니다.

부하 분산기 서비스에 대한 자세한 내용은 loadbalancer.yaml을 참조하세요.

작성자 확장하기

PV accessMode가 ReadWriteMany로 설정되었으므로 GKE는 더 많은 작성자 포드가 이 공유 볼륨에 쓰거나 더 많은 리더가 해당 볼륨을 읽을 수 있도록 포드 수를 늘릴 수 있습니다.

  1. writer을 복제본 5개로 확장합니다.

    kubectl scale deployment writer --replicas=5

    출력은 다음과 비슷합니다.

    deployment.extensions/writer scaled

  2. 실행 중인 복제본 수를 확인합니다.

    kubectl get pods

    출력은 다음과 비슷합니다.

    NAME                      READY   STATUS    RESTARTS   AGE
reader-66b8fff8fd-jb9p4   1/1     Running   0          11m
writer-855565fbc6-8dfkj   1/1     Running   0          4m
writer-855565fbc6-8gh2k   1/1     Running   0          10m
writer-855565fbc6-gv5rs   1/1     Running   0          4m
writer-855565fbc6-lls4r   1/1     Running   0          10m
writer-855565fbc6-tqwxc   1/1     Running   0          4m

  3. 웹브라우저를 사용하여 부하 분산기에 할당된 EXTERNAL-IP로 다시 이동합니다.

이 시점에서 스테이트풀(Stateful) 작성자 포드 5개를 지원하도록 클러스터를 구성하고 확장했습니다. 여러 작성자 포드가 동일한 파일에 동시에 쓰기를 수행하는 경우 리더 포드도 쉽게 확장할 수 있습니다.

선택사항: 작성자 포드에서 데이터 액세스

이 섹션에서는 명령줄 인터페이스를 사용하여 리더 또는 작성자 포드에 액세스하는 방법을 보여줍니다. 작성자가 쓰고 있고 리더가 읽고 있는 공유 구성요소를 확인할 수 있습니다.

  1. 작성자 포드 이름을 가져옵니다.

    kubectl get pods

    출력은 다음과 비슷합니다.

    NAME                      READY   STATUS    RESTARTS   AGE
writer-5465d65b46-7hxv4   1/1     Running   0          20d

    작성자 포드의 호스트 이름을 확인합니다(예: writer-5465d65b46-7hxv4).

  2. 다음 명령어를 실행하여 작성자 포드에 액세스합니다.

    kubectl exec -it WRITER_HOSTNAME -- /bin/sh

  3. indexData.html 파일에서 공유 구성요소를 참조하세요.

    cd /html
cat indexData.html

  4. indexData.html 파일을 지웁니다.

    echo '' > indexData.html

    EXTERNAL-IP 주소를 호스팅하는 웹브라우저를 새로고침하여 변경사항을 확인합니다.

  5. 환경을 종료합니다.

    exit

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

프로젝트 삭제

  1. In the Google Cloud console, go to the Manage resources page.

    Go to Manage resources

  2. In the project list, select the project that you want to delete, and then click Delete.
  3. In the dialog, type the project ID, and then click Shut down to delete the project.

개별 리소스 삭제

  1. 부하 분산기 서비스를 삭제합니다.

    kubectl delete service reader-lb

    리더 서비스에 프로비저닝된 부하 분산기가 삭제될 때까지 기다립니다.

  2. 목록이 Listed 0 items를 반환하는지 확인합니다.

    gcloud compute forwarding-rules list

  3. 배포 삭제

    kubectl delete deployment writer
kubectl delete deployment reader

  4. 포드가 삭제되었는지 확인하고 No resources found in default namespace.를 반환합니다.

    kubectl get pods

  5. PVC를 삭제합니다. delete로 설정된 보관 정책으로 인해 PV 및 Filestore 인스턴스도 삭제됩니다.

    kubectl delete pvc fileserver

  6. GKE 클러스터를 삭제합니다.

    gcloud container clusters delete stateful-cluster --zone=COMPUTE_ZONE

    이렇게 하면 리더 및 작성자 포드를 포함하여 GKE 클러스터를 구성하는 리소스가 삭제됩니다.

다음 단계