GKE에 Qdrant 벡터 데이터베이스 배포

이 가이드에서는 Google Kubernetes Engine(GKE)에 Qdrant 벡터 데이터베이스 클러스터를 배포하는 방법을 설명합니다.

벡터 데이터베이스는 고차원 벡터의 대규모 컬렉션을 관리하고 검색하도록 특별히 설계된 데이터 스토어입니다. 이러한 벡터는 텍스트, 이미지, 오디오, 동영상 또는 숫자로 인코딩될 수 있는 모든 데이터와 같은 데이터를 나타냅니다. 정확한 일치에 의존하는 기존 데이터베이스와 달리 벡터 데이터베이스는 대규모 데이터 세트 내에서 유사한 항목을 찾거나 패턴을 식별하는 데 특화되어 있습니다. 이러한 특성으로 인해 Qdrant는 신경망 또는 시맨틱 기반 일치, 속성별 검색 등을 포함한 다양한 애플리케이션에 적합합니다. Qdrant는 벡터 데이터베이스뿐만 아니라 벡터 유사성 검색엔진 역할도 합니다.

이 튜토리얼은 GKE에서 Qdrant 데이터베이스 클러스터를 배포하는 데 관심이 있는 클라우드 플랫폼 관리자 및 설계자, ML 엔지니어, MLOps(DevOps) 전문가를 대상으로 합니다.

혜택

Qdrant의 이점은 다음과 같습니다.

  • 다른 서비스와 통합하기 위한 다양한 프로그래밍 언어 및 개방형 API를 위한 광범위한 라이브러리
  • 수평 확장, 샤딩 및 복제 지원으로 확장과 고가용성 간소화
  • 컨테이너 및 Kubernetes 지원으로 최신 클라우드 기반 환경에서 배포 및 관리 수행
  • 검색 기준을 정밀하게 맞춤설정할 수 있는 고급 필터링이 포함된 유연한 페이로드
  • 인프라 비용을 줄이고 성능을 개선하기 위한 다양한 양자화 옵션 및 기타 최적화

목표

이 튜토리얼에서는 다음을 수행하는 방법을 알아봅니다.

  • Qdrant용 GKE 인프라를 계획 및 배포합니다.
  • StatefulHA 연산자를 배포하여 Qdrant 고가용성을 보장합니다.
  • Qdrant 클러스터를 배포하고 구성합니다.
  • 데모 데이터 세트를 업로드하고 간단한 검색어를 실행합니다.
  • 측정항목을 수집하고 대시보드를 실행합니다.

배포 아키텍처

이 아키텍처는 여러 가용성 영역에서 Qdrant에 내결함성이 있는 확장 가능한 GKE 클러스터를 설정하여 순차적 업데이트와 최소한의 중단으로 업타임과 가용성을 보장합니다. 효율적인 장애 조치 관리를 위해 StatefulHA 연산자를 사용하는 것도 포함됩니다. 자세한 내용은 리전 클러스터를 참조하세요.

아키텍처 다이어그램

다음 다이어그램에서는 GKE 클러스터의 여러 노드 및 영역에서 실행되는 Qdrant 클러스터를 보여줍니다.

Qdrant 배포 아키텍처

이 아키텍처에서 Qdrant StatefulSet는 서로 다른 3개 영역의 노드 3개에 배포됩니다.

  • Helm 차트 값 파일에서 필요한 포드 어피니티 규칙과 토폴로지 분산 제약조건을 구성하여 GKE가 노드 간에 포드를 배포하는 방법을 제어할 수 있습니다.
  • 한 영역에 장애가 발생하면 GKE는 권장 구성에 따라 새 노드에 포드를 다시 예약합니다.

데이터 지속성을 위해 이 튜토리얼의 아키텍처에는 다음과 같은 특성이 있습니다.

  • 데이터 유지를 위해 리전 SSD 디스크(커스텀regional-pd StorageClass)를 사용합니다. 짧은 지연 시간과 높은 IOPS로 인해 데이터베이스에 리전 SSD 디스크를 권장합니다.
  • 모든 디스크 데이터가 리전의 기본 영역과 보조 영역 간에 복제되므로 잠재적 영역 장애에 대한 내결함성이 향상됩니다.

비용

이 문서에서는 비용이 청구될 수 있는 다음과 같은 Google Cloud 구성요소를 사용합니다.

프로젝트 사용량을 기준으로 예상 비용을 산출하려면 가격 계산기를 사용하세요. Google Cloud를 처음 사용하는 사용자는 무료 체험판을 사용할 수 있습니다.

이 문서에 설명된 태스크를 완료했으면 만든 리소스를 삭제하여 청구가 계속되는 것을 방지할 수 있습니다. 자세한 내용은 삭제를 참조하세요.

시작하기 전에

이 튜토리얼에서는 Cloud Shell을 사용하여 명령어를 실행합니다. Cloud Shell은 Google Cloud에서 호스팅되는 리소스를 관리하는 데 사용되는 셸 환경입니다. Google Cloud CLI, kubectl, Helm, Terraform 명령줄 도구가 사전에 설치되어 있습니다. Cloud Shell을 사용하지 않는 경우에는 Google Cloud CLI를 설치해야 합니다.

  1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.
  2. Install the Google Cloud CLI.

  3. To initialize the gcloud CLI, run the following command: 

    gcloud init

  4. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  5. Make sure that billing is enabled for your Google Cloud project.

  6. Enable the Resource Manager, Compute Engine, GKE, IAM Service Account Credentials, and Backup for GKE APIs: 

    gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com gkebackup.googleapis.com
  7. Install the Google Cloud CLI.

  8. To initialize the gcloud CLI, run the following command: 

    gcloud init

  9. Create or select a Google Cloud project.

    • Create a Google Cloud project:

      gcloud projects create PROJECT_ID

      Replace PROJECT_ID with a name for the Google Cloud project you are creating.

    • Select the Google Cloud project that you created:

      gcloud config set project PROJECT_ID

      Replace PROJECT_ID with your Google Cloud project name.

  10. Make sure that billing is enabled for your Google Cloud project.

  11. Enable the Resource Manager, Compute Engine, GKE, IAM Service Account Credentials, and Backup for GKE APIs: 

    gcloud services enable cloudresourcemanager.googleapis.com compute.googleapis.com container.googleapis.com iamcredentials.googleapis.com gkebackup.googleapis.com

  12. Grant roles to your user account. Run the following command once for each of the following IAM roles: role/storage.objectViewer, roles/container.admin, roles/iam.serviceAccountAdmin, roles/compute.admin, roles/gkebackup.admin, roles/monitoring.viewer 

    gcloud projects add-iam-policy-binding PROJECT_ID --member="user:USER_IDENTIFIER" --role=ROLE
    • Replace PROJECT_ID with your project ID.

    • Replace USER_IDENTIFIER with the identifier for your user account. For example, user:myemail@example.com.

    • Replace ROLE with each individual role.

환경 설정

Cloud Shell로 환경을 설정하려면 다음 단계를 따르세요.

  1. 프로젝트, 리전, Kubernetes 클러스터 리소스 프리픽스의 환경 변수를 설정합니다.

    이 튜토리얼에서는 us-central1 리전을 사용하여 배포 리소스를 만듭니다.

    export PROJECT_ID=PROJECT_ID
export KUBERNETES_CLUSTER_PREFIX=qdrant
export REGION=us-central1
    • PROJECT_ID를 Google Cloud 프로젝트 ID로 바꿉니다.

  2. Helm 버전을 확인합니다.

    helm version

    3.13 이전인 경우 버전을 업데이트합니다.

    curl https://raw.githubusercontent.com/helm/helm/main/scripts/get-helm-3 | bash

  3. GitHub에서 샘플 코드 저장소를 클론합니다.

    git clone https://github.com/GoogleCloudPlatform/kubernetes-engine-samples

  4. qdrant 디렉터리로 이동하여 배포 리소스 만들기를 시작합니다.

    cd kubernetes-engine-samples/databases/qdrant

클러스터 인프라 만들기

이 섹션에서는 Terraform 스크립트를 실행하여 가용성이 높은 비공개 리전 GKE 클러스터를 만들어 Qdrant 데이터베이스를 배포합니다.

Standard 또는 Autopilot 클러스터를 사용하여 Qdrant를 배포하도록 선택할 수 있습니다. 각 유형은 고유한 장점이 있으며 서로 다른 가격 책정 모델을 제공합니다.

Autopilot

다음 다이어그램에서는 서로 다른 영역 3개에 배포된 Autopilot 리전 GKE 클러스터를 보여줍니다.

GKE Autopilot 클러스터

클러스터 인프라를 배포하려면 Cloud Shell에서 다음 명령어를 실행합니다.

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-autopilot init
terraform -chdir=terraform/gke-autopilot apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

다음 변수는 런타임 시 대체됩니다.

  • GOOGLE_OAUTH_ACCESS_TOKEN: 다양한 Google Cloud API와의 상호작용을 인증하기 위해 gcloud auth print-access-token 명령어로 검색된 액세스 토큰으로 대체됩니다.
  • PROJECT_ID, REGION, KUBERNETES_CLUSTER_PREFIX는 환경 설정 섹션에 정의된 환경 변수이며 만든 Autopilot 클러스터의 새 관련 변수에 할당됩니다.

메시지가 표시되면 yes를 입력합니다.

출력은 다음과 비슷합니다.

...
Apply complete! Resources: 9 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials qdrant-cluster --region us-central1"

Terraform에서 다음 리소스를 만듭니다.

  • Kubernetes 노드의 커스텀 VPC 네트워크 및 비공개 서브넷
  • 네트워크 주소 변환(NAT)을 통해 인터넷에 액세스하는 Cloud Router
  • us-central1 리전의 비공개 GKE 클러스터
  • 클러스터에 대한 로깅 및 모니터링 권한이 있는 ServiceAccount
  • 클러스터 모니터링 및 알림을 위한 Google Cloud Managed Service for Prometheus 구성

표준

다음 다이어그램에서는 서로 다른 영역 3개에 배포된 Standard 비공개 리전 GKE 클러스터를 보여줍니다.

GKE Standard 클러스터

클러스터 인프라를 배포하려면 Cloud Shell에서 다음 명령어를 실행합니다.

export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform -chdir=terraform/gke-standard init
terraform -chdir=terraform/gke-standard apply \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

다음 변수는 런타임 시 대체됩니다.

  • GOOGLE_OAUTH_ACCESS_TOKEN은 다양한 Google Cloud API와의 상호작용을 인증하기 위해 gcloud auth print-access-token 명령어로 검색된 액세스 토큰으로 대체됩니다.
  • PROJECT_ID, REGION, KUBERNETES_CLUSTER_PREFIX는 환경 설정 섹션에 정의된 환경 변수이며 만든 Standard 클러스터의 새 관련 변수에 할당됩니다.

메시지가 표시되면 yes를 입력합니다. 이러한 명령어가 완료되고 클러스터에 준비 상태가 표시되는 데 몇 분 정도 걸릴 수 있습니다.

출력은 다음과 비슷합니다.

...
Apply complete! Resources: 10 added, 0 changed, 0 destroyed.

Outputs:

kubectl_connection_command = "gcloud container clusters get-credentials qdrant-cluster --region us-central1"

Terraform에서 다음 리소스를 만듭니다.

  • Kubernetes 노드의 커스텀 VPC 네트워크 및 비공개 서브넷
  • 네트워크 주소 변환(NAT)을 통해 인터넷에 액세스하는 Cloud Router
  • 자동 확장이 사용 설정된 us-central1 리전의 비공개 GKE 클러스터(영역당 노드 1~2개)
  • 클러스터에 대한 로깅 및 모니터링 권한이 있는 ServiceAccount
  • 클러스터 모니터링 및 알림을 위한 Google Cloud Managed Service for Prometheus 구성

클러스터에 연결

사용자 인증 정보를 가져오고 새 GKE 클러스터와 통신하도록 kubectl을 구성합니다.

gcloud container clusters get-credentials \
    ${KUBERNETES_CLUSTER_PREFIX}-cluster --region ${REGION}

클러스터에 Qdrant 데이터베이스 배포

이 튜토리얼에서는 Helm 차트를 사용하여 Qdrant 데이터베이스(분산 모드) 및 스테이트풀(Stateful) HA 연산자를 GKE 클러스터에 배포합니다.

배포는 다음 구성을 사용하여 GKE 클러스터를 만듭니다.

  • Qdrant 노드의 복제본 3개
  • 톨러레이션(toleration), 노드 어피니티, 토폴로지 분산 제약조건은 Kubernetes 노드 간에 올바르게 배포되도록 구성됩니다. 여기에는 노드 풀과 다양한 가용성 영역이 활용됩니다.
  • SSD 디스크 유형의 RePD 볼륨이 데이터 스토리지에 프로비저닝됩니다.
  • 스테이트풀(Stateful) HA 연산자는 장애 조치 프로세스를 관리하고 고가용성을 보장하는 데 사용됩니다.
  • 인증을 위해 데이터베이스는 API 키가 포함된 Kubernetes 보안 비밀을 만듭니다.

Helm 차트를 사용하여 Qdrant 데이터베이스를 배포하려면 다음 단계를 수행합니다.

  1. StatefulHA 부가기능 사용 설정

    Autopilot

    GKE는 클러스터를 만들 때 StatefulHA 부가기능을 자동으로 사용 설정합니다.

    표준

    다음 명령어를 실행합니다.

    gcloud container clusters update ${KUBERNETES_CLUSTER_PREFIX}-cluster \
    --project=${PROJECT_ID} \
    --region=${REGION} \
    --update-addons=StatefulHA=ENABLED

    이 명령어가 완료되고 클러스터에 준비 상태가 표시되는 데 15분이 걸릴 수 있습니다.

  2. GKE 클러스터에 배포하기 전에 Qdrant 데이터베이스 Helm 차트 저장소를 추가합니다.

    helm repo add qdrant https://qdrant.github.io/qdrant-helm

  3. 데이터베이스의 네임스페이스 qdrant를 만듭니다.

    kubectl create ns qdrant

  4. 매니페스트를 적용하여 리전 영구 SSD 디스크 StorageClass를 만듭니다.

    kubectl apply -n qdrant -f manifests/01-regional-pd/regional-pd.yaml

    regional-pd.yaml 매니페스트는 영구 SSD 디스크 StorageClass를 설명합니다.

    apiVersion: storage.k8s.io/v1
kind: StorageClass
allowVolumeExpansion: true
metadata:
  name: ha-regional
parameters:
  replication-type: regional-pd
  type: pd-ssd
  availability-class: regional-hard-failover
provisioner: pd.csi.storage.gke.io
reclaimPolicy: Retain
volumeBindingMode: WaitForFirstConsumer

  5. Helm을 사용하여 metrics 사이드카 구성 및 Qdrant 클러스터로 Kubernetes configmap을 배포합니다.

    kubectl apply -n qdrant -f manifests/03-prometheus-metrics/metrics-cm.yaml
helm install qdrant-database qdrant/qdrant -n qdrant \
-f manifests/02-values-file/values.yaml

    metrics-cm.yaml 매니페스트는 metrics 사이드카 ConfigMap을 설명합니다.

    apiVersion: v1
kind: ConfigMap
metadata:
  name: nginx-conf
data:
  default.conf.template: |
    server {
      listen 80;
      location / {
        proxy_pass http://localhost:6333/metrics;
        proxy_http_version 1.1;
        proxy_set_header Host $http_host;
        proxy_set_header api-key ${QDRANT_APIKEY};
        proxy_set_header X-Forwarded-For $remote_addr;
      }
    }

    values.yaml 매니페스트는 Qdrant 클러스터 구성을 설명합니다.

    replicaCount: 3

config:
  cluster:
    enabled: true
  storage:
    optimizers:
      deleted_threshold: 0.5
      vacuum_min_vector_number: 1500
      default_segment_number: 2
      max_segment_size_kb: null
      memmap_threshold_kb: null
      indexing_threshold_kb: 25000
      flush_interval_sec: 5
      max_optimization_threads: 1

livenessProbe:
  enabled: true
  initialDelaySeconds: 60

resources:
  limits:
    cpu: "2"
    memory: 4Gi
  requests:
    cpu: "1"
    memory: 4Gi

tolerations:
  - key: "app.stateful/component"
    operator: "Equal"
    value: "qdrant"
    effect: NoSchedule

affinity:
  nodeAffinity:
    preferredDuringSchedulingIgnoredDuringExecution:
    - weight: 1
      preference:
        matchExpressions:
        - key: "app.stateful/component"
          operator: In
          values:
          - "qdrant"

topologySpreadConstraints:
  - maxSkew: 1
    topologyKey: "topology.kubernetes.io/zone"
    whenUnsatisfiable: ScheduleAnyway
    labelSelector:
      matchLabels:
        app.kubernetes.io/name: qdrant
        app.kubernetes.io/instance: qdrant

podDisruptionBudget:
  enabled: true
  maxUnavailable: 1

persistence:
  accessModes: ["ReadWriteOnce"]
  size: 10Gi
  storageClassName: ha-regional

apiKey: true

sidecarContainers:
  - name: metrics
    image: nginx:1.27
    resources:
      requests:
        memory: "128Mi"
        cpu: "250m"
      limits:
        memory: "128Mi"
        cpu: "500m"
    ports:
    - containerPort: 80
    env:
    - name: QDRANT_APIKEY 
      valueFrom:
        secretKeyRef:
          name: qdrant-database-apikey          
          key: api-key
    volumeMounts:
        - name: nginx-conf
          mountPath: /etc/nginx/templates/default.conf.template
          subPath: default.conf.template
          readOnly: true
additionalVolumes:
  - name: nginx-conf
    configMap:
      name: nginx-conf
      items:
        - key: default.conf.template
          path: default.conf.template

    이 구성은 클러스터 모드를 사용 설정하여 가용성이 높은 분산 Qdrant 클러스터를 설정할 수 있도록 합니다.

  6. 배포 상태를 확인합니다.

    helm ls -n qdrant

    qdrant 데이터베이스가 성공적으로 배포되면 출력은 다음과 비슷합니다.

    NAME    NAMESPACE       REVISION        UPDATED                                 STATUS          CHART           APP VERSION
qdrant-database  qdrant          1               2024-02-06 20:21:15.737307567 +0000 UTC deployed        qdrant-0.7.6    v1.7.4

  7. GKE가 필요한 워크로드를 시작할 때까지 기다립니다.

    kubectl wait pods -l app.kubernetes.io/instance=qdrant-database --for condition=Ready --timeout=300s -n qdrant

    이 명령어를 완료하는 데 몇 분이 걸릴 수 있습니다.

  8. GKE가 워크로드를 시작하면 GKE가 Qdrant 워크로드를 생성했는지 확인합니다.

    kubectl get pod,svc,statefulset,pdb,secret -n qdrant

  9. Qdrant의 HighAvailabilityApplication(HAA) 리소스를 시작합니다.

    kubectl apply -n qdrant -f manifests/01-regional-pd/ha-app.yaml

    ha-app.yaml 매니페스트는 HighAvailabilityApplication 리소스를 설명합니다.

    kind: HighAvailabilityApplication
apiVersion: ha.gke.io/v1
metadata:
  name: qdrant-database
  namespace: qdrant
spec:
  resourceSelection:
    resourceKind: StatefulSet
  policy:
    storageSettings:
      requireRegionalStorage: true
    failoverSettings:
      forceDeleteStrategy: AfterNodeUnreachable
      afterNodeUnreachable:
        afterNodeUnreachableSeconds: 20 # 60 seconds total

    다음 GKE 리소스는 Qdrant 클러스터에 대해 생성됩니다.

    • 3개의 포드 복제본을 제어하는 Qdrant StatefulSet
    • 사용할 수 없는 복제본 최대 1개를 보장하는 A PodDisruptionBudget
    • 인바운드 연결 및 노드 간 복제를 위한 Qdrant 포트를 노출하는 qdrant-database 서비스
    • 실행 중인 Qdrant 포드 목록을 제공하는 qdrant-database-headless 서비스
    • 보안 데이터베이스 연결을 지원하는 qdrant-database-apikey 보안 비밀
    • Qdrant 애플리케이션을 적극적으로 모니터링하는 스테이트풀(Stateful) HA 연산자 포드 및 HighlyAvailableApplication 리소스 HighlyAvailableApplication 리소스는 Qdrant에 적용할 장애 조치 규칙을 정의합니다.

  10. 장애 조치 규칙이 적용되었는지 확인하려면 리소스를 설명하고 Status: Message: Application is protected를 확인합니다.

    kubectl describe highavailabilityapplication qdrant-database -n qdrant

    출력은 다음과 비슷합니다.

    Status:
Conditions:
    Last Transition Time:  2023-11-30T09:54:52Z
    Message:               Application is protected
    Observed Generation:   1
    Reason:                ApplicationProtected
    Status:                True
    Type:                  Protected

Jupyter 노트북으로 데이터 세트 업로드 및 검색어 실행

Qdrant는 컬렉션에서 벡터와 페이로드를 구성합니다. 벡터 임베딩은 시맨틱 관계를 유지하면서 단어 또는 항목을 숫자 벡터로 표현하는 기술입니다. 이는 정확한 일치가 아닌 의미에 따라 유사성을 찾기 때문에 검색 및 추천 시스템과 같은 작업을 더 효과적이고 미묘하게 조정하므로 유사성 검색에 중요합니다.

이 섹션에서는 새로운 Qdrant 컬렉션에 벡터를 업로드하고 간단한 검색어를 실행하는 방법을 보여줍니다.

이 예시에서는 다양한 장르의 도서 목록이 포함된 CSV 파일의 데이터 세트를 사용합니다. Qdrant는 검색엔진 역할을 하며 사용자가 만든 Jupyter 노트북 포드는 Qdrant 데이터베이스를 쿼리하는 클라이언트 역할을 합니다.

  1. books-dataset 및 demo-app ConfigMap을 만들고 Jupyter 노트북을 배포합니다.

    kubectl create -n qdrant configmap books-dataset --from-file=manifests/04-notebook/dataset.csv
kubectl create -n qdrant configmap notebook --from-file=manifests/04-notebook/vector-database.ipynb
kubectl apply -n qdrant -f manifests/04-notebook/jupyter.yaml
    • 앞에서 만든 qdrant-apikey라는 보안 비밀은 클라이언트 포드에 APIKEY라는 환경 변수로 마운트됩니다.
    • books-dataset ConfigMap에는 Qdrant 컬렉션을 위한 도서 데이터가 있는 csv 파일이 포함되어 있습니다.
    • notebook ConfigMap에는 books-dataset에서 Qdrant 컬렉션을 만드는 Jupyter 노트북이 포함됩니다.

  2. GKE가 Jupyter 포드를 시작할 때까지 기다립니다.

    kubectl wait pods -l app=jupyter-notebook --for condition=Ready --timeout=300s -n qdrant

  3. 이 URL을 열고 vector-database.ipynb 파일을 클릭합니다. 실행 -> 모든 셀 실행을 누릅니다. Jupyter는 모든 코드를 실행하고 검색어를 수행합니다.

    이 쿼리는 Qdrant의 my_books 컬렉션에 대해 시맨틱 검색을 수행하여 쿼리 텍스트와 관련된 일치 점수가 가장 높은 결과를 최대 2개까지 검색합니다.

    그러면 각 결과가 다음 형식으로 대시 줄로 구분되어 출력됩니다.

    • Title: 도서 제목
    • Author: 도서 저자
    • Description: 문서의 description 메타데이터 필드에 저장된 대로
    • Published: 도서 발행일
    • Score: Qdrant의 관련성 점수

    출력은 다음과 비슷합니다.

    Title: Romeo and Juliet
Author: William Shakespeare, Paul Werstine (Editor), Barbara A. Mowat (Editor),
Paavo Emil Cajander (Translator)
Description: In Romeo and Juliet, Shakespeare creates a violent world, in which
two young people fall in love. It is not simply that their families disapprove;
the Montagues and the Capulets are engaged in a blood feud.In this death-filled
setting, the movement from love at first sight to the lovers' final union in
death seems almost inevitable. And yet, this play set in an extraordinary world
has become the quintessential story of young love. In part because of its exquisite
language, it is easy to respond as if it were about all young lovers. Published: 01/01/04
Score: 0.8935013
-----
Title: The Unbearable Lightness of Being
Author: Milan Kundera, Michael Henry Heim (Translator)
Description: In The Unbearable Lightness of Being, Milan Kundera tells the story
of a young woman in love with a man torn between his love for her and his incorrigible
womanizing and one of his mistresses and her humbly faithful lover. This magnificent
novel juxtaposes geographically distant places, brilliant and playful reflections,
and a variety of styles, to take its place as perhaps the major achievement of
one of the world's truly great writers. Published: 10/27/09
Score: 0.8931863
-----

클러스터의 Prometheus 측정항목 보기

GKE 클러스터는 Prometheus 형식으로 측정항목을 수집할 수 있는 Google Cloud Managed Service for Prometheus로 구성됩니다. 이 서비스는 모니터링 및 알림을 위한 완전 관리형 솔루션을 제공하여 클러스터 및 해당 애플리케이션에서 측정항목을 수집, 저장, 분석할 수 있습니다.

다음 다이어그램은 Prometheus가 클러스터에 대해 측정항목을 수집하는 방법을 보여줍니다.

Prometheus 측정항목 수집

다이어그램의 GKE 비공개 클러스터에는 다음 구성요소가 포함됩니다.

  • 경로 / 및 포트 80에서 측정항목을 노출하는 Qdrant 포드. 이러한 측정항목은 metrics라는 사이드카 컨테이너에서 제공됩니다.
  • Qdrant 포드의 측정항목을 처리하는 Prometheus 기반 수집기
  • Cloud Monitoring으로 측정항목을 전송하는 PodMonitoring 리소스

측정항목을 내보내고 보려면 다음 단계를 따르세요.

  1. labelSelector로 측정항목을 스크래핑하도록 PodMonitoring 리소스를 만듭니다.

    kubectl apply -n qdrant -f manifests/03-prometheus-metrics/pod-monitoring.yaml

    pod-monitoring.yaml 매니페스트는 PodMonitoring 리소스를 설명합니다.

    apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: qdrant
spec:
  selector:
    matchLabels:
      app: qdrant
      app.kubernetes.io/instance: qdrant-database
  endpoints:
  - port: 80
    interval: 30s
    path: /

  2. dashboard.json에 정의된 구성으로 Cloud Monitoring 대시보드를 만듭니다.

    gcloud --project "${PROJECT_ID}" monitoring dashboards create --config-from-file monitoring/dashboard.json

  3. 명령어가 성공적으로 실행되면 Cloud Monitoring 대시보드로 이동합니다.

    대시보드 개요로 이동

  4. 대시보드 목록에서 Qdrant Overview 대시보드를 엽니다. 측정항목을 수집하고 표시하는 데 1~2분 정도 걸릴 수 있습니다.

    대시보드에는 주요 측정항목 수가 표시됩니다.

    • 컬렉션
    • 임베디드 벡터
    • 대기 중인 작업
    • 실행 중인 노드

클러스터 구성 백업

Backup for GKE 기능을 사용하면 배포된 워크로드 및 해당 데이터를 포함하여 전체 GKE 클러스터 구성의 정기 백업을 예약할 수 있습니다.

이 튜토리얼에서는 매일 오전 3시에 보안 비밀과 볼륨을 포함한 모든 워크로드의 백업을 수행하도록 GKE 클러스터의 백업 계획을 구성합니다. 효율적인 스토리지 관리를 위해 3일이 지난 백업은 자동으로 삭제됩니다.

백업 계획을 구성하려면 다음 단계를 수행합니다.

  1. 클러스터에 대해 Backup for GKE 기능을 사용 설정합니다.

    gcloud container clusters update ${KUBERNETES_CLUSTER_PREFIX}-cluster \
--project=${PROJECT_ID} \
--region=${REGION} \
--update-addons=BackupRestore=ENABLED

  2. 클러스터 내의 모든 네임스페이스에 대한 일일 일정을 사용하여 백업 계획을 만듭니다.

    gcloud beta container backup-restore backup-plans create ${KUBERNETES_CLUSTER_PREFIX}-cluster-backup \
--project=${PROJECT_ID} \
--location=${REGION} \
--cluster="projects/${PROJECT_ID}/locations/${REGION}/clusters/${KUBERNETES_CLUSTER_PREFIX}-cluster" \
--all-namespaces \
--include-secrets \
--include-volume-data \
--cron-schedule="0 3 * * *" \
--backup-retain-days=3

    이 명령어는 런타임에 관련 환경 변수를 사용합니다.

    클러스터 이름의 형식은 다음과 같이 프로젝트 및 리전을 기준으로 합니다.

    projects/PROJECT_ID/locations/REGION/clusters/CLUSTER_NAME

    메시지가 표시되면 y.을 입력합니다. 출력은 다음과 비슷합니다.

    Create request issued for: [qdrant-cluster-backup]
Waiting for operation [projects/PROJECT_ID/locations/us-central1/operations/operation-1706528750815-610142ffdc9ac-71be4a05-f61c99fc] to complete...⠹

    이 작업을 완료하려면 몇 분 정도 걸릴 수 있습니다. 실행이 완료되면 출력은 다음과 비슷합니다.

    Created backup plan [qdrant-cluster-backup].

  3. Backup for GKE 콘솔에 나열된 새로 만든 백업 계획 qdrant-cluster-backup을 볼 수 있습니다.

    Backup for GKE로 이동

저장된 백업 구성을 복원하려면 백업 복원을 참조하세요.

삭제

이 튜토리얼에서 사용된 리소스 비용이 Google Cloud 계정에 청구되지 않도록 하려면 리소스가 포함된 프로젝트를 삭제하거나 프로젝트를 유지하고 개별 리소스를 삭제하세요.

프로젝트 삭제

청구되지 않도록 하는 가장 쉬운 방법은 튜토리얼에서 만든 프로젝트를 삭제하는 것입니다.

Delete a Google Cloud project:

gcloud projects delete PROJECT_ID

프로젝트를 삭제하면 정리가 완료됩니다. 프로젝트를 삭제하지 않은 경우 개별 리소스 삭제를 진행합니다.

개별 리소스 삭제

  1. 환경 변수를 설정합니다.

    export PROJECT_ID=${PROJECT_ID}
export KUBERNETES_CLUSTER_PREFIX=qdrant
export REGION=us-central1

  2. terraform destroy 명령어를 실행합니다.

    export GOOGLE_OAUTH_ACCESS_TOKEN=$(gcloud auth print-access-token)
terraform  -chdir=terraform/FOLDER destroy \
-var project_id=${PROJECT_ID} \
-var region=${REGION} \
-var cluster_prefix=${KUBERNETES_CLUSTER_PREFIX}

    생성한 GKE 클러스터 유형에 따라 FOLDER를 gke-autopilot 또는 gke-standard로 바꿉니다.

    메시지가 표시되면 yes를 입력합니다.

  3. 연결되지 않은 모든 디스크를 찾습니다.

    export disk_list=$(gcloud compute disks list --filter="-users:* AND labels.name=${KUBERNETES_CLUSTER_PREFIX}-cluster" --format "value[separator=|](name,region)")

  4. 디스크를 삭제합니다.

    for i in $disk_list; do
 disk_name=$(echo $i| cut -d'|' -f1)
 disk_region=$(echo $i| cut -d'|' -f2|sed 's|.*/||')
 echo "Deleting $disk_name"
 gcloud compute disks delete $disk_name --region $disk_region --quiet
done

  5. GitHub 저장소를 삭제합니다.

    rm -r ~/kubernetes-engine-samples/

다음 단계