수평형 포드 자동 확장 처리 이벤트 보기

Autopilot Standard

---

이 페이지에서는 Google Kubernetes Engine (GKE)의 수평형 포드 자동 확장 처리에서 내보내는 결정 이벤트에 대한 정보를 제공합니다. 이러한 이벤트를 분석하면 수평형 포드 자동 확장 처리 컨트롤러가 워크로드 확장을 관리하는 방식을 확인하고 작업의 결정 과정을 이해할 수 있습니다.

수평형 포드 자동 확장 처리는 Cloud Logging에 로그 항목으로 저장되는 결정 이벤트를 내보냅니다.

시작하기 전에

다음 기본 요건을 완료해야 합니다.

프로젝트 선택 또는 생성

기존 프로젝트를 사용하거나 이 튜토리얼용으로 새 프로젝트를 만들 수 있습니다.

1. Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform in real-world scenarios. New customers also get $300 in free credits to run, test, and deploy workloads.

2. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

3. Make sure that billing is enabled for your Google Cloud project.

4. In the Google Cloud console, on the project selector page, select or create a Google Cloud project.

   Note: If you don't plan to keep the resources that you create in this procedure, create a project instead of selecting an existing project. After you finish these steps, you can delete the project, removing all resources associated with the project.

   Go to project selector

5. Make sure that billing is enabled for your Google Cloud project.

API 사용 설정

Enable the GKE, and Cloud Logging APIs.

Enable the APIs

Cloud Shell 설정

이 튜토리얼에서는 Cloud Shell을 사용하여 gcloud 및 kubectl 명령어를 실행합니다. Cloud Shell은 Google Cloud에서 호스팅되는 리소스를 관리하기 위한 셸 환경입니다. Google Cloud CLI 및 kubectl 명령줄 도구가 사전 설치되어 있습니다.

In the Google Cloud console, activate Cloud Shell.

Activate Cloud Shell

Console 하단의 프레임에서 Cloud Shell 세션이 열립니다.

이 튜토리얼에서 명령어를 실행하기 전에 기본 프로젝트가 샘플 앱을 배포할 프로젝트 ID로 설정되어 있는지 확인합니다. 아직 설정되지 않았으면 Cloud Shell에서 다음 명령어를 실행합니다.

gcloud config set project PROJECT_ID

여기서 PROJECT_ID를 프로젝트 ID로 바꿉니다.

필수 역할 및 권한

로그 생성을 사용 설정하고 로그에 액세스하고 처리하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.

• 클러스터에서 수평형 포드 자동 확장 처리 이벤트 로깅을 사용 설정하려면 다음 안내를 따르세요. Kubernetes Engine 클러스터 관리자 (roles/container.clusterAdmin)
• 로그에 액세스하고 로그 탐색기 및 로그 분석을 사용하려면 다음을 실행합니다. 로그 뷰어 (roles/logging.viewer)

역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.

커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.

요구사항

• GKE 클러스터가 버전 1.31.5-gke.1090000 이상 또는 1.32.1-gke.1260000 이상을 실행해야 합니다.
• GKE 클러스터에서 Cloud Logging을 사용 설정합니다. Cloud Logging 가격 책정이 적용됩니다.

수평형 포드 자동 확장 처리 결정 이벤트 사용 설정

주의: 기존 클러스터에 이미 특정 로깅 구성요소가 구성되어 있을 수 있습니다. Google Cloud CLI 또는 API 호출을 사용하여 기존 클러스터를 업데이트할 때는 기존 구성이 덮어쓰지 않도록 업데이트 요청에 기존 로깅 구성을 포함해야 합니다.

참고: Cloud Logging으로 로그를 전송하려면 시스템 로그를 전송해야 합니다. KCP_HPA와 같은 추가 소스의 로그를 사용 설정할 때는 시스템 로그 구성요소를 사용 설정해야 합니다.

KCP_HPA 결정 로그가 사용 설정된 새 클러스터를 만들려면 다음 명령어를 실행합니다.

gcloud container clusters create CLUSTER_NAME \
    --location=LOCATION \
    --project=PROJECT_ID \
    --logging=SYSTEM,KCP_HPA

기존 클러스터에서 KCP_HPA 결정 로그를 사용 설정하려면 다음 명령어를 실행합니다.

gcloud container clusters update CLUSTER_NAME \
    --location=LOCATION \
    --project=PROJECT_ID \
    --logging=SYSTEM,KCP_HPA

다음을 바꿉니다.

• CLUSTER_NAME: 만들거나 업데이트하려는 클러스터의 이름입니다.
• PROJECT_ID: Google Cloud 프로젝트 ID입니다.
• LOCATION: 클러스터의 컴퓨팅 리전 또는 영역입니다.

이 명령어를 사용하면 KCP_HPA에서 생성된 로그를 내보내고 Cloud Logging 내의 대상 logName="projects/PROJECT_ID/logs/container.googleapis.com%2Fhpa-controller"에 저장할 수 있습니다.

클러스터의 업데이트된 로깅 구성을 가져와 로그 목록을 검토하여 KCP_HPA 로그가 사용 설정되어 있는지 확인합니다.

gcloud container clusters describe CLUSTER_NAME \
    --location=LOCATION \
    --flatten=loggingConfig \
    --format='csv[delimiter=",",no-heading](componentConfig.enableComponents)'

출력은 다음과 비슷합니다.

SYSTEM_COMPONENTS,APISERVER,CONTROLLER_MANAGER,SCHEDULER,KCP_HPA

수평형 포드 자동 확장 처리 결정 이벤트 사용 중지

주의: 기존 클러스터에 이미 특정 로깅 구성요소가 구성되어 있을 수 있습니다. Google Cloud CLI 또는 API 호출을 사용하여 기존 클러스터를 업데이트할 때는 기존 구성이 덮어쓰지 않도록 업데이트 요청에 기존 로깅 구성을 포함해야 합니다.

참고: 시스템 로그는 문제 해결 및 지원에 필요합니다. 시스템 로그를 사용 중지하면 GKE 고객 지원이 최선의 방식으로 제공되며, 자체 엔지니어링팀의 추가 작업이 필요할 수 있습니다.

--logging 플래그에서 KCP_HPA 구성요소를 삭제하도록 클러스터를 업데이트합니다.

gcloud container clusters update CLUSTER_NAME \
    --location=LOCATION \
    --project=PROJECT_ID \
    --logging=SYSTEM

다음을 바꿉니다.

• CLUSTER_NAME: 만들거나 업데이트하려는 클러스터의 이름입니다.
• PROJECT_ID: Google Cloud 프로젝트 ID입니다.
• LOCATION: 클러스터의 컴퓨팅 리전 또는 영역입니다.

이 명령어는 KCP_HPA에서 생성된 로그의 내보내기를 사용 중지합니다. Cloud Logging 내에서 logName="projects/PROJECT_ID/logs/container.googleapis.com%2Fhpa-controller" 필터를 사용하여 가져올 수 없습니다.

클러스터의 업데이트된 로깅 구성을 가져와 로그 목록을 검토하여 KCP_HPA 로그가 사용 중지되었는지 확인합니다.

gcloud container clusters describe CLUSTER_NAME \
    --location=LOCATION \
    --flatten=loggingConfig \
    --format='csv[delimiter=",",no-heading](componentConfig.enableComponents)'

출력은 다음과 비슷합니다.

SYSTEM_COMPONENTS,APISERVER,CONTROLLER_MANAGER,SCHEDULER

로그 유형

수평형 포드 자동 확장 처리의 결정 이벤트는 GKE 클러스터와 동일한 프로젝트의 _Default 버킷에 있는 logName="projects/PROJECT_ID/logs/container.googleapis.com%2Fhpa-controller" 위치의 Cloud Logging에 저장됩니다. 로깅된 모든 이벤트는 JSON 형식이며 로그 항목의 jsonPayload 필드에서 찾을 수 있습니다.

성능 또는 비용 영향 외에도 잠재적인 로그 볼륨의 스토리지 요구사항을 이해해야 합니다. 다음 예에서는 수평형 포드 자동 확장 처리가 각 유형의 결정 이벤트를 생성하는 빈도를 설명합니다.

• 원자적 추천: 수평형 포드 자동 확장 처리는 클러스터의 각 HPA 객체에서 모니터링하는 각 측정항목에 대해 15초마다 하나의 원자적 추천 이벤트를 생성합니다. 예를 들어 클러스터에 HPA 객체가 2개 있고 각 HPA 객체가 3개의 측정항목을 모니터링하는 경우 15초마다 6개의 원자적 추천이 로깅됩니다.

• 최종 권장사항: 수평형 포드 자동 확장 처리는 클러스터의 각 HPA 객체에 대해 15초마다 최종 권장사항 이벤트를 하나씩 생성합니다. 예를 들어 클러스터에 HPA 객체가 2개 있는 경우 15초마다 최종 권장사항 2개가 로깅됩니다.

각각 세 가지 측정항목을 모니터링하는 HPA 객체 2개를 사용하면 KCP_HPA 로그는 15초마다 총 8개의 결정 이벤트 항목을 수신합니다.

원자적 추천

원자적 추천 로그는 수평형 포드 자동 확장 처리에 지정된 개별 측정항목을 기반으로 한 추천을 설명합니다.

원자 로그에는 다음 필드가 포함됩니다.

필드	설명
start_time	HPA가 추천을 계산하기 시작한 시간을 나타냅니다.
hpa	추천과 연결된 HPA 객체의 이름입니다.
pod_count	추천을 할 때 HPA와 연결된 총 포드 수를 나타냅니다. 이 수치에는 준비된 포드, 준비되지 않은 포드, 무시된 포드도 포함됩니다.
metric	맞춤 콘텐츠에 사용된 측정항목의 사양 및 상태에 관한 정보를 제공합니다. metric 필드에는 다음과 같은 하위 필드가 포함됩니다. index: Spec metrics 배열의 측정항목 색인입니다. type: MetricSourceType의 값이 있는 측정항목 유형입니다 (예: 리소스, 외부). spec: 측정항목의 이름과 해당 측정항목에 설정된 타겟입니다. status: 확장성과 확장 제한과 관련된 상태 조건입니다. newest_sample_time: 최신 측정항목 샘플의 타임스탬프입니다. newest_sample_age_seconds: 맞춤 콘텐츠 계산이 시작된 후 가장 최근 샘플의 경과 시간(초)입니다. 음수 값은 측정항목 샘플이 계산 시작 이전임을 나타냅니다.
summary	요약 필드에는 추천 복제본 수를 비롯하여 추천 결과에 관한 정보가 포함됩니다. 추천을 제안할 수 없는 경우 오류 메시지가 표시됩니다. summary 필드에는 다음과 같은 하위 필드가 포함됩니다. dampening: HPA는 권장사항과 방향에 감쇠를 적용하여 잠재적 확장 규모를 줄이려고 시도합니다. 감쇠는 다음과 같은 방식으로 발생할 수 있습니다. up: 상향 감쇠 방향은 HPA가 측정항목 사용률이 100% 인 누락된 측정항목 포드를 가정한다는 의미입니다. down: 하향 감쇠 방향은 HPA가 측정항목 누락 포드 또는 측정항목 사용량이 0% 인 준비되지 않은 포드를 가정함을 의미합니다. none: 감쇠가 적용되지 않습니다. override: HPA에서 제안한 권장사항이 적용되지 않는 이유를 제공하는 메시지 (예: 허용 오차로 인한 경우)입니다. 재정의가 발생하지 않은 경우에는 none입니다. result: 추천 결과입니다. 권장 리플리카 수를 제안하거나 권장사항을 계산할 수 없는 경우 오류 메시지를 표시합니다.

원자적 추천 로그 예:

{
  "insertId": "xiu4bty9k5b279wu",
  "jsonPayload": {
    "instance": {
      "vm_name": "my-unique-vm-identifier",
      "zone": "us-central1-a"
    },
    "atomicRecommendation": {
      "startTime": "2025-02-06T20:07:00.573419526Z",
      "hpa": "gke-managed-cim/kube-state-metrics",
      "metric": {
        "newestSampleAgeSeconds": -39.573419526,
        "status": {
          "averageValue": "25849856"
        },
        "newestSampleTime": "2025-02-06T20:06:21Z",
        "type": "Resource",
        "spec": {
          "target": {
            "averageValue": "400Mi"
          },
          "name": "memory"
        }
      },
      "podCount": {
        "ready": 1,
        "total": 1
      },
      "summary": {
        "override": "none",
        "replicas": 1,
        "dampening": "none"
      }
    }
  },
  "resource": {
    "type": "k8s_control_plane_component",
    "labels": {
      "project_id": "my-project-id",
      "cluster_name": "my-cluster",
      "location": "us-central1-a",
      "component_location": "us-central1-a",
      "component_name": "hpa-controller"
    }
  },
  "timestamp": "2025-02-06T20:07:00.593777835Z",
  "severity": "INFO",
  "labels": {
    "compute.googleapis.com/resource_name": "my-unique-vm-identifier"
  },
  "logName": "projects/my-project-id/logs/container.googleapis.com%2Fhpa-controller",
  "sourceLocation": {
    "file": "event_logger.go",
    "line": "61"
  },
  "receiveTimestamp": "2025-02-06T20:07:05.284753647Z"
}

최종 권장사항

최종 권장사항 로그에는 수평형 포드 자동 확장 처리에서 제안한 통합 권장사항이 설명되어 있습니다. 수평형 포드 자동 확장 처리는 여러 측정항목의 모든 원자적 권장사항을 결합하여 최종 권장사항을 만들고 최종 권장사항을 실행합니다. 작동은 HPA가 권장 값과 일치하도록 복제본 수를 조정하도록 배포에 지시하는 것을 의미합니다. 최종 추천이 실행 중인 포드 수와 다른 포드 수를 제안하는 경우 수평형 포드 자동 확장 처리는 확장 또는 축소 이벤트를 트리거하여 배포를 적절하게 조정합니다.

최종 추천 로그에는 다음 필드가 포함됩니다.

필드	설명
start_time	HPA가 추천을 계산하기 시작한 시간을 나타냅니다.
hpa	추천과 연결된 HPA 객체의 이름입니다.
target_ref	추천과 연결된 HPA ScaleTargetRef 객체를 나타냅니다.
configured_size	HPA가 이 추천을 계산하고 적용하기 전에 마지막으로 기록된 복제본 수입니다.
top_level_override	HPA에서 제안한 권장사항이 적용되지 않은 경우 (예: 허용 오차로 인해) 이유를 제공하거나 재정의가 발생하지 않은 경우 none를 제공합니다.
top_level_limit	HPA에서 제안한 권장사항을 조정해야 하는 경우의 이유를 제공합니다 (예: HPA 사양의 MinReplicas 또는 MaxReplicas 필드에 정의된 복제본 수로 인해).
leading_metric_index	Spec metrics 배열의 선행 측정항목 색인은 연결된 원자 추천이 최종 추천으로 사용되는 측정항목입니다.
normalization	안정화 및 제한 요약을 다음과 같이 제공합니다(있는 경우). stabilization: 적용된 경우 안정화 상태를 설명합니다. 안정화는 확장에 사용되는 측정항목이 계속 변동될 때 복제본 수의 플래핑을 제한하는 데 사용됩니다. stabilization 필드는 다음과 같은 하위 필드로 구성됩니다. replicas: 안정화 후 복제본 수입니다. reason: 적용된 손떨림 보정 유형(scaleUp 또는 scaleDown)입니다. stabilization_window: 관련 안정화 시간(초)입니다. replicas_before_stabilization: 안정화 전에 권장되는 복제본 수입니다. limitation: 확장 제한이 적용되는 경우 제한이 처리되는 방식을 설명합니다. 이 동작은 현지 제한사항에 따라 HPA에서 제안한 권장사항을 수정합니다. limitation 필드는 다음과 같은 하위 필드로 구성됩니다. replicas: 제한 후 복제본 수입니다. reason: 최소 또는 최대 복제본 수를 초과하여 확장하지 않은 이유입니다. scaling_policy: 적용된 확장 정책입니다. selectPolicy: 특정 방향으로 크기를 조절할 때 정책이 선택되는 방식을 지정합니다. MaxChange는 MaxChangePolicySelect에 해당하고 MinChange는 MinChangePolicySelect에 해당합니다. 크기 조정이 사용 중지된 경우 selectPolicy 필드가 표시되지 않습니다. replicas_before_limitation: 제한 전에 권장되는 복제본 수입니다.
replicas	권장 복제본 수입니다.
actuation_error	작동에 실패한 경우 오류와 관련된 오류 메시지
actuation_time	성공 시 작동의 타임스탬프입니다.
actuation_latency_seconds	추천 계산 시작부터 작동이 성공할 때까지 경과된 시간(초)입니다.

최종 권장사항 로그 예:

{
  "insertId": "qzyv7alfv1sm19ns",
  "jsonPayload": {
    "finalRecommendation": {
      "actuationTime": "2025-02-06T20:06:57.487786873Z",
      "targetRef": {
        "name": "kube-state-metrics",
        "kind": "StatefulSet",
        "apiVersion": "apps/v1"
      },
      "topLevelLimit": "none",
      "hpa": "gke-managed-cim/kube-state-metrics",
      "topLevelOverride": "noRecommendation",
      "replicas": 1,
      "configuredSize": 1,
      "actuationLatencySeconds": 0.003722451,
      "startTime": "2025-02-06T20:06:57.484064422Z"
    },
    "instance": {
      "vm_name": "my-unique-vm-identifier",
      "zone": "us-central1-a"
    }
  },
  "resource": {
    "type": "k8s_control_plane_component",
    "labels": {
      "cluster_name": "my-cluster",
      "component_location": "us-central1-a",
      "component_name": "hpa-controller",
      "location": "us-central1-a",
      "project_id": "my-project-id"
    }
  },
  "timestamp": "2025-02-06T20:06:57.488193527Z",
  "severity": "INFO",
  "labels": {
    "compute.googleapis.com/resource_name": "my-unique-vm-identifier"
  },
  "logName": "projects/my-project-id/logs/container.googleapis.com%2Fhpa-controller",
  "sourceLocation": {
    "file": "event_logger.go",
    "line": "61"
  },
  "receiveTimestamp": "2025-02-06T20:06:57.844898727Z"
}

문제 해결

이 섹션에서는 수평형 포드 자동 확장기 이벤트와 관련된 문제 및 해결 단계를 설명합니다.

일정이 없습니다.

수평형 포드 자동 확장 처리 결정 이벤트가 표시되지 않으면 다음 작업을 모두 완료했는지 확인하세요.

• 클러스터에 Cloud Logging이 사용 설정되어 있습니다.
• 클러스터에 KCP_HPA 로그를 사용 설정했습니다.
• 올바르게 구성된 hpa 객체를 클러스터에 하나 이상 배포했습니다.

hpa 객체 구성을 보려면 다음 명령어를 실행합니다.

  kubectl describe hpa $HPA_NAME

그래도 KCP_HPA 로그가 표시되지 않으면 Google Cloud 지원팀에 문의하세요.

다음 단계

• GKE 로그 정보를 참고하세요.
• GKE 로그 이해
• 샘플 쿼리를 사용하여 특정 GKE 로그를 찾는 방법을 알아봅니다.
• 측정항목을 기반으로 포드 자동 확장을 최적화하는 방법을 알아보세요.