Cloud Operations for GKE로 마이그레이션

Google Kubernetes Engine(GKE)의 모니터링 및 로깅 지원에는 두 가지 옵션이 있습니다.

이 페이지에서는 이러한 두 옵션의 차이점과 기존 Logging 및 Monitoring에서 GKE용 클라우드 작업으로 마이그레이션하기 위해 변경해야 하는 사항을 설명합니다.

언제 이전해야 하나요?

기존 Cloud Monitoring 및 Cloud Logging 구성은 기존 Logging 및 Monitoring에서 GKE용 클라우드 작업으로 언제든지 마이그레이션할 수 있습니다. 하지만 기존 Logging 및 Monitoring은 GKE 버전 1.20에서 지원되지 않습니다.

다음 표에서는 각 GKE 출시 버전에서 사용 가능한 모니터링 및 로깅 옵션을 요약해서 보여줍니다.

GKE 버전 기존 Logging 및 Monitoring Cloud Operations for GKE
1.14 사용 가능 기본값
1.15 사용 가능 기본값
1.16 사용 가능 기본값
1.17 사용 가능 기본값
1.18 사용 가능 기본값
1.19 사용 가능 기본값
1.20 사용 불가 기본값

기존 Logging 및 Monitoring 지원 중단에 대한 자세한 내용은 GKE에 대한 기존 지원 중단 가이드를 참조하세요.

Cloud Operations for GKE를 사용하면 어떤 이점이 있나요?

Cloud Operations for GKE는 다음과 같은 중요한 이점이 있습니다.

  • 인프라 모니터링 개선. GKE 대시보드에는 무료 계층에서 즉시 사용 가능한 측정항목이 더 많이 포함되어 있으며, 측정항목 개수가 기존 17개에서 신규 44개로 늘었습니다.

  • 더 많은 리소스 유형으로 Kubernetes 리소스를 더 효과적으로 차별화할 수 있으며, 측정항목 필터링 및 그룹화를 위해 더 많은 메타데이터가 지원됩니다.

  • GKE용 SLO 모니터링으로 서비스 지향 모니터링을 지원합니다.

  • Cloud Logging 및 Cloud Monitoring 간에 일관적인 리소스 모델을 지원합니다.

  • 모든 새로운 GKE 측정항목의 성능이 향상되었습니다.

어떤 점이 달라지나요?

Cloud Operations for GKE는 기존 Logging 및 Monitoring과 다른 리소스 모델을 사용하여 측정항목, 로그, 메타데이터를 구성합니다. Cloud Operations for GKE를 사용하는 클러스터의 몇 가지 구체적인 변경사항은 다음과 같습니다.

  • 탐색 변경: Cloud Monitoring 대시보드의 이름은 GKE입니다. GKE용 클라우드 작업을 사용하는 클러스터가 없으면 이 대시보드가 표시되지 않습니다.

  • 모니터링 리소스 유형 이름 변경: 예를 들어 Kubernetes 노드가 gce_instance (Compute Engine VM 인스턴스)가 아닌 Kubernetes 노드인 모니터링 리소스 유형 k8s_node 아래에 나열됩니다.

  • Kubernetes 측정항목 이름 변경: 이제 GKE용 클라우드 작업에서 측정항목 유형 이름이 container.googleapis.com/ 대신 프리픽스 kubernetes.io/로 시작합니다.

  • logEntry 메타데이터 변경사항: Cloud Operations for GKE 로그 항목에서 일부 resource.labellabels 필드의 이름이 변경되었습니다. 예를 들어 resource.labels.namespace_id 필드가 resource.labels.namespace_name으로 변경되었고, 해당 값은 변경되지 않았습니다.

  • logName 변경사항: Cloud Operations for GKE 로그 항목에서는 해당 로그 이름에 stdout 또는 stderr이 사용됩니다. 반면에 기존 Logging 및 Monitoring에서는 컨테이너 이름을 포함하여 더 다양한 이름이 사용됩니다. 컨테이너 이름은 Cloud Operations for GKE에서 resource.labels.container_name 아래의 리소스 라벨로 계속 사용할 수 있습니다.

다음은 이전 변경사항을 요약한 표입니다.

변경 (이전) 기존 Logging 및 Monitoring (신규) Cloud Operations for GKE
대시보드 메뉴 대시보드 > GKE 클러스터 대시보드 > GKE
측정항목 프리픽스 container.googleapis.com kubernetes.io
측정항목 리소스 유형 gke_container
gce_instance
(없음)
k8s_container
k8s_node
k8s_pod
로그 리소스 유형 container
gke_cluster
gce_instance
gke_nodepool
k8s_container
k8s_cluster
gke_cluster(감사 로그만)
k8s_node
k8s_pod

리소스 유형 변경사항

Cloud Operations for GKE에는 새로운 리소스 유형 이름, 새로운 리소스 유형 표시 이름, 특정 리소스를 식별하는 라벨의 새 이름이 있습니다. 다음 표에 이러한 변경사항이 나와 있습니다.

리소스 유형 변경사항
(이전) 기존 Logging 및 Monitoring 리소스 유형 (신규) Cloud Operations for GKE 리소스 유형
표 각주:
1 모니터링(전용)에 사용되는 새 리소스 유형에서 instance_idmetadata.system_labelsnode_name이 됩니다.
2 zone은 이 컨테이너 또는 인스턴스의 위치를 나타냅니다. location은 클러스터 마스터 노드의 위치를 나타냅니다.
3 metadata.system_labels.node_name은 로깅에 사용되는 k8s_container 리소스 유형에서 사용할 수 없습니다. 노드 이름으로 로그를 검색할 수는 없습니다.
4 gce_instance 리소스 유형은 Kubernetes 노드와 Kubernetes 이외 VM 인스턴스를 나타낼 수 있습니다. Cloud Operations for GKE로 업그레이드하면 노드 관련 사용이 새 리소스 유형인 k8s_node를 사용하도록 변경되며, 여기에는 kubelet, docker, kube-proxy, startupscript, node-problem-detector라는 이름의 노드 수준 로그가 포함됩니다.
5 k8s_podk8s_cluster 노드는 기존 Logging 및 Monitoring 지원에 없는 로그를 포함할 수 있습니다.
Monitoring 전용:
gke_container (GKE 컨테이너)

라벨:
  cluster_name
  container_name
  instance_id1
  namespace_id
  pod_id
  project_id
  zone2

Logging 전용:
container (GKE 컨테이너)

라벨:
  cluster_name
  container_name
  instance_id1
  namespace_id
  pod_id
  project_id
  zone2

Monitoring 및 Logging:
k8s_container (Kubernetes 컨테이너)

라벨:
  cluster_name
  container_name
  metadata.system_labels.node_name3
  namespace_name
  pod_name
  project_id
  location2

Logging 전용::
gce_instance (Compute Engine VM 인스턴스)4

라벨:
  cluster_name
  instance_id
  project_id
  zone2
Monitoring 및 Logging
k8s_node4 (Kubernetes Node)

라벨:
  cluster_name
  node_name
  project_id
  location2
 
(없음)
Monitoring 및 Logging:
k8s_pod5(Kubernetes Pod)

라벨:
  cluster_name
  namespace_name
  pod_name
  project_id
  location2

Logging 전용
gke_cluster(GKE_cluster)

라벨:
  cluster_name
  project_id
  location

Monitoring 및 Logging:
k8s_cluster5(Kubernetes 클러스터)

라벨:
  cluster_name
  project_id
  location

어떤 조치를 취해야 하나요?

이 섹션에는 Cloud Operations for GKE의 리소스 모델 변경사항과 기존 모니터링 및 로깅 구성에 미치는 영향에 대한 자세한 정보가 포함되어 있습니다.

클러스터를 Cloud Operations for GKE로 마이그레이션하려면 다음 단계를 수행해야 합니다.

  1. Logging 및 Monitoring 구성 식별: 기존 Logging 및 Monitoring과 Cloud Operations for GKE 사이에 변경된 값을 사용할 수 있는 모든 Logging 및 Monitoring 구성을 식별합니다.

  2. LoggingMonitoring 구성 업데이트: Cloud Operations for GKE의 변경사항에 따라 Logging 및 Monitoring 구성을 업데이트합니다.

  3. GKE 클러스터 구성 업데이트: Cloud Operations for GKE 설정을 사용하도록 GKE 클러스터를 업데이트합니다.

리소스 모델 및 로그 이름이 기존 Logging 및 Monitoring과 Cloud Operations for GKE 사이에 변경되었기 때문에 리소스 모델의 변경사항을 참조하는 모든 Logging 또는 Monitoring 구성도 업데이트해야 합니다. 마이그레이션하려면 다음을 비롯한 Logging 및 Monitoring 구성을 업데이트해야 할 수 있습니다.

  • 커스텀 대시보드
  • 차트
  • 그룹 필터
  • 알림 정책
  • 로그 싱크
  • 로그 제외
  • Cloud Logging 및 Cloud Monitoring의 로그 기반 측정항목

기존 Logging 및 Monitoring을 사용하는 클러스터 식별

Cloud Monitoring의 GKE 클러스터 대시보드를 사용하여 기존 Logging 및 Monitoring을 아직 사용 중인 프로젝트 내의 클러스터를 식별합니다.

  1. Cloud Monitoring GKE 클러스터 대시보드를 클릭합니다.
  2. 선택한 '측정항목 범위'에 기존 Logging 및 Monitoring을 실행하는 클러스터에 대해 검토할 Google Cloud 프로젝트가 포함되어 있는지 확인합니다.
  3. 대시보드에서 클러스터 목록을 봅니다. 대시보드에 기존 Logging 및 Monitoring을 사용하는 클러스터만 표시됩니다.

    예를 들어 다음 스크린샷에는 기존 Logging 및 Monitoring을 사용하는 4개의 클러스터가 있습니다.

    기존 솔루션을 사용하는 클러스터 표시

모니터링 리소스 마이그레이션

제어 영역 버전이 1.15 이상인 GKE 클러스터에서 기존 Logging 및 Monitoring을 사용하는 경우 기존 측정항목을 기존 Monitoring 및 Cloud Operations for GKE에서 사용할 수 있습니다. 즉, 클러스터를 GKE의 Cloud Operations for GKE로 마이그레이션하기 전에, 클러스터가 추가 비용 없이 새 데이터 모델을 사용하는 측정항목 생성을 시작합니다.

2021년 1월부터 커스텀 대시보드 및 알림이 자동으로 업데이트되어 새 리소스 모델 측정항목을 참조합니다. 자체 Cloud Monitoring 구성(커스텀 대시보드, 알림, 그룹의 차트)을 마이그레이션하려면 새 리소스 모델이 반영되도록 각 구성을 업데이트해야 합니다.

Terraform 또는 다른 배포 관리자에서 구성을 유지하고 변경사항을 자동으로 동기화하는 경우에도 구성을 마이그레이션해야 합니다.

이전 데이터 모델 구성 확인

Cloud Operations for GKE로 마이그레이션하는 과정에서 업데이트해야 하는 Cloud Monitoring 구성을 확인하려면 Kubernetes 마이그레이션 상태 대시보드를 확인하세요.

  1. Cloud Console에서 Monitoring으로 이동합니다.

    Monitoring으로 이동

  2. Monitoring 탐색창에서 설정을 클릭한 후 Kubernetes 마이그레이션 상태 탭을 선택합니다.

다음 샘플 대시보드에서는 알림 정책 1개가 업데이트되어야 함을 보여줍니다.

마이그레이션 대시보드의 표시

Cloud Monitoring 구성 업데이트

클러스터에서 GKE 버전 1.15 이상을 사용하고 기존 Monitoring을 사용할 경우 두 데이터 모델에 모두 게시됩니다. 이 경우 두 가지 방법으로 구성을 마이그레이션할 수 있습니다.

  • 구성을 클론하고 클론을 업데이트합니다. 이 옵션을 사용하면 기존 대시보드, 알림 정책, 그룹의 사본을 만들고 사본을 새 리소스 모델로 마이그레이션합니다. 이렇게 하면 이전 데이터 모델과 새 데이터 모델을 동시에 사용하여 클러스터에 Monitoring을 계속 사용할 수 있습니다. 예를 들어 이 옵션에는 원본 리소스 모델을 계속 사용하는 원본 대시보드와 새로운 리소스 모델을 사용하는 원본 대시보드의 클론, 총 2개의 대시보드가 생성됩니다.

  • 영향을 받는 구성을 업그레이드합니다. 이 옵션은 Cloud Monitoring에서 새 데이터 모델로 즉시 전환합니다.

다음 섹션에서는 대시보드, 알림 정책, 그룹의 구성 마이그레이션을 위한 안내를 제공합니다.

선택할 옵션을 결정할 때에는 사용할 수 있도록 하려는 모니터링 기록의 양을 고려해야 합니다. 현재 Cloud Monitoring은 지난 6주 간 클러스터의 이전 데이터를 제공합니다. 데이터 모델에 이중 쓰기를 시작하는 GKE 클러스터 업그레이드 후에도 이전 데이터 모델에는 클러스터의 이전 측정항목이 포함되고 새 데이터 모델에는 시작 시점의 측정항목만 있습니다.

이전 데이터가 필요하지 않으면 언제든지 새 데이터 모델로 구성을 업그레이드할 수 있습니다. 이전 데이터가 중요한 경우 구성을 클론하고 새 리소스 모델 유형을 사용하도록 클론을 업데이트할 수 있습니다.

또는 클러스터가 두 데이터 모델 모두에 이중 쓰기를 시작한 후 6주를 기다릴 수 있습니다. 6주 후에는 두 데이터 모델의 이전 데이터가 동일하므로 구성을 업데이트하고 새 데이터 모델로 전환할 수 있습니다.

대시보드 업데이트

대시보드를 보려면 다음 단계를 따르세요.

  1. Cloud Console에서 Monitoring으로 이동합니다.

    Monitoring으로 이동

  2. 대시보드를 선택합니다.

대시보드를 클론하고 클론을 업데이트하려면 다음 단계를 완료합니다.

  1. 클론할 대시보드를 찾습니다.

  2. 대시보드 복사()를 클릭하고 클론된 대시보드의 이름을 입력합니다.

  3. 필요에 따라 새 대시보드의 구성을 업데이트합니다.

대시보드에서 차트 정의를 업데이트하려면 다음 단계를 완료합니다.

  1. 수정하려는 차트의 차트 옵션 더보기(⋮)를 클릭합니다.

  2. 수정을 선택하여 차트 수정 패널을 엽니다.

  3. 새 데이터 모델로 변환하려는 리소스 유형 및 측정항목 이름을 변경합니다. 필요에 따라 필터그룹화 기준 필드를 업데이트할 수도 있습니다.

알림 정책 업데이트

알림 정책을 보려면 다음 단계를 완료하세요.

  1. Cloud Console에서 Monitoring으로 이동합니다.

    Monitoring으로 이동

  2. 알림을 선택합니다.

알림 정책을 클론하고 업데이트하려면 다음 단계를 완료하세요.

  1. 정책 테이블에서 클론할 정책을 선택합니다.

  2. 복사를 클릭하여 알림 정책 사본의 생성 흐름을 시작합니다.

  3. 이전 데이터 모델을 참조하는 모든 조건을 수정하여 리소스 유형과 측정항목 이름을 업데이트합니다.

    흐름의 마지막 단계에서 클론된 정책의 이름을 입력할 수 있습니다.

알림 정책을 수정하려면 다음 단계를 완료하세요.

  1. 정책 테이블에서 수정할 정책을 선택합니다.

  2. 수정을 클릭하여 정책을 업데이트합니다.

  3. 이전 데이터 모델을 참조하는 모든 조건을 업데이트합니다.

그룹 업데이트

Google Cloud Console을 통해 그룹을 클론할 수 없으므로 그룹을 복제하려면 동일한 필터로 새 그룹을 만들어야 합니다.

그룹 필터는 여러 가지 방법으로 이전 데이터 모델을 참조할 수 있습니다.

  • 리소스 유형 - 그룹이 resource.type="gke_container" 필터를 정의할 수 있습니다. gke_container 유형을 사용하여 여러 유형의 GKE 항목을 참조할 수 있으므로 실제로 일치시키려는 리소스 유형인 k8s_container, k8s_pod 또는k8s_node로 필터를 업데이트해야 합니다. 여러 유형을 일치시키려면 여러 절이 OR 연산자와 결합된 필터를 정의합니다.

  • cloud_account 라벨 - 그룹이 resource.metadata.cloud_account="<var>CLOUD_ACCOUNT_ID</<var>" 필터를 정의할 수 있습니다. 별도의 지원 중단의 일환으로 cloud_account 메타데이터 필드를 더 이상 사용할 수 없습니다. resource.labels.project_id 라벨을 사용해 보세요.

  • region 라벨 - 그룹이 resource.metadata.region="<var>REGION_NAME</<var>" 필터를 정의할 수 있습니다. region 메타데이터 필드는 새 데이터 모델에서 더 이상 사용할 수 없습니다. 지리적 위치를 기반으로 GKE 항목을 일치시키려면 resource.labels.location 라벨을 사용하는 것이 좋습니다.

데이터 모델 간 측정항목 매핑

이 섹션에서는 이전 데이터 모델의 측정항목을 새 데이터 모델의 측정항목에 매핑하는 방법을 설명합니다. 이전 데이터 모델은 아래 표에 나열된 17가지 측정항목을 게시했습니다. 측정항목 중 일부는 여러 GKE 항목 유형에 대해 게시되었으며, 이로 인해 17개가 넘는 매핑이 모든 측정항목을 변환했습니다.

측정항목을 매핑할 때는 다음 사항에 유의하세요.

  • 이전 측정항목의 프리픽스는 container.googleapis.com/입니다. 새 측정항목의 프리픽스는 kubernetes.io/입니다.

  • 이전 데이터 모델에서 유일한 리소스 유형은 gke_container입니다. 이 리소스 유형은 리소스 라벨을 정의한 방식에 따라 GKE 노드에 해당하는 GKE 컨테이너, Pod, 시스템 데몬, 머신을 참조할 수 있습니다.

  • 다음 표에 나열된 것과 일치하지 않는 pod_idcontainer_name의 조합을 사용하여 Monitoring API를 쿼리할 수 있습니다. 이러한 쿼리에 의해 반환되는 데이터는 정의되지 않으며 이러한 정의되지 않은 상태의 매핑은 제공되지 않습니다.

    GKE 항목 유형 필터
    컨테이너 pod_id != '' 및 container_name != ''
    (pod_id는 빈 문자열이 아니며container_name은 빈 문자열이 아님)
    Pod pod_id != '' 및 container_name == ''
    (pod_id는 빈 문자열이 아니며container_name은 빈 문자열임)
    시스템 데몬 pod_id == '' 및 container_name != 'machine'
    (pod_id는 빈 문자열이며 container_namedocker-daemon, kubelets 또는 pods 중 하나임)
    머신 pod_id == '' 및 container_name == 'machine'
    (pod_id는 빈 문자열, container_namemachine 문자열임)

표에는 세 가지 유형의 매핑이 나와 있습니다.

  • 이전 데이터 모델과 새 데이터 모델 간 직접 매핑

  • 구성이 필요한 매핑

  • 새 모델에 직접 대응되지 않는 이전 측정항목 매핑

직접 매핑

다음 측정항목은 이전 데이터 모델과 새 데이터 모델 간에 직접 변환됩니다.

이전 측정항목 이름 이전 GKE 항목 유형 새 측정항목 이름 새 GKE 리소스 유형 참고
container/accelerator/
duty_cycle
컨테이너 container/accelerator/
duty_cycle
k8s_container
container/accelerator/
memory_total
컨테이너 container/accelerator/
memory_total
k8s_container
container/accelerator/
memory_used
컨테이너 container/accelerator/
memory_used
k8s_container
container/accelerator/
request
컨테이너 container/accelerator/
request
k8s_container
container/cpu/
reserved_cores
컨테이너 container/cpu/
limit_cores
k8s_container 리소스가 pod인 경우의 매핑은 구성이 필요한 매핑을 참조하세요.
container/cpu/
usage_time
컨테이너 container/cpu/
core_usage_time
k8s_container 리소스가 pod인 경우의 매핑은 구성이 필요한 매핑을 참조하세요.
container/cpu/
usage_time
시스템 데몬 node_daemon/cpu/
core_usage_time
k8s_node 이전 데이터 모델에서
gke_container.container_namedocker-daemon, kubelets 또는 pods 중 하나입니다. 필터 값은 새 데이터 모델 필드 metric.component의 값과 일치합니다.
container/cpu/
utilization
컨테이너 container/cpu/
limit_utilization
k8s_container
container/disk/
bytes_total
Pod pod/volume/
total_bytes
k8s_pod gke_container.device_name(Volume:config-volume)은 앞에 추가된 Volume:을 삭제하여 k8s_pod.volume_name(config-volume)으로 변환됩니다.
container/disk/bytes_used Pod pod/volume/
used_bytes
k8s_pod gke_container.device_name(Volume:config-volume)은 앞에 추가된 Volume:을 삭제하여 k8s_pod.volume_name(config-volume)으로 변환됩니다.
container/memory/
bytes_total
컨테이너 container/memory/
limit_bytes
k8s_container
container/memory/
bytes_used
컨테이너 container/memory/
used_bytes
k8s_container
container/memory/
bytes_used
시스템 데몬 node_daemon/memory/
used_bytes
k8s_node 이전 데이터 모델에서
gke_container.container_namedocker-daemon, kubelets 또는 pods 중 하나입니다. 필터 값은 새 데이터 모델 필드 metric.component의 값과 일치합니다.
container/disk/
inodes_free
머신 node/ephemeral_storage/
inodes_free
k8s_node 이전 데이터 모델에는 임의의 숫자 ID인 instance_id 필드가 있습니다. 새 데이터 모델에는 사람이 읽을 수 있는 이름인 node_name이 있습니다.
container/disk/
inodes_total
머신 node/ephemeral_storage/
inodes_total
k8s_node 이전 데이터 모델에는 임의의 숫자 ID인 instance_id 필드가 있습니다. 새 데이터 모델에는 사람이 읽을 수 있는 이름인 node_name이 있습니다.
container/pid_limit 머신 node/pid_limit k8s_node 이전 데이터 모델에는 임의의 숫자 ID인 instance_id 필드가 있습니다. 새 데이터 모델에는 사람이 읽을 수 있는 이름인 node_name이 있습니다.
container/pid_used 머신 node/pid_used k8s_node 이전 데이터 모델에는 임의의 숫자 ID인 instance_id 필드가 있습니다. 새 데이터 모델에는 사람이 읽을 수 있는 이름인 node_name이 있습니다.
구성이 필요한 매핑

다음 측정항목은 기본적인 데이터 조작을 통해 이전 데이터 모델에서 새 데이터 모델로 변환됩니다.

이전 측정항목 이름 이전 GKE 항목 유형 새 측정항목 이름 새 GKE 리소스 유형 참고
container/cpu/
reserved_cores
Pod SUM container/cpu/limit_cores
GROUP BY pod_name
k8s_container 이전 데이터 모델에는 UUID인 pod_id 필드가 있습니다. 새 데이터 모델에는 사람이 읽을 수 있는 이름인 pod_name이 있습니다.
container/cpu/
usage_time
Pod SUM container/cpu/core_usage_time
GROUP BY pod_name
k8s_container 이전 데이터 모델에는 UUID인 pod_id 필드가 있습니다. 새 데이터 모델에는 사람이 읽을 수 있는 이름인 pod_name이 있습니다.
container/disk/
bytes_total
컨테이너 node/ephemeral_storage/
total_bytes
k8s_container gke_container.device_name/ 또는 logs 중 하나입니다. 각 값은 새 값과 동일합니다.
container/disk/
bytes_used
컨테이너 container/ephemeral_storage/
used_bytes
k8s_container gke_container.device_name/ 또는 logs 중 하나입니다. 새 값을 얻으려면 이 두 값을 함께 추가해야 합니다. 새 데이터 모델에서 /logs의 값을 따로 가져올 수 없습니다.
container/memory/
bytes_total
Pod SUM container/memory/limit_bytes
GROUP BY pod_name
k8s_container 이전 데이터 모델에는 UUID인 pod_id 필드가 있습니다. 새 데이터 모델에는 사람이 읽을 수 있는 이름인 pod_name이 있습니다.
container/memory/
bytes_used
Pod SUM container/memory/used_bytes
GROUP BY pod_name
k8s_container 이전 데이터 모델에는 UUID인 pod_id 필드가 있습니다. 새 데이터 모델에는 사람이 읽을 수 있는 이름인 pod_name이 있습니다.
새 모델에 직접 상응하는 결과가 없는 매핑

다음 측정항목은 새 데이터 모델에서 상응하는 항목이 없습니다.

Pod의 CPU 사용률
이전 데이터 모델에서 이 측정항목은 각 컨테이너의 CPU 한도를 기준으로 Pod에 있는 모든 컨테이너의 CPU 사용률의 가중치 평균입니다.
새 데이터 모델에는 이 값이 존재하지 않으며 각 컨테이너의 한도 및 사용률에 따라 클라이언트 측에서 계산되어야 합니다.
업타임
이전 데이터 모델에서 이 측정항목은 컨테이너가 ms/s 단위로 사용할 수 있는 시간을 나타내는 누적 측정항목입니다. 항상 사용 가능한 컨테이너의 경우 값은 1000ms/s 이하입니다.
새 데이터 모델에서 이 측정항목은 시스템의 각 부분이 중단 없이 실행된 시간을 보고하는 게이지 측정항목입니다.

리소스 그룹 변경사항

고유 리소스 그룹을 정의하고 앞에서 설명한 리소스 유형 변경사항 테이블에 표시된 기존 Logging 및 Monitoring 유형을 사용한 후 이 유형을 해당 Cloud Operations for GKE 리소스 유형이 되도록 변경합니다. 리소스 그룹에 커스텀 차트가 포함되어 있다면 이를 변경해야 할 수 있습니다.

로깅 리소스 마이그레이션

로깅 리소스를 마이그레이션하려면 다음 섹션의 단계를 완료하세요.

로그 항목 콘텐츠 변경사항

Cloud Operations for GKE로 업데이트하면 로그 항목의 특정 정보가 다른 이름의 필드로 이동되었음을 알 수 있습니다. 이 정보는 로그 기반 측정항목, 로그 싱크, 로그 제외에 사용되는 로그 쿼리에 나타날 수 있습니다.

로그 항목 변경사항이라는 다음 표에는 새로운 필드와 라벨이 나와 있습니다. 간단히 요약하면 다음과 같습니다.

  • 필터의 logName 필드를 확인하세요. Cloud Operations for GKE 로그 항목은 로그 이름에 stdout 또는 stderr을 사용하는 반면, 기존 Logging 및 Monitoring은 컨테이너 이름을 포함한 더 광범위한 이름을 사용했습니다. 지금도 컨테이너 이름을 리소스 라벨로 사용할 수는 있습니다.
  • 로그 항목의 labels 필드를 확인하세요. 이전에 metadata 로그 항목 필드에 저장되던 정보가 이 필드에 포함될 수 있습니다.
  • 로그 항목의 resource.labels 필드를 확인하세요. 새 리소스 유형에는 추가 라벨 값이 있습니다.
로그 항목 변경사항
(이전) 기존 Logging 및 Monitoring 로그 항목 (신규) Cloud Operations for GKE 로그 항목
표 각주:
1 리소스 라벨은 특정 클러스터 및 노드와 같은 측정항목을 생성하는 특정 리소스를 식별합니다.
2 labels 필드는 Cloud Operations for GKE에 포함된 새로운 로그 항목에 표시되며, 일부 기존 Logging 및 Monitoring 로그 항목에도 간혹 표시됩니다. Cloud Operations for GKE에서는 이전에 metadata 로그 항목 필드에 일부 정보를 보관하는 데 사용됩니다.
로그 항목 리소스
resource.labels(리소스 라벨1)
로그 항목 리소스
resource.labels(리소스 라벨1)
로그 항목 메타데이터
labels (로그 항목 라벨2)

라벨(예시)
  compute.googleapis.com/resource_name:
    "fluentd-gcp-v3.2.0-d4d9p"

  container.googleapis.com/namespace_name:
    "kube-system"

  container.googleapis.com/pod_name:
    "fluentd-gcp-scaler-8b674f786-d4pq2"

  container.googleapis.com/stream:
    "stdout"
로그 항목 메타데이터
labels

라벨(예시)
  k8s-pod/app:
    "currencyservice"

  k8s-pod/pod-template-hash:
    "5a67f17c"

예시 로그:

컨테이너 리소스 유형 변경사항:

빨간색으로 굵게 표시된 텍스트는 기존 Logging 및 Monitoring과 Cloud Operations for GKE 리소스 모델 사이의 차이점을 강조표시합니다.

리소스 모델 예시 로그
기존 Logging 및 Monitoring

{
  "insertId": "fji4tsf1a8o5h",
  "jsonPayload": {
    "pid": 1,
    "name": "currencyservice-server",
    "v": 1,
    "message": "conversion request successful",
    "hostname": "currencyservice-6995d74b95-zjkmj"
  },
  "resource": {
    "type": "container",
    "labels": {
      "project_id": "my-test-project",
      "cluster_name": "my-test-cluster",
      "pod_id": "currencyservice-6995d74b95-zjkmj",
      "zone": "us-central1-c",
      "container_name": "server",
      "namespace_id": "default",
      "instance_id": "1234567890"
    }
  },
  "timestamp": "2020-10-02T19:02:47.575434759Z",
  "severity": "INFO",
  "labels": {
    "container.googleapis.com/pod_name": "currencyservice-6995d74b95-zjkmj",
    "compute.googleapis.com/resource_name": "gke-legacy-cluster-default-pool-c534acb8-hvxk",
    "container.googleapis.com/stream": "stdout",
    "container.googleapis.com/namespace_name": "default"
  },
  "logName": "projects/my-test-project/logs/server",
  "receiveTimestamp": "2020-10-02T19:02:50.972304596Z"
}
Cloud Operations for GKE

{
  "insertId": "mye361s5zfcl55amj",
  "jsonPayload": {
    "v": 1,
    "name": "currencyservice-server",
    "pid": 1,
    "hostname": "currencyservice-5b69f47d-wg4zl",
    "message": "conversion request successful"
  },
  "resource": {
    "type": "k8s_container",
    "labels": {
      "container_name": "server",
      "project_id": "my-test-project",
      "pod_name": "currencyservice-5b69f47d-wg4zl",
      "namespace_name": "onlineboutique",
      "location": "us-central1-c",
      "cluster_name": "my-prod-cluster"

    }
  },
  "timestamp": "2020-10-02T18:41:55.359669767Z",
  "severity": "INFO",
  "labels": {
    "k8s-pod/app": "currencyservice",
    "k8s-pod/pod-template-hash": "5b69f47d",
    "compute.googleapis.com/resource_name": "gke-legacy-cluster-default-pool-c534acb8-hvxk"
  },
  "logName": "projects/my-test-project/logs/stdout",
  "receiveTimestamp": "2020-10-02T18:41:57.930654427Z"
}

클러스터 리소스 유형 변경사항:

빨간색으로 굵게 표시된 텍스트는 기존 Logging 및 Monitoring과 Cloud Operations for GKE 리소스 모델 사이의 차이점을 강조표시합니다.

리소스 모델 예시 로그
기존 Logging 및 Monitoring

{
  "insertId": "962szqg9uiyalt",
  "jsonPayload": {
    "type": "Normal",
    "involvedObject": {
      "apiVersion": "policy/v1beta1",
      "uid": "a1bc2345-12ab-12ab-1234-123456a123456",
      "resourceVersion": "50968",
      "kind": "PodDisruptionBudget",
      "namespace": "knative-serving",
      "name": "activator-pdb"
    },
    "apiVersion": "v1",
    "reason": "NoPods",
    "source": {
      "component": "controllermanager"
    },
    "message": "No matching pods found",
    "kind": "Event",
    "metadata": {
      "selfLink": "/api/v1/namespaces/knative-serving/events/activator-pdb.163a42fcb707c1fe",
      "namespace": "knative-serving",
      "name": "activator-pdb.163a42fcb707c1fe",
      "uid": "a1bc2345-12ab-12ab-1234-123456a123456",
      "creationTimestamp": "2020-10-02T19:17:50Z",
      "resourceVersion": "1917"
    }
  },
  "resource": {
    "type": "gke_cluster",
    "labels": {
      "project_id": "my-test-project",
      "location": "us-central1-c",
      "cluster_name": "my-prod-cluster"
    }
  },
  "timestamp": "2020-10-02T21:33:20Z",
  "severity": "INFO",
  "logName": "projects/my-test-project/logs/events",
  "receiveTimestamp": "2020-10-02T21:33:25.510671123Z"
}
Cloud Operations for GKE

{
  "insertId": "1qzipokg6ydoesp",
  "jsonPayload": {
    "involvedObject": {
      "uid": "a1bc2345-12ab-12ab-1234-123456a123456",
      "name": "istio-telemetry",
      "apiVersion": "autoscaling/v2beta2",
      "resourceVersion": "90505937",
      "kind": "HorizontalPodAutoscaler",
      "namespace": "istio-system"
    },
    "source": {
      "component": "horizontal-pod-autoscaler"
    },
    "kind": "Event",
    "type": "Warning",
    "message": "missing request for cpu",
    "metadata": {
      "resourceVersion": "3071416",
      "creationTimestamp": "2020-08-22T14:18:59Z",
      "name": "istio-telemetry.162d9ce2894d6642",
      "selfLink": "/api/v1/namespaces/istio-system/events/istio-telemetry.162d9ce2894d6642",
      "namespace": "istio-system",
      "uid": "a1bc2345-12ab-12ab-1234-123456a123456"
    },
    "apiVersion": "v1",
    "reason": "FailedGetResourceMetric"
  },
  "resource": {
    "type": "k8s_cluster",
    "labels": {
      "project_id": "my-test-project"
      "location": "us-central1-a",
      "cluster_name": "my-prod-cluster1",
    }
  },
  "timestamp": "2020-10-02T21:39:07Z",
  "severity": "WARNING",
  "logName": "projects/my-test-project/logs/events",
  "receiveTimestamp": "2020-10-02T21:39:12.182820672Z"
}
   

노드 리소스 유형 변경사항:

빨간색으로 굵게 표시된 텍스트는 기존 Logging 및 Monitoring과 Cloud Operations for GKE 리소스 모델 사이의 차이점을 강조표시합니다.

리소스 모델 예시 로그
기존 Logging 및 Monitoring

{
  "insertId": "16qdegyg9t3n2u5",
  "jsonPayload": {
    "SYSLOG_IDENTIFIER": "kubelet",
    [...]
    "PRIORITY": "6",
    "_COMM": "kubelet",
    "_GID": "0",
    "_MACHINE_ID": "9565f7c82afd94ca22612c765ceb1042",
    "_SYSTEMD_UNIT": "kubelet.service",
    "_EXE": "/home/kubernetes/bin/kubelet"
  },
  "resource": {
    "type": "gce_instance",
    "labels": {
      "instance_id": "1234567890",
      "zone": "us-central1-a",
      "project_id": "my-test-project"
    }
  },
  "timestamp": "2020-10-02T21:43:14.390150Z",
  "labels": {
    "compute.googleapis.com/resource_name": "gke-legacy-monitoring-default-pool-b58ff790-29rr"
  },
  "logName": "projects/my-test-project/logs/kubelet",
  "receiveTimestamp": "2020-10-02T21:43:20.433270911Z"
}
   
Cloud Operations for GKE

{
  "insertId": "kkbgd6e5tmkpmvjji",
  "jsonPayload": {
    "SYSLOG_IDENTIFIER": "kubelet",
   [...]
    "_CAP_EFFECTIVE": "3fffffffff",
    "_HOSTNAME": "gke-standard-cluster-1-default-pool-f3929440-f4dy",
    "PRIORITY": "6",
    "_COMM": "kubelet",
    "_TRANSPORT": "stdout",
    "_GID": "0",
    "MESSAGE": "E1002 21:43:14.870346    1294 pod_workers.go:190] Error syncing pod 99ba1919-d633-11ea-a5ea-42010a800113 (\"stackdriver-metadata-agent-cluster-level-65655bdbbf-v5vjv_kube-system(99ba1919-d633-11ea-a5ea-42010a800113)\"), skipping: failed to \"StartContainer\" for \"metadata-agent\" with CrashLoopBackOff: \"Back-off 5m0s restarting failed container=metadata-agent pod=stackdriver-metadata-agent-cluster-level-65655bdbbf-v5vjv_kube-system(99ba1919-d633-11ea-a5ea-42010a800113)\""
  },
  "resource": {
    "type": "k8s_node",
    "labels": {
      "cluster_name": "my-prod-cluster-1",
      "location": "us-central1-a",
      "node_name": "gke-standard-cluster-1-default-pool-f3929440-f4dy"
       "project_id": "my-test-project",
    }
  },
  "timestamp": "2020-10-02T21:43:14.870426Z",
  "logName": "projects/my-test-project/logs/kubelet",
  "receiveTimestamp": "2020-10-02T21:43:20.788933199Z"
}

구성 업데이트 로깅

이 섹션에서는 Cloud Operations for GKE로 마이그레이션하는 과정에서 Cloud Logging의 변경해야 할 수도 있는 구성에 대해 설명합니다. Terraform 또는 다른 배포 관리자에서 구성을 유지하고 변경사항을 자동으로 동기화하는 경우에도 구성을 마이그레이션해야 합니다.

쿼리 로깅

쿼리를 사용하여 Cloud Logging의 로그를 찾아 필터링하고, 앞서 리소스 유형 변경사항 표에 나왔던 기존 Logging 및 Monitoring 리소스 유형을 사용할 경우 이러한 유형을 해당하는 Cloud Operations for GKE 유형으로 변경합니다.

예를 들어 기존 Logging 및 Monitoring에서 container 리소스 유형을 사용하여 컨테이너 로그를 쿼리하고, Cloud Operations for GKE에서는 k8s_container 리소스 유형을 사용하여 컨테이너 로그를 쿼리합니다.

  resource.type="k8s_container"

또 다른 예시로 기존 Logging 및 Monitoring에서 컨테이너 이름을 사용하여 컨테이너의 특정 로그 이름을 쿼리하고 Cloud Operations for GKE에서는 stdoutstderr 로그 이름을 사용하여 컨테이너 로그를 쿼리합니다.

  resource.type="k8s_container"
  log_name="projects/YOUR_PROJECT_NAME/logs/stdout"
  resource.labels.container_name="CONTAINER_NAME"

로그 기반 측정항목

고유한 로그 기반 측정항목을 정의하고, 앞서 측정항목 이름 변경사항 또는 리소스 유형 변경사항 표에 나왔던 기존 Logging 및 Monitoring 측정항목 또는 리소스 유형을 사용할 경우 이러한 측정항목 및 리소스 유형을 해당하는 Cloud Operations for GKE 측정항목 및 리소스 유형으로 변경합니다.

다음 gcloud 도구 명령어를 사용하여 로그 기반 측정항목을 찾을 수 있습니다.

  gcloud logging metrics list --filter='filter~resource.type=\"container\" OR filter~resource.type=container'

  gcloud logging metrics list --filter='filter~resource.labels.namespace_id'

  gcloud logging metrics list --filter='filter~resource.labels.pod_id'

  gcloud logging metrics list --filter='filter~resource.labels.zone'

다음 gcloud 도구 명령어를 사용하여 로그 기반 측정항목을 업데이트할 수 있습니다.

  gcloud logging metrics update YOUR_LOGS_BASED_METRIC_NAME --log-filter='resource.type=\"container\" OR resource.type=\"k8s_container\"'

  gcloud logging metrics update YOUR_LOGS_BASED_METRIC_NAME --log-filter='resource.labels.namespace_id=\"YOUR_NAMESPACE\" OR resource.labels.namespace_name=\"YOUR_NAMESPACE\"'

  gcloud logging metrics update YOUR_LOGS_BASED_METRIC_NAME --log-filter='resource.labels.pod_id=\"YOUR_POD_NAME\" OR resource.labels.pod_name=\"YOUR_NAME\"'

  gcloud logging metrics update YOUR_LOGS_BASED_METRIC_NAME --log-filter='resource.labels.zone=\"YOUR_ZONE\" OR resource.labels.location=\"YOUR_ZONE\"'

또는 Cloud Console에서 로그 기반 측정항목을 업데이트할 수 있습니다.

로그 내보내기

로그를 내보내거나, 이전 리소스 유형 변경사항 표에 나왔던 기존 Logging 및 Monitoring 리소스 유형이 내보내기에 사용될 경우, 해당 Cloud Operations for GKE 리소스 유형을 사용하도록 내보내기를 변경합니다. Cloud Operations for GKE 로그 항목은 로그 이름에 stdout 또는 stderr을 사용하는 반면, 기존 Logging 및 Monitoring은 컨테이너 이름을 사용합니다.

로그 이름을 변경할 때는 다음과 같은 2가지 중요 사항을 고려해야 합니다.

  1. 대상 파일 위치 및 테이블 내보내기 변경 - Cloud Operations for GKE의 로그 이름 값에는 컨테이너 이름이 아닌 stdout 또는 stderr이 포함됩니다. 지금도 컨테이너 이름을 리소스 라벨로 사용할 수는 있습니다. stdoutstderr 로그 이름을 사용하도록 Cloud Storage 내보내기에서 로그 이름 처리 또는 BigQuery 테이블에 대한 쿼리를 변경해야 합니다.
  2. logName 값 – 로그 이름 값은 Cloud Storage에서 내보낸 파일 구조와 BigQuery의 테이블 구조를 결정하는 데 사용됩니다. Cloud Storage 파일과 BigQuery 테이블의 사용량은 Cloud Storage의 폴더 구조 및 BigQuery의 테이블 구조를 고려하여 조정되어야 합니다.

다음 gcloud 명령줄 도구 명령어를 사용하여 해당 Logging 싱크를 찾을 수 있습니다.

  gcloud logging sinks list --filter='filter~resource.type=\"container\" OR filter~resource.type=container'

  gcloud logging sinks list --filter='filter~resource.labels.namespace_id'

  gcloud logging sinks list --filter='filter~resource.labels.pod_id'

  gcloud logging sinks list --filter='filter~resource.labels.zone'

다음 gcloud 도구 명령어를 사용하여 Logging 싱크를 업데이트할 수 있습니다.

  gcloud logging sinks update YOUR_SINK_NAME --log-filter='resource.type=\"container\" OR resource.type=\"k8s_container\"'

  gcloud logging sinks update YOUR_SINK_NAME --log-filter='resource.labels.namespace_id=\"YOUR_NAMESPACE\" OR resource.labels.namespace_name=\"YOUR_NAMESPACE\"'

  gcloud logging sinks update YOUR_SINK_NAME --log-filter='resource.labels.pod_id=\"YOUR_POD_NAME\" OR resource.labels.pod_name=\"YOUR_NAME\"'

  gcloud logging sinks update YOUR_SINK_NAME --log-filter='resource.labels.zone=\"YOUR_ZONE\" OR resource.labels.location=\"YOUR_ZONE\"'

또는 Cloud Console에서 로그 기반 측정항목을 업데이트할 수 있습니다.

로그 제외

로그를 제외하거나 제외 필터에 이전 리소스 유형 변경사항 표에 나왔던 기존 Logging 및 Monitoring 리소스 유형이 사용되는 경우 해당 Cloud Operations for GKE 리소스 유형을 사용하도록 제외 필터를 변경합니다.

로그 제외 보기에 대한 자세한 내용은 제외 필터 보기 가이드를 참조하세요.

로그 위치 변경사항

Cloud Logging에서 로그는 로그를 생성한 리소스 유형과 함께 저장됩니다. 이러한 유형은 Cloud Operations for GKE에서 변경되었으므로 GKE Container와 같은 기존 Logging 및 Monitoring 유형이 아닌 Kubernetes Container와 같은 새로운 리소스 유형에서 로그를 찾아보세요.

클러스터 구성 업데이트

Cloud Operations for GKE 데이터 형식을 사용하기 위해 모든 로깅모니터링 리소스를 마이그레이션한 다음, 마지막 단계는 Cloud Operations for GKE를 사용하도록 GKE 클러스터를 업데이트하는 것입니다.

GKE 클러스터의 로깅 및 모니터링 구성을 업데이트하려면 다음 단계를 수행합니다.

콘솔

  1. 프로젝트의 GKE 클러스터 페이지로 이동합니다. 다음 버튼을 클릭하면 이 페이지로 이동합니다.

    Kubernetes 클러스터로 이동

  2. Cloud Operations for GKE를 사용하도록 업데이트할 클러스터를 클릭합니다.

  3. Cloud Operations for GKE 라벨이 지정된 행에서 수정 아이콘을 클릭합니다.

  4. 표시되는 대화상자에서 Cloud Operations for GKE 사용 설정이 선택되어 있는지 확인합니다.

  5. 대화상자의 드롭다운 메뉴에서 수집하려는 로그와 측정항목을 선택합니다. GKE용 Cloud 작업의 기본(권장) 설정은 시스템 및 워크로드 로깅 및 모니터링입니다. 이 드롭다운에서 '기존 Logging 및 Monitoring' 이외의 값을 선택하면 클러스터가 기존 Logging 및 Monitoring이 아닌 GKE용 Cloud 작업을 사용하도록 업데이트됩니다.

  6. '변경사항 저장을 클릭합니다.

GCLOUD

  1. 다음 명령을 실행합니다.

    gcloud container clusters update [CLUSTER_NAME] \
      --zone=[ZONE] \
      --project=[PROJECT_ID] \
      --logging=SYSTEM,WORKLOAD \
      --monitoring=SYSTEM
    

다음 단계

  • 새 Cloud Operations for GKE 대시보드에 대한 자세한 내용은 시스템 관찰을 참조하세요.
  • 로그 보기에 대한 자세한 내용은 GKE 로그 보기를 참조하세요.