로깅 및 모니터링 구성

베어메탈용 Anthos 클러스터에는 클라우드 기반 관리형 서비스, 오픈소스 도구, 타사 상업용 솔루션과의 검증된 호환성을 비롯한 여러 가지 클러스터 로깅 및 모니터링 옵션이 포함되어 있습니다. 이 페이지에서는 이러한 옵션에 대해 설명하고 사용자 환경에 적합한 솔루션을 선택하는 방법에 대한 기본 안내를 제공합니다.

베어메탈용 Anthos 클러스터 옵션

베어메탈용 Anthos 클러스터 클러스터에 대한 여러 로깅 및 모니터링 옵션이 있습니다.

  • 베어메탈 시스템 구성 요소에서 기본적으로 사용 설정되는 Cloud Logging 및 Cloud Monitoring
  • Cloud Marketplace에서 사용 가능한 Prometheus 및 Grafana.
  • 타사 솔루션을 사용한 검증된 구성

Cloud Logging 및 Cloud Monitoring

Google Cloud 운영 제품군은 Google Cloud에 기본 제공되는 관측 솔루션입니다. 완전 관리형 로깅 솔루션, 측정항목 수집, 모니터링, 대시보드, 알림을 제공합니다. Cloud Monitoring은 클라우드 기반 GKE 클러스터와 유사한 방식으로 베어메탈용 Anthos 클러스터의 클러스터를 모니터링합니다.

에이전트는 두 가지 로깅 및 모니터링 수준으로 구성할 수 있습니다.

  • 시스템 구성요소만(기본값)
  • 시스템 구성요소 및 애플리케이션.

Logging 및 Monitoring은 구성하기 쉽고 강력한 클라우드 기반의 단일 관측 솔루션을 원하는 경우 이상적인 솔루션을 제공합니다. 베어메탈용 Anthos 클러스터에서만 워크로드를 실행하거나 GKE 및 베어메탈용 Anthos 클러스터에서 워크로드를 실행할 때 Logging 및 Monitoring을 사용하는 것이 좋습니다. 베어메탈용 Anthos 클러스터 및 기존 온프레미스 인프라에서 실행되는 구성요소가 있는 애플리케이션의 경우 이러한 애플리케이션을 포괄적으로 볼 수 있는 다른 솔루션을 사용하는 것이 좋습니다.

Prometheus 및 Grafana

Prometheus와 Grafana는 Cloud Marketplace에서 사용 가능한 두 가지 인기 있는 오픈소스 모니터링 제품입니다.

  • Prometheus는 애플리케이션 및 시스템 측정항목을 수집합니다.

  • Alertmanager는 여러 알림 메커니즘을 사용하여 알림 전송을 처리합니다.

  • Grafana는 대시보드 도구입니다.

각 관리자 클러스터와 사용자 클러스터에서 Prometheus 및 Grafana를 사용 설정할 수 있습니다. Prometheus와 Grafana는 해당 제품에 대한 사전 경험이 있는 애플리케이션 팀에 권장하거나 클러스터 내에서 애플리케이션 측정항목을 유지하고 네트워크 연결이 끊어진 경우 문제를 해결하는 용도로 권장합니다.

타사 솔루션

Google은 타사 로깅 및 모니터링 솔루션 제공업체와 협력을 통해 해당 업체 제품이 베어메탈용 Anthos 클러스터에서 잘 작동할 수 있도록 지원합니다. 여기에는 Datadog, Elastic, Splunk가 포함됩니다. 이후에도 다른 검증된 타사 제공업체가 추가될 예정입니다.

다음 솔루션 가이드는 베어메탈용 Anthos 클러스터에서 타사 솔루션을 사용할 때 사용할 수 있습니다.

베어메탈용 Anthos 클러스터의 Logging 및 Monitoring 작동 방식

새 관리자 클러스터 또는 사용자 클러스터를 만들 때 각 클러스터에 Cloud Logging 및 Cloud Monitoring이 설치되고 활성화됩니다.

Stackdriver 에이전트에는 각 클러스터에 다음과 같은 여러 구성요소가 포함됩니다.

  • Stackdriver 연산자(stackdriver-operator-*). 클러스터에 배포되는 다른 모든 Stackdriver 에이전트의 수명 주기를 관리합니다.

  • Stackdriver 커스텀 리소스. 베어메탈용 Anthos 클러스터 설치 프로세스 중 자동으로 생성되는 리소스입니다.

  • Stackdriver 로그 전달자(stackdriver-log-forwarder-*). 각 머신의 로그를 Cloud Logging으로 전달하는 Fluent Bit DaemonSet입니다. 로그 전달자는 노드의 로그 항목을 로컬로 버퍼링하여 최대 4시간 동안 다시 전송합니다. 버퍼가 가득 차거나 로그 전달자가 4시간 이상 Cloud Logging API에 연결할 수 없으면 로그가 삭제됩니다.

  • Anthos Metadata Agent(stackdriver-metadata-agent-). 포드, 배포, 노드 등의 Kubernetes 리소스에 대한 메타데이터를 Config Monitoring for Ops API에 보내는 배포를 나타냅니다. 이 데이터는 배포 이름, 노드 이름 또는 Kubernetes 서비스 이름으로 쿼리할 수 있도록 하여 측정항목 쿼리를 강화하는 데 사용됩니다.

다음 명령어를 실행하여 Stackdriver가 설치한 모든 에이전트를 볼 수 있습니다.

  kubectl -n kube-system get pods | grep stackdriver

이 명령어 결과는 다음과 비슷합니다.

stackdriver-log-forwarder-bpf8g               1/1     Running   0   4h31m
stackdriver-log-forwarder-cht4m               1/1     Running   0   4h31m
stackdriver-log-forwarder-fth5s               1/1     Running   0   4h31m
stackdriver-log-forwarder-kw4j2               1/1     Running   0   4h29m
stackdriver-metadata-agent-cluster-level...   1/1     Running   0   4h31m
stackdriver-operator-76ddb64d57-4tcj9         1/1     Running   0   4h37m

Cloud Monitoring 측정항목

Cloud Monitoring에서 수집하는 측정항목 목록은 Anthos 온프렘 및 Anthos on bare metal 측정항목을 참조하세요.

베어메탈용 Anthos 클러스터용 Stackdriver 에이전트 구성

베어메탈용 Anthos 클러스터와 함께 설치된 Stackdriver 에이전트는 베어메탈용 Anthos 클러스터의 클러스터 문제를 유지보수하고 문제를 해결하기 위해 설정 및 구성에 따라 다음 모드 중 하나로 시스템 구성요소에 대한 데이터를 수집합니다.

시스템 구성요소만(기본 모드)

설치 시 Stackdriver 에이전트는 기본적으로 Google에서 제공하는 시스템 구성요소의 성능 세부정보(예: CPU 및 메모리 사용률) 및 유사한 메타데이터 등 로그 및 측정항목을 수집하도록 구성됩니다. 여기에는 관리자 클러스터의 모든 워크로드가 포함되고, 사용자 클러스터의 메타데이터에는 kube-system, gke-system, gke-connect, istio-system, config-management-system 네임스페이스의 워크로드가 포함됩니다.

Stackdriver 사용 중지

Stackdriver 커스텀 리소스를 삭제하여 Stackdriver 에이전트를 완전히 사용 중지할 수 있습니다.

Stackdriver를 사용 중지하기 전에, 사용 중지가 Google Cloud 지원 SLA에 미치는 영향에 대한 자세한 내용을 지원 페이지에서 확인하세요.

베어메탈용 Anthos 클러스터에 대해 Stackdriver를 사용 중지하려면 다음 안내를 따르세요.

kubectl -n kube-system delete stackdrivers stackdriver

Stackdriver 에이전트는 스토리지 및 보관 구성에 따라 로컬에서 저장한 데이터를 캡처합니다. 프로젝트에 데이터를 쓸 수 있는 서비스 계정을 사용하여 설치 시 지정된 Google Cloud 프로젝트에 데이터를 복제합니다. 앞서 설명한 것처럼 Stackdriver 에이전트는 언제든지 사용 중지할 수 있습니다. Stackdriver 에이전트가 수집하는 데이터는 Cloud Monitoring 문서에 설명된 대로 다른 측정항목 및 로그 데이터처럼 관리 및 삭제할 수 있습니다.

Stackdriver 구성요소의 기본 CPU 및 메모리 요청과 한도 재정의

포드 밀도가 높은 클러스터는 높은 로깅 및 모니터링 오버헤드가 발생합니다. 극단적인 경우에는 Stackdriver 구성요소가 CPU 및 메모리 사용률 한도에 가깝게 보고되거나 리소스 제한으로 인해 지속적으로 재시작될 수도 있습니다. 이러한 경우 요청 및 제한 재정의를 설정하면 됩니다.

측정항목 서버

측정항목 서버는 다양한 자동 확장 파이프라인에 대한 컨테이너 리소스 측정항목의 소스입니다. 측정항목 서버는 kubelets에서 측정항목을 검색하고 Kubernetes Metrics API를 통해 노출합니다. 그런 후 HPA 및 VPA는 이러한 측정항목을 사용하여 자동 확장을 트리거할 시간을 결정합니다. 측정항목 서버는 부가기능 크기 조정 도구를 사용하여 확장됩니다.

포드 밀도가 높아 로깅 및 모니터링 오버헤드가 너무 많은 극단적인 경우에는 리소스 제한으로 인해 측정항목 서버가 중지되었다가 다시 시작될 수 있습니다. 이러한 경우 요청 및 한도를 재정의하면 됩니다.

Logging 및 Monitoring을 위한 구성 요구사항

베어메탈용 Anthos 클러스터에서 Cloud Logging 및 Cloud Monitoring을 사용 설정하려면 몇 가지 구성 요구사항이 있습니다. 이 단계는 Google 서비스 사용 설정 페이지의 Logging 및 Monitoring에 사용할 서비스 계정 구성 및 다음 목록에 포함되어 있습니다.

  1. Cloud Monitoring 작업공간을 Google Cloud 프로젝트 내에 만들어야 합니다. 이를 위해 Google Cloud 콘솔에서 Monitoring을 클릭하고 워크플로를 따릅니다.

  2. 다음 Stackdriver API를 사용 설정해야 합니다.

  3. Stackdriver 에이전트에서 사용되는 서비스 계정에 다음 IAM 역할을 할당해야 합니다.

    • logging.logWriter
    • monitoring.metricWriter
    • stackdriver.resourceMetadata.writer
    • monitoring.dashboardEditor
    • opsconfigmonitoring.resourceMetadata.writer

가격 책정

Anthos 시스템 로그 및 측정항목에는 요금이 부과되지 않습니다.

베어메탈용 Anthos 클러스터의 클러스터에서 Anthos 시스템 로그 및 측정항목에는 다음이 포함됩니다.

  • 관리자 클러스터에 있는 모든 구성요소의 로그 및 측정항목
  • 사용자 클러스터의 다음 네임스페이스에 있는 구성요소의 로그 및 측정항목: kube-system, gke-system, gke-connect, knative-serving, istio-system, monitoring-system, config-management-system, gatekeeper-system, cnrm-system

자세한 내용은 Google Cloud 운영 제품군 가격 책정을 참조하세요.

Cloud Logging 측정항목의 크레딧에 대한 자세한 내용은 영업팀에 가격 책정을 문의하세요.