GKE On-Prem에는 클라우드 기반 관리형 서비스, 오픈소스 도구, 타사 상업용 솔루션과의 검증된 호환성을 비롯한 여러 가지 클러스터 로깅 및 모니터링 옵션이 포함되어 있습니다. 이 페이지에서는 이러한 옵션에 대해 설명하고 사용자 환경에 적합한 솔루션을 선택하는 방법에 대한 기본 안내를 제공합니다.
개요
GKE On-Prem 클러스터에는 여러 로깅 및 모니터링 옵션이 있습니다.
- Cloud Logging 및 Cloud Monitoring. GKE On-Prem을 사용하여 배포된 클러스터 내 에이전트로 사용 설정합니다.
- Prometheus 및 Grapana는 새 클러스터에서 기본적으로 사용 설정됩니다.
- 제3자 솔루션을 사용한 검증된 구성
Cloud Logging 및 Cloud Monitoring
Stackdriver는 Google Cloud에 기본 제공되는 관측 솔루션입니다. 완전 관리형 로깅 솔루션, 측정항목 수집, 모니터링, 대시보드, 알림을 제공합니다. Stackdriver는 클라우드 기반 GKE 클러스터와 유사한 방식으로 GKE On-Prem 클러스터를 모니터링합니다.
Stackdriver 에이전트는 두 가지 로깅 및 모니터링 수준으로 구성할 수 있습니다.
- 시스템 구성요소만(기본값)
- Stackdriver가 사용 중지됨(사용 중지하기 전에 지원 페이지에서 지원 목적으로 Stackdriver가 사용되는 방법 참조)
Stackdriver는 구성하기 쉽고 강력한 클라우드 기반의 단일 관측 솔루션을 원하는 고객에게 이상적입니다. Stackdriver는 GKE On-Prem에서만 워크로드를 실행하거나 GKE 및 GKE On-Prem에서 워크로드를 실행할 때 사용하는 것이 좋습니다. GKE On-Prem 및 기존 온프레미스 인프라에서 실행되는 구성요소가 있는 애플리케이션의 경우 이러한 애플리케이션을 포괄적으로 볼 수 있는 다른 솔루션을 고려할 수 있습니다.
- 아키텍처, 구성 및 Google Cloud 프로젝트에 기본적으로 GKE On-Prem용으로 복제되는 데이터에 대한 자세한 내용은 Stackdriver 섹션을 참조하세요.
- 이러한 서비스에 대한 자세한 내용은 Cloud Logging 및 Cloud Monitoring 섹션을 참조하세요.
Prometheus 및 Grafana
Prometheus와 Grafana는 인기 있는 오픈소스 모니터링 제품 중 하나입니다.
- Prometheus는 애플리케이션 및 시스템 측정항목을 수집합니다.
- Alertmanager는 여러 알림 메커니즘을 사용하여 알림 전송을 처리합니다.
- Grafana는 대시보드 도구입니다.
기본적으로 Prometheus와 Grafana는 각 관리자 클러스터와 사용자 클러스터에서 실행됩니다. Prometheus와 Grafana는 해당 제품에 대한 사전 경험이 있는 애플리케이션 팀에 권장하거나 클러스터 내에서 애플리케이션 측정항목을 유지하고 네트워크 연결이 끊어진 경우 문제를 해결하는 용도로 권장합니다.
제3자 솔루션
Google은 제3자 로깅 및 모니터링 솔루션 제공업체와 협력을 통해 해당 업체 제품이 GKE On-Prem에서 잘 작동할 수 있도록 지원합니다. 여기에는 Datadog, Elastic, Splunk가 포함됩니다. 이후에도 다른 검증된 제3자 제공업체가 추가될 예정입니다.
다음 솔루션 가이드는 GKE On-Prem에서 제3자 솔루션을 사용할 때 사용할 수 있습니다.
GKE On-Prem용 Stackdriver의 작동 방식
새 관리자 클러스터 또는 사용자 클러스터를 만들 때 각 클러스터에 Cloud Logging 및 Cloud Monitoring이 설치되고 활성화됩니다.
Stackdriver 에이전트에는 각 클러스터에 다음과 같은 여러 구성요소가 포함됩니다.
- Stackdriver 연산자(
stackdriver-operator-*) - 클러스터에 배포되는 다른 모든 Stackdriver 에이전트의 수명주기를 관리합니다. - Stackdriver 커스텀 리소스 - GKE On-Prem 설치 프로세스 중 자동으로 생성되는 리소스입니다. 사용자가 언제든지 커스텀 리소스를 변경하여 프로젝트 ID, 클러스터 이름, 클러스터 위치와 같은 값을 업데이트할 수 있습니다.
- Stackdriver 로그 애그리게이터(
stackdriver-log-aggregator-*) - Cloud Logging API에 로그를 전송하는 Fluentd StatefulSet입니다. - Stackdriver 로그 전달자(
stackdriver-log-forwarder-*) - 각 머신의 로그를 Stackdriver 로그 애그리게이터로 전달하는 Fluentbit daemonset입니다. - Stackdriver 측정항목 수집기(
stackdriver-prometheus-k8s-) - Prometheus 측정항목을 Cloud Logging API로 전송하는 Prometheus 및 Stackdriver Prometheus 사이드카 StatefulSet입니다. - Stackdriver 메타데이터 수집기(
stackdriver-metadata-agent-) - 포드, 배포, 노드 등의 Kubernetes 리소스에 대한 메타데이터를 Stackdriver Resource Metadata API에 보내는 배포를 나타냅니다. 이 데이터는 배포 이름, 노드 이름 또는 Kubernetes 서비스 이름으로 쿼리할 수 있도록 하여 측정항목 쿼리를 강화하는 데 사용됩니다.
다음 명령어를 실행하여 Stackdriver가 설치한 모든 에이전트를 볼 수 있습니다.
kubectl -n kube-system get pods | grep stackdriver
이 명령어 결과는 다음과 비슷합니다.
stackdriver-log-aggregator-0 1/1 Running 0 4h31m stackdriver-log-aggregator-1 1/1 Running 0 4h28m stackdriver-log-forwarder-bpf8g 1/1 Running 0 4h31m stackdriver-log-forwarder-cht4m 1/1 Running 0 4h31m stackdriver-log-forwarder-fth5s 1/1 Running 0 4h31m stackdriver-log-forwarder-kw4j2 1/1 Running 0 4h29m stackdriver-metadata-agent-cluster-level... 1/1 Running 0 4h31m stackdriver-operator-76ddb64d57-4tcj9 1/1 Running 0 4h37m stackdriver-prometheus-k8s-0 2/2 Running 0 4h31m
GKE On-Prem용 Stackdriver 에이전트 구성
GKE On-Prem과 함께 설치된 Stackdriver 에이전트는 GKE On-Prem 클러스터의 문제를 유지보수하고 문제를 해결하기 위해 설정 및 구성에 따라 다음 모드 중 하나로 시스템 구성요소에 대한 데이터를 수집합니다.
시스템 구성요소만(기본 모드)
설치 시 Stackdriver 에이전트는 기본적으로 Google에서 제공하는 시스템 구성요소의 성능 세부정보(예: CPU 및 메모리 사용률) 및 유사한 메타데이터 등 로그 및 측정항목을 수집하도록 구성됩니다. 여기에는 관리자 클러스터의 모든 워크로드가 포함되고, 사용자 클러스터의 메타데이터에는 kube-system, gke-system, gke-connect, istio-system, config-management-system 네임스페이스의 워크로드가 포함됩니다.
Stackdriver 사용 중지
Stackdriver 커스텀 리소스를 삭제하여 Stackdriver 에이전트를 완전히 사용 중지할 수 있습니다. Stackdriver를 사용 중지하기 전에 사용 중지가 Google Cloud 지원 SLA에 미치는 영향에 대한 자세한 내용을 지원 페이지에서 확인하세요.
GKE On-Prem에 대해 Stackdriver를 사용 중지하려면 다음 안내를 따르세요.
kubectl -n kube-system delete Stackdriver stackdriver
Stackdriver 에이전트는 스토리지 및 보관 구성에 따라 로컬에서 저장한 데이터를 캡처합니다. 프로젝트에 데이터를 쓸 수 있는 서비스 계정을 사용하여 설치 시 지정된 Google Cloud 프로젝트에 데이터를 복제합니다. Stackdriver 에이전트는 위에서 설명한 대로 언제든지 사용 중지할 수 있으며, Stackdriver 에이전트가 수집하는 데이터는 Stackdriver 문서의 설명대로 다른 측정항목 및 로그 데이터처럼 관리 및 삭제할 수 있습니다.
Stackdriver의 구성 요구사항
Stackdriver와 GKE On-Prem을 사용 설정하려면 몇 가지 구성 요구사항이 있습니다. 이 단계는 설치 가이드 및 다음 목록에 포함되어 있습니다.
- Cloud Logging 작업공간은 Google Cloud 프로젝트 내에 만들어야 합니다. 이를 위해 Google Cloud Console에서 Monitoring을 클릭하고 워크플로를 따릅니다.
- 다음 Stackdriver API를 사용 설정해야 합니다.
- Stackdriver 에이전트에서 사용되는 서비스 계정에 다음 IAM 역할을 할당해야 합니다.
logging.logWritermonitoring.metricWriterstackdriver.resourceMetadata.writer
가격 책정
Anthos는 표준 Cloud Logging 무료 할당량보다 많은 추가 Cloud Logging 무료 할당량을 포함합니다.
Cloud Logging 측정항목의 크레딧에 대한 자세한 내용을 알아보려면 영업팀에 가격 책정에 관해 문의하세요.
GKE On-Prem용 Prometheus와 Grafana의 작동 방식
각 GKE On-Prem 클러스터는 기본적으로 배포된 Prometheus 및 Grafana 인스턴스로 생성됩니다.
Prometheus 서버는 두 개의 복제본이 별도의 두 노드에서 실행되는 고가용성 구성으로 설정됩니다. 최대 5개의 노드를 실행하는 클러스터를 지원하고 각 클러스터에서 커스텀 측정항목을 제공하는 최대 30개의 포드를 처리하도록 리소스 요구사항을 조정합니다. Prometheus에는 보관 기간 4일 동안 데이터에 맞게 사전 할당된 전용 PersistentVolume과 추가된 안전 버퍼가 있습니다.
관리자 제어 영역과 각 사용자 클러스터에는 독립적으로 구성할 수 있는 전용 모니터링 스택이 있습니다. 각 관리자 클러스터와 사용자 클러스터에는 모니터링용 Prometheus 서버, 관측용 Grafana, 알림용 Prometheus Alertmanager가 들어 있는 모니터링 스택이 포함되어 있습니다.
모든 모니터링 엔드포인트, 전송된 측정항목 데이터, 모니터링 API는 mTLS 및 RBAC 규칙을 사용하여 Istio 구성요소로 보호됩니다. 모니터링 데이터에 대한 액세스 권한은 클러스터 관리자로 제한됩니다.
Prometheus에서 수집한 측정항목
Prometheus는 관리자 제어 영역과 사용자 클러스터에서 다음과 같은 측정항목과 메타데이터를 수집합니다.
- 리소스 사용량(예: 포드 및 노드의 CPU 사용률)
- Kubernetes 제어 영역 측정항목
- 노드에서 실행되는 부가기능 및 Kubernetes 시스템 구성요소의 측정항목(예: kubelet)
- 클러스터 상태(예: 배포의 포드 상태)
- 애플리케이션 측정항목
- 머신 측정항목(예: 네트워크, 엔트로피, inode)
멀티 클러스터 모니터링
관리자 클러스터에 설치된 Prometheus 및 Grafana 인스턴스는 관리자 클러스터 및 각 사용자 클러스터를 포함한 전체 GKE On-Prem 인스턴스에 대한 통계를 제공하도록 특별히 구성됩니다. 이를 통해 다음과 같은 작업이 가능합니다.
- Grafana 대시보드를 사용하여 모든 사용자 클러스터 및 관리자 클러스터의 측정항목에 액세스할 수 있습니다.
- Grafana 대시보드에서 개별 사용자 클러스터의 측정항목을 볼 수 있습니다. 측정항목은 전 해상도로 직접 쿼리에 사용할 수 있습니다.
- 집계된 쿼리, 대시보드, 알림에 대한 사용자 클러스터의 노드 수준 및 워크로드 측정항목에 액세스할 수 있습니다(워크로드 측정항목은 kube-system 네임스페이스에서 실행되는 워크로드로 제한됨).
- 특정 클러스터에 대한 알림을 구성할 수 있습니다.