버전 1.0. 이 버전은 Anthos 버전 지원 정책에 설명된 대로 더 이상 지원되지 않습니다. VMware용 Anthos 클러스터(GKE On-Prem)에 영향을 미치는 보안 취약점, 노출, 문제에 대한 최신 패치와 업데이트를 확인하려면 지원되는 버전으로 업그레이드하세요. 최신 버전은 여기에서 확인할 수 있습니다.

사용 가능한 버전

로깅 및 모니터링 사용

이 페이지에서는 로깅 및 모니터링에 Stackdriver와 Prometheus 및 Grafana를 사용하는 방법을 설명합니다. 사용 가능한 구성 옵션에 대한 요약은 Logging 및 Monitoring 개요를 참조하세요.

Stackdriver 사용

다음 섹션에서는 GKE On-Prem 클러스터에서 Stackdriver를 사용하는 방법을 설명합니다.

모니터링 리소스

모니터링 리소스는 Google이 클러스터, 노드, Pod, 컨테이너와 같은 리소스를 나타내는 방식입니다. 자세한 내용은 Cloud Monitoring의 모니터링 리소스 유형 문서를 참조하세요.

로그와 측정항목을 쿼리하려면 최소한 다음 리소스 라벨을 알아야 합니다.

project_id: GKE On-Prem 클러스터와 연결된 프로젝트의 프로젝트 ID입니다.
location: 설치 중에 제공한 클러스터 위치입니다.
cluster_name: 클러스터를 만들 때 선택한 클러스터 이름입니다.

Stackdriver 커스텀 리소스를 검사하여 관리자 또는 사용자 클러스터의 cluster_name 값을 검색할 수 있습니다.
```
  kubectl -n kube-system get stackdrivers stackdriver -o yaml | grep 'clusterName:'
```

로그 데이터에 액세스

Google Cloud 콘솔에서 로그 탐색기를 사용하여 로그에 액세스할 수 있습니다. 예를 들어 컨테이너의 로그에 액세스하려면 다음 안내를 따르세요.

Google Cloud 콘솔에서 프로젝트의 로그 뷰어를 엽니다.
컨테이너 로그를 찾는 방법은 다음과 같습니다.
1. 왼쪽 상단의 로그 카탈로그 드롭다운 상자를 클릭하고 Kubernetes 컨테이너를 선택합니다.
2. 계층 구조에서 클러스터 이름, 네임스페이스, 컨테이너를 차례로 선택합니다.

측정항목 데이터에 액세스

Google Cloud 콘솔에서 측정항목 탐색기를 통해 측정항목에 액세스할 수 있습니다. 3,000개가 넘는 측정항목 중에서 선택할 수 있습니다.

Stackdriver 메타데이터 액세스

메타데이터는 측정항목을 통해 간접적으로 사용합니다. Stackdriver 측정항목 탐색기에서 측정항목을 필터링하면 측정항목을 metadata.systemLabels 및 metadata.userLabels로 필터링할 수 있는 옵션이 표시됩니다. 시스템 라벨은 노드 이름, Pod의 서비스 이름과 같은 라벨입니다. 사용자 라벨은 Pod 사양의 '메타데이터' 섹션에 있는 Kubernetes YAML 파일의 Pod에 할당되는 라벨입니다.

Prometheus 및 Grafana

다음 섹션에서는 GKE On-Prem 클러스터에서 Prometheus 및 Grafana를 사용하는 방법을 설명합니다.

Grafana 대시보드에서 모니터링 측정항목에 액세스

Grafana는 클러스터에서 수집한 측정항목을 표시합니다. 이러한 측정항목을 보려면 Grafana 대시보드에 액세스해야 합니다.

사용자 클러스터의 kube-system 네임스페이스에서 실행 중인 Grafana 포드의 이름을 가져옵니다.
```
kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system get pods
```
여기서 [USER_CLUSTER_KUBECONFIG]는 사용자 클러스터의 kubeconfig 파일입니다.
Grafana pod의 컨테이너는 TCP 포트 3000에서 리슨합니다. pod에서 로컬 포트를 포트 3000에 전달하면 웹브라우저에서 Grafana 대시보드를 볼 수 있습니다.

예를 들어 pod 이름이 grafana-0이라고 가정합니다. 포드에서 포트 50000을 포트 3000에 전달하려면 다음 명령어를 입력합니다.
```
kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system port-forward grafana-0 50000:3000
```
웹브라우저에서 http://localhost:50000으로 이동합니다. 사용자 클러스터의 Grafana 홈 대시보드가 로드됩니다.
다른 대시보드에 액세스하려면 페이지 왼쪽 상단에 있는 홈 드롭다운 메뉴를 클릭합니다.

Grafana 사용 예시는 Grafana 대시보드 만들기를 참조하세요.

알림에 액세스

Prometheus Alertmanager는 Prometheus 서버에서 알림을 수집합니다. Grafana 대시보드에서 이러한 알림을 볼 수 있습니다. 알림을 보려면 대시보드에 액세스해야 합니다.

alertmanger-0 포드의 컨테이너는 TCP 포트 9093에서 리슨합니다. 포드에서 로컬 포트를 포트 9093에 전달합니다.
```
kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward \
   -n kube-system alertmanager-0 50001:9093
```
웹브라우저에서 http://localhost:50001으로 이동합니다.

Prometheus Alertmanager 구성 변경

사용자 클러스터의 monitoring.yaml 파일을 수정하여 Prometheus Alertmanager의 기본 구성을 변경할 수 있습니다. 대시보드에 알림을 유지하는 대신 특정 대상에 알림을 보내려면 이 작업을 수행해야 합니다. Alertmanager를 구성하는 방법은 Prometheus의 구성 문서를 참조하세요.

Alertmanager 구성을 변경하려면 다음 단계를 수행합니다.

사용자 클러스터의 monitoring.yaml 매니페스트 파일 복사본을 만듭니다.

kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system \
   get monitoring monitoring-sample -o yaml > monitoring.yaml

Alertmanager를 구성하려면 spec.alertmanager.yml 아래의 필드를 변경합니다. 완료되면 변경된 매니페스트를 저장합니다.

매니페스트를 클러스터에 적용합니다.

kubectl apply --kubeconfig [USER_CLUSTER_KUBECONIFG] -f monitoring.yaml

Prometheus 리소스 확장

기본 모니터링 구성은 최대 5개의 노드를 지원합니다. 큰 클러스터의 경우 Prometheus Server 리소스를 조정할 수 있습니다. 클러스터 노드당 50m 코어 CPU와 500Mi 메모리를 사용하는 것이 좋습니다. 클러스터에 Prometheus에 맞는 충분한 리소스가 있는 노드 두 개가 포함되어 있는지 확인합니다. 자세한 내용은 사용자 클러스터 크기 조절을 참조하세요.

Prometheus 서버 리소스를 변경하려면 다음 단계를 수행합니다.

사용자 클러스터의 monitoring.yaml 매니페스트 파일 복사본을 만듭니다.

kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system get monitoring monitoring-sample -o yaml > monitoring.yaml

리소스를 재정의하려면 spec.resourceOverride 아래의 필드를 변경합니다. 완료되면 변경된 매니페스트를 저장합니다. 예:

spec:
  resourceOverride:
  - component: Prometheus
    resources:
      requests:
        cpu: 300m
        memory: 3000Mi
      limits:
        cpu: 300m
        memory: 3000Mi

매니페스트를 클러스터에 적용합니다.

kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] apply -f monitoring.yaml

Grafana 대시보드 만들기

측정항목을 노출하는 애플리케이션을 배포했고, 측정항목이 노출되었음을 확인했으며, Prometheus가 측정항목을 스크랩했음을 확인했습니다. 이제 애플리케이션 수준 측정항목을 커스텀 Grafana 대시보드에 추가할 수 있습니다.

Grafana 대시보드를 만들려면 다음 단계를 수행합니다.

필요한 경우 Grafana에 액세스합니다.
홈 대시보드에서 페이지 왼쪽 상단에 있는 Home(홈) 드롭다운 메뉴를 클릭합니다.
오른쪽 메뉴에서 New dashboard(새 대시보드)를 클릭합니다.
New panel(새 패널) 섹션에서 Graph(그래프)를 클릭합니다. 빈 그래프 대시보드가 표시됩니다.
Panel title(패널 제목)을 클릭한 후 Edit(수정)를 클릭합니다. 하단의 Graph(그래프) 패널이 Metrics(측정항목) 탭으로 열립니다.
Data Source(데이터 소스) 드롭다운 메뉴에서 user(사용자)를 선택합니다. Add query(쿼리 추가)를 클릭하고 search(검색) 필드에 foo를 입력합니다.
화면 오른쪽 상단에 있는 Back to dashboard(대시보드로 돌아가기) 버튼을 클릭합니다. 대시보드가 표시됩니다.
대시보드를 저장하려면 화면 오른쪽 상단에 있는 Save dashboard(대시보드 저장)를 클릭합니다. 대시보드의 이름을 선택한 후 Save(저장)를 클릭합니다.

클러스터 내 모니터링 사용 중지

클러스터 내 모니터링을 사용 중지하려면 다음 명령어를 입력합니다.

kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system delete monitoring monitoring-sample

예: Grafana 대시보드에 애플리케이션 수준 측정항목 추가

다음 섹션에서는 애플리케이션의 측정항목을 추가하는 과정을 설명합니다. 이 섹션에서는 다음 태스크를 완료합니다.

foo라는 측정항목을 노출하는 애플리케이션 예시를 배포합니다.
Prometheus가 측정항목을 노출하고 스크래핑하는지 확인합니다.
커스텀 Grafana 대시보드를 만듭니다.

예시 애플리케이션 배포

예시 애플리케이션은 단일 포드에서 실행됩니다. 포드의 컨테이너는 측정항목인 foo를 노출하며 상수 값은 40입니다.

다음 포드 매니페스트 pro-pod.yaml을 만듭니다.

apiVersion: v1
kind: Pod
metadata:
  name: prometheus-example
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/port: '8080'
    prometheus.io/path: '/metrics'
spec:
  containers:
  - image: k8s.gcr.io/prometheus-dummy-exporter:v0.1.0
    name: prometheus-example
    command:
    - /bin/sh
    - -c
    - ./prometheus_dummy_exporter --metric-name=foo --metric-value=40 --port=8080

그런 다음 포드 매니페스트를 사용자 클러스터에 적용합니다.

kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] apply -f pro-pod.yaml

측정항목이 노출되고 스크레이핑되었는지 확인

prometheus-example 포드의 컨테이너는 TCP 포트 8080에서 리슨합니다. 포드에서 로컬 포트를 포트 8080에 전달합니다.
```
kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward prometheus-example 50002:8080
```
애플리케이션이 측정항목을 노출하는지 확인하려면 다음 명령어를 실행합니다.
```
curl localhost:50002/metrics | grep foo
```
이 명령어는 다음 출력을 반환합니다.
```
# HELP foo Custom metric
# TYPE foo gauge
foo 40
```
prometheus-0 포드의 컨테이너는 TCP 포트 9090에서 리슨합니다. 포드에서 로컬 포트를 포트 9090에 전달합니다.
```
kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward prometheus-0 50003:9090
```
Prometheus가 측정항목을 스크레이핑하고 있는지 확인하려면 http://localhost:50003/targets로 이동합니다. 그러면 prometheus-io-pods 대상 그룹의 prometheus-0 포드로 이동할 수 있습니다.
Prometheus에서 측정항목을 보려면 http://localhost:50003/graph로 이동합니다. search(검색) 필드에서 foo를 입력한 후 Execute(실행)를 클릭합니다. 페이지에 측정항목이 표시됩니다.