이전 버전의 GKE On-Prem 문서를 보고 있습니다. 최신 문서 보기

로깅 및 모니터링 사용

이 페이지에서는 로깅 및 모니터링에 Stackdriver와 Prometheus 및 Grafana를 사용하는 방법을 설명합니다. 사용 가능한 구성 옵션에 대한 요약은 Logging 및 Monitoring 개요를 참조하세요.

Stackdriver 사용

다음 섹션에서는 GKE On-Prem 클러스터에서 Stackdriver를 사용하는 방법을 설명합니다.

모니터링 리소스

모니터링 리소스는 Google이 클러스터, 노드, pod, 컨테이너와 같은 리소스를 나타내는 방식입니다. 자세한 내용은 Cloud Monitoring의 모니터링 리소스 유형 문서를 참조하세요.

로그 및 측정항목을 쿼리하려면 최소한 다음 리소스 라벨을 알아야 합니다.

  • project_id: GKE On-Prem 클러스터와 연결된 프로젝트의 프로젝트 ID입니다.
  • location: Stackdriver 로그를 저장할 GCP 리전입니다. 온프렘 데이터 센터와 가까운 리전을 선택하는 것이 좋습니다. 설치 중에 제공한 값입니다.
  • cluster_name: 클러스터를 만들 때 선택한 클러스터 이름입니다.

    Stackdriver 커스텀 리소스를 검사하여 관리자 또는 사용자 클러스터의 cluster_name 값을 검색할 수 있습니다.

      kubectl -n kube-system get stackdrivers stackdriver -o yaml | grep 'clusterName:'

로그 데이터에 액세스

Cloud Console의 로그 뷰어를 통해 로그에 액세스할 수 있습니다. 예를 들어 컨테이너의 로그에 액세스하려면 다음 안내를 따르세요.

  1. Cloud Console에서 프로젝트의 로그 뷰어를 엽니다.
  2. 컨테이너 로그를 찾는 방법은 다음과 같습니다.
    1. 왼쪽 상단의 로그 카탈로그 드롭다운 상자를 클릭하고 Kubernetes 컨테이너를 선택합니다.
    2. 계층 구조에서 클러스터 이름, 네임스페이스, 컨테이너를 차례로 선택합니다.

측정항목 데이터 액세스

측정항목 탐색기를 사용하여 3,000개 이상의 측정항목 중에서 선택할 수 있습니다. 측정항목 탐색기에 액세스하려면 다음 안내를 따르세요.

  1. Google Cloud Console에서 Monitoring을 선택하거나 다음 버튼을 사용합니다.

    Monitoring으로 이동

  2. 리소스 > 측정항목 탐색기를 선택합니다.

Stackdriver 메타데이터 액세스

메타데이터는 측정항목을 통해 간접적으로 사용합니다. Stackdriver 측정항목 탐색기에서 측정항목을 필터링하면 측정항목을 metadata.systemLabelsmetadata.userLabels로 필터링할 수 있는 옵션이 표시됩니다. 시스템 라벨은 노드 이름, Pod의 서비스 이름과 같은 라벨입니다. 사용자 라벨은 Pod 사양의 '메타데이터' 섹션에 있는 Kubernetes YAML 파일의 Pod에 할당되는 라벨입니다.

Prometheus 및 Grafana

다음 섹션에서는 GKE On-Prem 클러스터에서 Prometheus 및 Grafana를 사용하는 방법을 설명합니다.

Grafana 대시보드에서 모니터링 측정항목에 액세스

Grafana는 클러스터에서 수집한 측정항목을 표시합니다. 이러한 측정항목을 보려면 Grafana의 대시보드에 액세스해야 합니다.

  1. 사용자 클러스터의 kube-system 네임스페이스에서 실행 중인 Grafana Pod의 이름을 가져옵니다.

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system get pods

    여기서 [USER_CLUSTER_KUBECONFIG]는 사용자 클러스터의 kubeconfig 파일입니다.

  2. Grafana Pod의 컨테이너는 TCP 포트 3000에서 리슨합니다. 로컬 포트를 Pod의 포트 3000으로 전달하면 웹브라우저에서 Grafana의 대시보드를 볼 수 있습니다.

    예를 들어 Pod 이름이 grafana-0이라고 가정합니다. Pod에서 포트 50000을 포트 3000으로 전달하려면 다음 명령어를 입력합니다.

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system port-forward grafana-0 50000:3000
  3. 웹브라우저에서 http://localhost:50000으로 이동합니다. 사용자 클러스터의 Grafana 홈 대시보드가 로드됩니다.

  4. 다른 대시보드에 액세스하려면 페이지 왼쪽 상단의 드롭다운 메뉴를 클릭합니다.

Grafana 사용 예시는 Grafana 대시보드 만들기를 참조하세요.

알림 액세스

Prometheus Alertmanager는 Prometheus 서버에서 알림을 수집합니다. 이러한 알림은 Grafana 대시보드에서 볼 수 있습니다. 알림을 보려면 대시보드에 액세스해야 합니다.

  1. alertmanger-0 Pod의 컨테이너는 TCP 포트 9093에서 리슨합니다. Pod에서 로컬 포트를 포트 9093으로 전달합니다.

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward \
       -n kube-system alertmanager-0 50001:9093
  2. 웹브라우저에서 http://localhost:50001으로 이동합니다.

Prometheus Alertmanager 구성 변경

사용자 클러스터의 monitoring.yaml 파일을 수정하여 Prometheus Alertmanager의 기본 구성을 변경할 수 있습니다. 대시보드에 알림을 유지하는 대신 특정 대상에 알림을 보내려면 이 작업을 수행해야 합니다. Prometheus의 구성 문서에서 Alertmanager를 구성하는 방법을 알아볼 수 있습니다.

Alertmanager 구성을 변경하려면 다음 단계를 따르세요.

  1. 사용자 클러스터의 monitoring.yaml 매니페스트 파일 사본을 만듭니다.

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system \
       get monitoring monitoring-sample -o yaml > monitoring.yaml
  2. Alertmanager를 구성하려면 spec.alertmanager.yml 아래의 필드를 변경합니다. 완료되면 변경된 매니페스트를 저장합니다.

  3. 클러스터에 매니페스트를 적용합니다.

    kubectl apply --kubeconfig [USER_CLUSTER_KUBECONIFG] -f monitoring.yaml

Prometheus 리소스 확장

기본 모니터링 구성은 최대 5개의 노드를 지원합니다. 큰 클러스터의 경우 Prometheus Server 리소스를 조정할 수 있습니다. 권장 사항은 클러스터 노드당 50m 코어 CPU 및 500Mi 메모리입니다. 클러스터에 Prometheus에 맞추기에 충분한 리소스가 있는 2개의 노드가 포함되어 있는지 확인합니다. 자세한 내용은 사용자 클러스터 크기 조절을 참조하세요.

Prometheus 서버 리소스를 변경하려면 다음 단계를 수행하세요.

  1. 사용자 클러스터의 monitoring.yaml 매니페스트 파일 사본을 만듭니다.

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system get monitoring monitoring-sample -o yaml > monitoring.yaml
  2. 리소스를 재정의하려면 spec.resourceOverride 아래의 필드를 변경합니다. 완료되면 변경된 매니페스트를 저장합니다. 예:

    spec:
      resourceOverride:
      - component: Prometheus
        resources:
          requests:
            cpu: 300m
            memory: 3000Mi
          limits:
            cpu: 300m
            memory: 3000Mi
    
  3. 클러스터에 매니페스트를 적용합니다.

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] apply -f monitoring.yaml

Grafana 대시보드 만들기

측정항목을 노출하는 애플리케이션을 배포했고, 측정항목이 노출되었음을 확인했으며, Prometheus가 측정항목을 스크랩한 것을 확인했습니다. 이제 애플리케이션 수준의 측정항목을 커스텀 Grafana 대시보드에 추가할 수 있습니다.

Grafana 대시보드를 만들려면 다음 단계를 따르세요.

  1. 필요한 경우 Grafana에 액세스합니다.
  2. 홈 대시보드에서 페이지 왼쪽 상단의 드롭다운 메뉴를 클릭합니다.
  3. 오른쪽 메뉴에서 새 대시보드를 클릭합니다.
  4. 새 패널 섹션에서 그래프를 클릭합니다. 빈 그래프 대시보드가 표시됩니다.
  5. 패널 제목을 클릭한 다음 수정을 클릭합니다. 하단의 그래프 패널이 측정항목 탭으로 열립니다.
  6. 데이터 소스 드롭다운 메뉴에서 사용자를 선택합니다. 쿼리 추가를 클릭하고 검색 필드에 foo를 입력합니다.
  7. 화면 오른쪽 상단에 있는 대시보드로 돌아가기 버튼을 클릭합니다. 대시보드가 표시됩니다.
  8. 대시보드를 저장하려면 화면 오른쪽 상단의 대시보드 저장을 클릭합니다. 대시보드의 이름을 선택한 다음 저장을 클릭합니다.

클러스터 내 모니터링 사용 중지

클러스터 내 모니터링을 사용 중지하려면 다음 명령어를 입력합니다.

kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] -n kube-system delete monitoring monitoring-sample

예: Grafana 대시보드에 애플리케이션 수준 측정항목 추가

다음 섹션에서는 애플리케이션의 측정항목을 추가하는 과정을 안내합니다. 이 섹션에서는 다음 작업을 완료합니다.

  • foo라는 측정항목을 노출하는 애플리케이션 예시를 배포합니다.
  • Prometheus가 측정항목을 노출하고 스크랩하는지 확인합니다.
  • 커스텀 Grafana 대시보드를 만듭니다.

예시 애플리케이션 배포

예시 애플리케이션은 단일 Pod에서 실행됩니다. Pod의 컨테이너는 측정항목인 foo를 노출하며, 상수 값은 40입니다.

다음 Pod 매니페스트 pro-pod.yaml를 만듭니다.

apiVersion: v1
kind: Pod
metadata:
  name: prometheus-example
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/port: '8080'
    prometheus.io/path: '/metrics'
spec:
  containers:
  - image: k8s.gcr.io/prometheus-dummy-exporter:v0.1.0
    name: prometheus-example
    command:
    - /bin/sh
    - -c
    - ./prometheus_dummy_exporter --metric-name=foo --metric-value=40 --port=8080

그런 다음 사용자 클러스터에 Pod 매니페스트를 적용합니다.

kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] apply -f pro-pod.yaml

측정항목이 노출되고 스크랩되었는지 확인

  1. prometheus-example Pod의 컨테이너는 TCP 포트 8080에서 리슨합니다. Pod에서 로컬 포트를 포트 8080으로 전달합니다.

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward prometheus-example 50002:8080
  2. 애플리케이션이 측정항목을 노출하는지 확인하려면 다음 명령어를 실행합니다.

    curl localhost:50002/metrics | grep foo
    

    이 명령어는 다음 결과를 반환합니다.

    # HELP foo Custom metric
    # TYPE foo gauge
    foo 40
  3. prometheus-0 Pod의 컨테이너는 TCP 포트 9090에서 리슨합니다. Pod에서 로컬 포트를 포트 9090으로 전달합니다.

    kubectl --kubeconfig [USER_CLUSTER_KUBECONFIG] port-forward prometheus-0 50003:9090
  4. Prometheus가 측정항목을 스크랩하고 있는지 확인하려면 http://localhost:50003/targets로 이동합니다. 그러면 prometheus-io-pods 대상 그룹의 prometheus-0 Pod로 이동할 수 있습니다.

  5. Prometheus에서 측정항목을 보려면 http://localhost:50003/graph로 이동합니다. 검색 필드에서 foo를 입력한 다음 실행을 클릭합니다. 페이지에 측정항목이 표시됩니다.