アプリケーションのロギングとモニタリング

このページでは、ユーザーアプリケーションのカスタムのログと指標を Cloud Logging と Cloud Monitoring に送信するように、Anthos clusters on VMware（GKE On-Prem）のユーザークラスタを構成する方法について説明します。

1.12 以降では、Google Cloud Managed Service for Prometheus を使用して、プレビュー機能としてワークロードをモニタリングできます。これは、Prometheus 指標用の Google Cloud のフルマネージドストレージおよびクエリサービスです。この機能を使用するには、以下の手順に沿って Managed Service for Prometheus と Cloud Logging を有効にします。

ユーザーアプリケーション用の Prometheus のマネージドサービスの有効化（プレビュー）

Prometheus 用のマネージドサービスの構成は、stackdriver という名前の Stackdriver オブジェクトに保持されます。

stackdriver オブジェクトを編集用に開きます。
```
kubectl --kubeconfig=USER_CLUSTER_KUBECONFIG --namespace kube-system edit stackdriver stackdriver
```
USER_CLUSTER_KUBECONFIG は、ユーザークラスタ kubeconfig ファイルのパスに置き換えます。

spec で、enableGMPForApplications を true に設定します。

  apiVersion: addons.gke.io/v1alpha1
  kind: Stackdriver
  metadata:
    name: stackdriver
    namespace: kube-system
  spec:
    projectID: ...
    clusterName: ...
    clusterLocation: ...
    proxyConfigSecretName: ...
    enableGMPForApplications: true
    enableVPC: ...
    optimizedMetrics: true

編集したファイルを閉じます。これにより、クラスタで Google 管理の Prometheus（GMP）コンポーネントの実行が開始されます。

コンポーネントを確認するには、次のコマンドを実行します。

kubectl --kubeconfig=USER_CLUSTER_KUBECONFIG --namespace gmp-system get pods

このコマンドの出力は、次のようになります。

 NAME                                 READY   STATUS    RESTARTS        AGE
 collector-abcde                      2/2     Running   1 (5d18h ago)   5d18h
 collector-fghij                      2/2     Running   1 (5d18h ago)   5d18h
 collector-klmno                      2/2     Running   1 (5d18h ago)   5d18h
 gmp-operator-68d49656fc-abcde        1/1     Running   0               5d18h
 rule-evaluator-7c686485fc-fghij      2/2     Running   1 (5d18h ago)   5d18h

Managed Service for Prometheus は、ルールの評価とアラートをサポートします。ルールの評価を設定するには、ルール評価をご覧ください。

サンプルアプリケーションの実行

このセクションでは、Prometheus 指標を送信するアプリケーションを作成し、Google Managed Prometheus を使用して指標を収集します。詳細については、Google Cloud Managed Service for Prometheus をご覧ください。

サンプルアプリケーションをデプロイする

サンプルアプリケーションの一部として作成するリソースに gmp-test Namespace を作成します。
```
kubectl --kubeconfig=USER_CLUSTER_KUBECONFIG create ns gmp-test
```
マネージドサービスは、metrics ポートに Prometheus 指標を送信するサンプルアプリケーションのマニフェストを提供します。このアプリケーションは 3 つのレプリカを使用します。

サンプルアプリケーションをデプロイするには、次のコマンドを実行します。
```
kubectl --kubeconfig USER_CLUSTER_KUBECONFIG -n gmp-test apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/v0.4.1/examples/example-app.yaml
```

PodMonitoring リソースを構成する

サンプルアプリケーションから出力された指標データを取り込むには、ターゲットスクレイピングを使用します。マネージドサービスは、PodMonitoring カスタムリソース（CR）を使用してターゲットの取得と指標の取り込みを構成します。PodMonitoring CR を既存の prometheus-operator リソースに変換できます。

PodMonitoring CR は、CR がデプロイされている名前空間のターゲットのみをスクレイピングします。複数の名前空間でターゲットをスクレイピングするには、各名前空間に同じ PodMonitoring CR をデプロイします。次のコマンドを実行して、目的の名前空間に PodMonitoring リソースがインストールされていることを確認できます。

 kubectl --kubeconfig USER_CLUSTER_KUBECONFIG get podmonitoring -A

すべての Managed Service for Prometheus CR のリファレンスドキュメントについては、prometheus-engine/doc/api のリファレンスをご覧ください。

次のマニフェストでは、gmp-test 名前空間で PodMonitoring リソース prom-example を定義します。このリソースでは、値が prom-example のラベル app がある名前空間で、すべての Pod が検索されます。一致する Pod が 30 秒ごとに、/metrics HTTP パスの metrics というポートでスクレイピングされます。

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: prom-example
spec:
  selector:
    matchLabels:
      app: prom-example
  endpoints:
  - port: metrics
    interval: 30s

このリソースを適用するには、次のコマンドを実行します。

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG -n gmp-test apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/prometheus-engine/v0.4.1/examples/pod-monitoring.yaml

Prometheus のマネージドサービスが、一致する Pod をスクレイピングしています。

指標データのクエリ

Prometheus データがエクスポートされていることを確認する最も簡単な方法は、Google Cloud コンソールの Metrics Explorer で PromQL クエリを使用することです。

PromQL クエリを実行する手順は次のとおりです。

Google Cloud コンソールで [モニタリング] ページに移動するか、次のボタンをクリックします。

[モニタリング] に移動
ナビゲーションパネルで、 [Metrics Explorer] を選択します。
Prometheus Query Language（PromQL）を使用して、グラフに表示するデータを指定します。
1. [指標を選択] ペインのツールバーで、[コードエディタ] を選択します。
2. [言語] 切り替えボタンの [PromQL] を選択します。言語切り替えボタンは、[コードエディタ] ペインの下部にあります。
3. Query Editor にクエリを入力します。たとえば、過去 1 時間に各モードで使用された CPU の平均秒数をグラフ化するには、次のクエリを使用します。
```
avg(rate(kubernetes_io:anthos_container_cpu_usage_seconds_total
{monitored_resource="k8s_node"}[1h]))
```
PromQL の使用の詳細については、Cloud Monitoring の PromQL をご覧ください。

次のスクリーンショットは、anthos_container_cpu_usage_seconds_total 指標を表示するグラフを示しています。

Prometheus の「anthos_container_cpu_usage_seconds_total」指標の Managed Service for Prometheus グラフ。

大量のデータを収集する場合は、エクスポートした指標をフィルタリングして費用を抑えられる可能性があります。

ユーザーアプリケーションのための Cloud Logging の有効化（プレビュー）

Logging の構成は stackdriver という Stackdriver オブジェクトに保持されます。

stackdriver オブジェクトを編集用に開きます。
```
kubectl --kubeconfig=USER_CLUSTER_KUBECONFIG --namespace kube-system edit stackdriver stackdriver
```
USER_CLUSTER_KUBECONFIG は、ユーザークラスタ kubeconfig ファイルのパスに置き換えます。

spec で、enableCloudLoggingForApplications を true に設定します。

  apiVersion: addons.gke.io/v1alpha1
  kind: Stackdriver
  metadata:
    name: stackdriver
    namespace: kube-system
  spec:
    projectID: ...
    clusterName: ...
    clusterLocation: ...
    proxyConfigSecretName: ...
    enableCloudLoggingForApplications: true
    enableVPC: ...
    optimizedMetrics: true

編集したファイルを閉じます。

サンプルアプリケーションの実行

このセクションでは、カスタムログを書き込むアプリケーションを作成します。

次の Deployment マニフェストを my-app.yaml という名前のファイルに保存します。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: "monitoring-example"
  namespace: "default"
  labels:
    app: "monitoring-example"
spec:
  replicas: 1
  selector:
    matchLabels:
      app: "monitoring-example"
  template:
    metadata:
      labels:
        app: "monitoring-example"
    spec:
      containers:
      - image: gcr.io/google-samples/prometheus-dummy-exporter:latest
        name: prometheus-example-exporter
        imagePullPolicy: Always
        command:
        - /bin/sh
        - -c
        - ./prometheus-dummy-exporter --metric-name=example_monitoring_up --metric-value=1 --port=9090
        resources:
          requests:
            cpu: 100m

Deployment を作成します。

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG apply -f my-app.yaml

アプリケーションログの表示

Console

Google Cloud コンソールの [ログエクスプローラ] に移動します。

ログエクスプローラに移動
[リソース] をクリックします。[すべてのリソースタイプ] で [Kubernetes Container] を選択します。
[CLUSTER_NAME] で、ユーザークラスタの名前を選択します。
[NAMESPACE_NAME] で [default] を選択します。
[追加] をクリックしてから、[クエリを実行] をクリックします。

[クエリ結果] で、monitoring-example Deployment からのログエントリを確認できます。例:

{
  "textPayload": "2020/11/14 01:24:24 Starting to listen on :9090\n",
  "insertId": "1oa4vhg3qfxidt",
  "resource": {
    "type": "k8s_container",
    "labels": {
      "pod_name": "monitoring-example-7685d96496-xqfsf",
      "cluster_name": ...,
      "namespace_name": "default",
      "project_id": ...,
      "location": "us-west1",
      "container_name": "prometheus-example-exporter"
    }
  },
  "timestamp": "2020-11-14T01:24:24.358600252Z",
  "labels": {
    "k8s-pod/pod-template-hash": "7685d96496",
    "k8s-pod/app": "monitoring-example"
  },
  "logName": "projects/.../logs/stdout",
  "receiveTimestamp": "2020-11-14T01:24:39.562864735Z"
}

gcloud

次のコマンドを実行します。

gcloud logging read 'resource.labels.project_id="PROJECT_ID" AND \
    resource.type="k8s_container" AND resource.labels.namespace_name="default"'

PROJECT_ID は、logging-monitoring プロジェクトの ID に置き換えます。

出力で、monitoring-example Deployment からのログエントリを確認できます。次に例を示します。

insertId: 1oa4vhg3qfxidt
labels:
  k8s-pod/app: monitoring-example
  k8s- pod/pod-template-hash: 7685d96496
logName: projects/.../logs/stdout
receiveTimestamp: '2020-11-14T01:24:39.562864735Z'
resource:
  labels:
    cluster_name: ...
    container_name: prometheus-example-exporter
    location: us-west1
    namespace_name: default
    pod_name: monitoring-example-7685d96496-xqfsf
    project_id: ...
  type: k8s_container
textPayload: |
  2020/11/14 01:24:24 Starting to listen on :9090
timestamp: '2020-11-14T01:24:24.358600252Z'

ユーザーアプリケーションの Logging と Monitoring の有効化

このセクションでは、Managed Service for Prometheus を使用していない場合に Logging と Monitoring を有効にする方法について説明します。Logging と Monitoring の構成は、stackdriver という名前の Stackdriver オブジェクトに保持されます。

stackdriver オブジェクトを編集用に開きます。
```
kubectl --kubeconfig=USER_CLUSTER_KUBECONFIG --namespace kube-system edit stackdriver stackdriver
```
USER_CLUSTER_KUBECONFIG は、ユーザークラスタ kubeconfig ファイルのパスに置き換えます。

spec で、enableStackdriverForApplications を true に設定します。

  apiVersion: addons.gke.io/v1alpha1
  kind: Stackdriver
  metadata:
    name: stackdriver
    namespace: kube-system
  spec:
    projectID: ...
    clusterName: ...
    clusterLocation: ...
    proxyConfigSecretName: ...
    enableStackdriverForApplications: true
    enableVPC: ...
    optimizedMetrics: true

編集したファイルを閉じます。

ワークロードへのアノテーションの設定

アプリケーションからのカスタム指標の収集を有効にするには、アプリケーションの Service マニフェストまたは Pod マニフェストに prometheus.io/scrape: "true" アノテーションを追加するか、Pod に渡されるようにするために Deployment または DaemonSet マニフェストの spec.template セクションに同じアノテーションを追加します。

指標のガベージコレクションを回避するため、指標の収集間隔を 1 分に設定することをおすすめします。

サンプルアプリケーションの実行

このセクションでは、カスタムログを書き込み、カスタム指標を公開するアプリケーションを作成します。

次の Service マニフェストと Deployment マニフェストを my-app.yaml という名前のファイルに保存します。Service に prometheus.io/scrape: "true" というアノテーションが付いていることに注意してください。

kind: Service
apiVersion: v1
metadata:
  name: "monitoring-example"
  namespace: "default"
  annotations:
    prometheus.io/scrape: "true"
spec:
  selector:
    app: "monitoring-example"
  ports:
    - name: http
      port: 9090
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: "monitoring-example"
  namespace: "default"
  labels:
    app: "monitoring-example"
spec:
  replicas: 1
  selector:
    matchLabels:
      app: "monitoring-example"
  template:
    metadata:
      labels:
        app: "monitoring-example"
    spec:
      containers:
      - image: gcr.io/google-samples/prometheus-dummy-exporter:latest
        name: prometheus-example-exporter
        imagePullPolicy: Always
        command:
        - /bin/sh
        - -c
        - ./prometheus-dummy-exporter --metric-name=example_monitoring_up --metric-value=1 --port=9090
        resources:
          requests:
            cpu: 100m

Deployment と Service を作成します。

kubectl --kubeconfig USER_CLUSTER_KUBECONFIG apply -f my-app.yaml

アプリケーションログの表示

Console

Google Cloud コンソールの [ログエクスプローラ] に移動します。

ログエクスプローラに移動
[リソース] をクリックします。[すべてのリソースタイプ] で [Kubernetes Container] を選択します。
[CLUSTER_NAME] で、ユーザークラスタの名前を選択します。
[NAMESPACE_NAME] で [default] を選択します。
[追加] をクリックしてから、[クエリを実行] をクリックします。

[クエリ結果] で、monitoring-example Deployment からのログエントリを確認できます。例:

{
  "textPayload": "2020/11/14 01:24:24 Starting to listen on :9090\n",
  "insertId": "1oa4vhg3qfxidt",
  "resource": {
    "type": "k8s_container",
    "labels": {
      "pod_name": "monitoring-example-7685d96496-xqfsf",
      "cluster_name": ...,
      "namespace_name": "default",
      "project_id": ...,
      "location": "us-west1",
      "container_name": "prometheus-example-exporter"
    }
  },
  "timestamp": "2020-11-14T01:24:24.358600252Z",
  "labels": {
    "k8s-pod/pod-template-hash": "7685d96496",
    "k8s-pod/app": "monitoring-example"
  },
  "logName": "projects/.../logs/stdout",
  "receiveTimestamp": "2020-11-14T01:24:39.562864735Z"
}

gcloud

次のコマンドを実行します。

gcloud logging read 'resource.labels.project_id="PROJECT_ID" AND \
    resource.type="k8s_container" AND resource.labels.namespace_name="default"'

PROJECT_ID は、logging-monitoring プロジェクトの ID に置き換えます。

出力で、monitoring-example Deployment からのログエントリを確認できます。次に例を示します。

insertId: 1oa4vhg3qfxidt
labels:
  k8s-pod/app: monitoring-example
  k8s- pod/pod-template-hash: 7685d96496
logName: projects/.../logs/stdout
receiveTimestamp: '2020-11-14T01:24:39.562864735Z'
resource:
  labels:
    cluster_name: ...
    container_name: prometheus-example-exporter
    location: us-west1
    namespace_name: default
    pod_name: monitoring-example-7685d96496-xqfsf
    project_id: ...
  type: k8s_container
textPayload: |
  2020/11/14 01:24:24 Starting to listen on :9090
timestamp: '2020-11-14T01:24:24.358600252Z'

Google Cloud Console でのアプリケーション指標の表示

サンプルアプリケーションでは、example_monitoring_up という名前のカスタム指標が公開されています。Google Cloud コンソールで、その指標の値を確認できます。

Google Cloud コンソールの Metrics Explorer に移動します。

Metrics Explorer に移動
[リソースタイプ] で、Kubernetes Pod または Kubernetes Container を選択します。
[指標] で [external.googleapis.com/prometheus/example_monitoring_up] を選択します。
このチャートでは、example_monitoring_up の繰り返し値が 1 であることがわかります。

アプリケーションのロギングとモニタリング

ユーザー アプリケーション用の Prometheus のマネージド サービスの有効化（プレビュー）

サンプル アプリケーションの実行

サンプル アプリケーションをデプロイする

PodMonitoring リソースを構成する

指標データのクエリ

ユーザー アプリケーションのための Cloud Logging の有効化（プレビュー）

サンプル アプリケーションの実行

アプリケーション ログの表示

Console

gcloud

ユーザー アプリケーションの Logging と Monitoring の有効化

ワークロードへのアノテーションの設定

サンプル アプリケーションの実行

アプリケーション ログの表示

Console

gcloud

Google Cloud Console でのアプリケーション指標の表示

ユーザーアプリケーション用の Prometheus のマネージドサービスの有効化（プレビュー）

サンプルアプリケーションの実行

サンプルアプリケーションをデプロイする

ユーザーアプリケーションのための Cloud Logging の有効化（プレビュー）

サンプルアプリケーションの実行

アプリケーションログの表示

ユーザーアプリケーションの Logging と Monitoring の有効化

サンプルアプリケーションの実行

アプリケーションログの表示