应用日志记录和监控功能

本页面介绍如何为 VMware 上的 Anthos 集群 (GKE On-Prem) 配置用户集群，以便将用户应用中的自定义日志和指标发送到 Cloud Logging 和 Cloud Monitoring。

为用户应用启用 Logging 和 Monitoring

Logging 和 Monitoring 的配置保存在名为 stackdriver 的 Stackdriver 对象中。

  1. 打开要修改的 stackdriver 对象：

    kubectl --kubeconfig=USER_CLUSTER_KUBECONFIG --namespace kube-system edit stackdriver stackdriver

    将 USER_CLUSTER_KUBECONFIG 替换为用户集群 kubeconfig 文件的路径。

  2. 在 spec 下，将 enableStackdriverForApplications 设置为 true：

      apiVersion: addons.sigs.k8s.io/v1alpha1
  kind: Stackdriver
  metadata:
    name: stackdriver
    namespace: kube-system
  spec:
    projectID: ...
    clusterName: ...
    clusterLocation: ...
    proxyConfigSecretName: ...
    enableStackdriverForApplications: true
    enableVPC: ...
    optimizedMetrics: true

  3. 关闭已修改的文件。

为工作负载添加注释

如需从应用中收集自定义指标，请将 prometheus.io/scrape: "true" 注解添加到应用的 Service 或 Deployment 清单中。

为避免系统对指标执行垃圾回收，我们建议将指标抓取间隔设置为一分钟。

运行示例应用

在本部分中，您将创建一个应用，用于编写自定义日志并公开自定义指标。

  1. 将以下 Service 和 Deployment 清单保存到名为 my-app.yaml 的文件中。请注意，Service 具有注释 prometheus.io/scrape: "true"：

    kind: Service
apiVersion: v1
metadata:
  name: "monitoring-example"
  namespace: "default"
  annotations:
    prometheus.io/scrape: "true"
spec:
  selector:
    app: "monitoring-example"
  ports:
    - name: http
      port: 9090
---
apiVersion: apps/v1
kind: Deployment
metadata:
  name: "monitoring-example"
  namespace: "default"
  labels:
    app: "monitoring-example"
spec:
  replicas: 1
  selector:
    matchLabels:
      app: "monitoring-example"
  template:
    metadata:
      labels:
        app: "monitoring-example"
    spec:
      containers:
      - image: gcr.io/google-samples/prometheus-dummy-exporter:latest
        name: prometheus-example-exporter
        imagePullPolicy: Always
        command:
        - /bin/sh
        - -c
        - ./prometheus-dummy-exporter --metric-name=example_monitoring_up --metric-value=1 --port=9090
        resources:
          requests:
            cpu: 100m

  2. 创建 Deployment 和 Service：

    kubectl --kubeconfig USER_CLUSTER_KUBECONFIG apply -f my-app.yaml

查看应用日志

控制台

  1. 前往 Google Cloud 控制台中的日志浏览器。

    前往日志浏览器

  2. 点击资源。在 ALL_RESOURCE_TYPES 下，选择 Kubernetes Container。

  3. 在 CLUSTER_NAME 下，选择用户集群的名称。

  4. 在 NAMESPACE_NAME 下，选择 default。

  5. 点击添加，然后点击运行查询。

  6. 在查询结果下，您可以查看来自 monitoring-example Deployment 的日志条目。例如：

    {
  "textPayload": "2020/11/14 01:24:24 Starting to listen on :9090\n",
  "insertId": "1oa4vhg3qfxidt",
  "resource": {
    "type": "k8s_container",
    "labels": {
      "pod_name": "monitoring-example-7685d96496-xqfsf",
      "cluster_name": ...,
      "namespace_name": "default",
      "project_id": ...,
      "location": "us-west1",
      "container_name": "prometheus-example-exporter"
    }
  },
  "timestamp": "2020-11-14T01:24:24.358600252Z",
  "labels": {
    "k8s-pod/pod-template-hash": "7685d96496",
    "k8s-pod/app": "monitoring-example"
  },
  "logName": "projects/.../logs/stdout",
  "receiveTimestamp": "2020-11-14T01:24:39.562864735Z"
}

gcloud

  1. 运行此命令：

    gcloud logging read 'resource.labels.project_id="PROJECT_ID" AND \
    resource.type="k8s_container" AND resource.labels.namespace_name="default"'

    将 PROJECT_ID 替换为日志记录监控项目的 ID。

  2. 在输出中，您可以看到来自 monitoring-example Deployment 的日志条目。例如：

    insertId: 1oa4vhg3qfxidt
labels:
  k8s-pod/app: monitoring-example
  k8s- pod/pod-template-hash: 7685d96496
logName: projects/.../logs/stdout
receiveTimestamp: '2020-11-14T01:24:39.562864735Z'
resource:
  labels:
    cluster_name: ...
    container_name: prometheus-example-exporter
    location: us-west1
    namespace_name: default
    pod_name: monitoring-example-7685d96496-xqfsf
    project_id: ...
  type: k8s_container
textPayload: |
  2020/11/14 01:24:24 Starting to listen on :9090
timestamp: '2020-11-14T01:24:24.358600252Z'

在 Google Cloud Console 中查看应用指标

您的示例应用将公开一个名为 example_monitoring_up 的自定义指标。您可以在 Google Cloud 控制台中查看该指标的值。

  1. 前往 Google Cloud 控制台中的 Metrics Explorer。

    前往 Metrics Explorer

  2. 对于资源类型，请选择 Kubernetes Pod。

  3. 对于指标，请选择 external/prometheus/example_monitoring_up。

  4. 在图表中，您可以看到 example_monitoring_up 的重复值为 1。