etcd

本文档介绍如何配置 Google Kubernetes Engine 部署，以便使用 Google Cloud Managed Service for Prometheus 从 etcd 导出器收集指标。本页面介绍如何完成以下任务：

设置 etcd 导出器以报告指标。
为 Managed Service for Prometheus 配置 PodMonitoring 资源以收集导出的指标。
在 Cloud Monitoring 中访问信息中心以查看指标。
配置提醒规则以监控指标。

以下说明仅在您将代管式收集功能与 Managed Service for Prometheus 搭配使用时适用。如果您使用的是自行部署的收集功能，请参阅 etcd 文档了解安装信息。

这些说明仅作为示例提供，应该适用于大多数 Kubernetes 环境。如果您因为限制性安全或组织政策而无法安装应用或导出器，则我们建议您查阅开源文档以获取支持。

如需了解 etcd，请参阅 etcd。

前提条件

如需使用 Managed Service for Prometheus 和代管式收集功能从 etcd 导出器收集指标，您的部署必须满足以下要求：

您的集群必须运行 Google Kubernetes Engine 1.21.4-gke.300 或更高版本。
您必须运行 Managed Service for Prometheus，并启用代管式收集功能。如需了解详情，请参阅代管式收集功能使用入门。

etcd 会自动公开 Prometheus 格式的指标；无需单独安装。如需验证 etcd 导出器是否会在预期端点上发出指标，请执行以下操作：

使用以下命令设置端口转发：

kubectl -n NAMESPACE_NAME port-forward POD_NAME 2379

使用浏览器或另一个终端会话中的 curl 实用程序访问端点 localhost:2379/metrics。

定义 PodMonitoring 资源

对于目标发现，Managed Service for Prometheus Operator 需要与同一命名空间中的 etcd 导出器对应的 PodMonitoring 资源。

您可以使用以下 PodMonitoring 配置：

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: PodMonitoring
metadata:
  name: etcd
  labels:
    app.kubernetes.io/name: etcd
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  endpoints:
  - port: 2379
    scheme: http
    interval: 30s
    path: /metrics
  selector:
    matchLabels:
      app.kubernetes.io/name: etcd

确保 port 和 matchLabels 字段的值与要监控的 etcd pod 的值相匹配。使用此 helm 图表部署 etcd 将包含 app.kubernetes.io/name: etcd 标签和 client 端口。

如需从本地文件应用配置更改，请运行以下命令：

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

您还可以使用 Terraform 管理您的配置。

定义规则和提醒

您可以使用以下 Rules 配置来定义 etcd 指标提醒：

# Copyright 2023 Google LLC
#
# Licensed under the Apache License, Version 2.0 (the "License");
# you may not use this file except in compliance with the License.
# You may obtain a copy of the License at
#
#     https://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

apiVersion: monitoring.googleapis.com/v1
kind: Rules
metadata:
  name: etcd-rules
  labels:
    app.kubernetes.io/component: rules
    app.kubernetes.io/name: etcd-rules
    app.kubernetes.io/part-of: google-cloud-managed-prometheus
spec:
  groups:
  - name: etcd
    interval: 30s
    rules:
    - alert: EtcdLongFsyncDuration
      annotations:
        description: |-
          Etcd long fsync duration
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Etcd long fsync duration (instance {{ $labels.instance }})
      expr: histogram_quantile(0.9, rate(etcd_disk_wal_fsync_duration_seconds_bucket[10m])) > 0.1
      for: 5m
      labels:
        severity: critical
    - alert: EtcdRapidLeaderChanges
      annotations:
        description: |-
          Etcd rapid leader changes
            VALUE = {{ $value }}
            LABELS: {{ $labels }}
        summary: Etcd rapid leader changes (instance {{ $labels.instance }})
      expr: etcd_server_leader_changes_seen_total >= 0.05
      for: 5m
      labels:
        severity: critical

如需从本地文件应用配置更改，请运行以下命令：

kubectl apply -n NAMESPACE_NAME -f FILE_NAME

您还可以使用 Terraform 管理您的配置。

如需详细了解如何将规则应用于您的集群，请参阅代管式规则评估和提醒。

您可以根据您的应用调整提醒阈值。

验证配置

您可以使用 Metrics Explorer 来验证是否正确配置了 etcd 导出器。Cloud Monitoring 可能需要一两分钟时间来注入您的指标。

要验证指标是否已注入，请执行以下操作：

在 Google Cloud 控制台中，转到 Metrics Explorer 页面：
进入 Metrics Explorer

如果您使用搜索栏查找此页面，请选择子标题为监控的结果。
在查询构建器窗格的工具栏中，选择名为 MQL 或 MQL 的按钮。
验证已在PromQL切换开关中选择 PromQL。语言切换开关位于同一工具栏中，用于设置查询的格式。

输入并运行以下查询：

up{job="etcd", cluster="CLUSTER_NAME", namespace="NAMESPACE_NAME"}

查看信息中心

Cloud Monitoring 集成包括 etcd Prometheus 概览信息中心。当您配置集成时，系统会自动安装信息中心。您还可以在不安装集成的情况下查看信息中心的静态预览。

如需查看已安装的信息中心，请执行以下操作：

在 Google Cloud 控制台中，转到 信息中心页面：
前往信息中心

如果您使用搜索栏查找此页面，请选择子标题为监控的结果。
选择信息中心列表标签页。
选择集成类别。
点击信息中心的名称，例如 etcd Prometheus 概览。

如需查看信息中心的静态预览，请执行以下操作：

在 Google Cloud 控制台中，转到集成页面：
前往集成

如果您使用搜索栏查找此页面，请选择子标题为监控的结果。
点击 Kubernetes Engine 部署平台过滤条件。
找到 etcd 集成，然后点击查看详情。
选择信息中心标签页。

问题排查

如需了解如何排查指标注入问题，请参阅排查注入端问题中的从导出器收集的问题。