创建提醒政策

本页面介绍如何为裸金属集群创建 GDCV 提醒政策。

准备工作

您必须拥有以下权限才能创建提醒政策：

  • monitoring.alertPolicies.create
  • monitoring.alertPolicies.delete
  • monitoring.alertPolicies.update

只需具有以下角色之一，即可拥有这些权限：

  • monitoring.alertPolicyEditor
  • monitoring.editor
  • Project Editor
  • Project Owner

如需查看您的角色，请转到 Google Cloud Console 中的 IAM 页面。

创建政策：Anthos on Bare Metal 集群 API 服务器不可用

在本练习中，您将为集群的 Kubernetes API 服务器创建提醒政策。实施此政策后，您可以安排在集群的 API 服务器不可用时接收通知。

  1. 下载政策配置文件：apiserver-unavailable.json。

  2. 创建政策：

    gcloud alpha monitoring policies create --policy-from-file=POLICY_CONFIG

    将 POLICY_CONFIG 替换为您刚刚下载的配置文件的路径。

  3. 查看您的提醒政策：

    控制台

    1. 在 Google Cloud Console 中，转到 Monitoring 页面。

      前往 Monitoring

    2. 选择左侧的提醒。

    3. 在政策下方，您可以看到提醒政策的列表。

      在列表中，选择 Anthos on baremetal 集群 API 服务器不可用（严重）以查看有关新政策的详细信息。在条件下，您可以查看政策的说明。例如：

      Policy violates when ANY condition is met
Anthos on baremetal cluster API server uptime is absent
Anthos on baremetal cluster API server uptime is less than 99.99% per minute

    gcloud

    gcloud alpha monitoring policies list

    输出会显示有关政策的详细信息。例如：

    combiner: OR
conditions:
- conditionAbsent:
    aggregations:
    - alignmentPeriod: 60s
      crossSeriesReducer: REDUCE_MEAN
      groupByFields:
      - resource.label.project_id
      - resource.label.location
      - resource.label.cluster_name
      - resource.label.namespace_name
      - resource.label.container_name
      - resource.label.pod_name
      perSeriesAligner: ALIGN_MAX
    duration: 300s
    filter: resource.type = "k8s_container" AND resource.labels.namespace_name = "kube-system"
      AND metric.type = "kubernetes.io/anthos/container/uptime" AND resource.label."container_name"=monitoring.regex.full_match("kube-apiserver")
    trigger:
      count: 1
  displayName: Anthos on baremetal cluster API server uptime is absent
  name: projects/…/alertPolicies/12404845535868002666/conditions/12404845535868003603
- conditionThreshold:
    aggregations:
    - alignmentPeriod: 120s
      crossSeriesReducer: REDUCE_MEAN
      groupByFields:
      - resource.label.project_id
      - resource.label.location
      - resource.label.cluster_name
      - resource.label.namespace_name
      - resource.label.container_name
      - resource.label.pod_name
      perSeriesAligner: ALIGN_MAX
    comparison: COMPARISON_LT
    duration: 300s
    filter: resource.type = "k8s_container" AND resource.labels.namespace_name = "kube-system"
      AND metric.type = "kubernetes.io/anthos/container/uptime" AND resource.label."container_name"=monitoring.regex.full_match("kube-apiserver")
    thresholdValue: 119.0
    trigger:
      count: 1
  displayName: Anthos on baremetal cluster API server uptime is less than 99.99% per
    minute
  name: projects/…/alertPolicies/12404845535868002666/conditions/12404845535868004540
creationRecord:
  mutateTime: …
  mutatedBy: …
displayName: Anthos on baremetal cluster API server unavailable (critical)
enabled: true
mutationRecord:
  mutateTime: …
  mutatedBy: …
name: projects/…/alertPolicies/12404845535868002666

创建其他提醒政策

本部分针对一组建议的提醒政策提供了说明和配置文件。

要创建政策，请按照您在之前的练习中所用的步骤操作：

  1. 如需下载配置文件，请点击右列中的链接。

  2. 如需创建该政策，请运行 gcloud alpha monitoring policies create。

您可以使用以下脚本下载并安装本文档中描述的所有提醒政策示例：

# 1. Create a directory named alert_samples:

mkdir alert_samples && cd alert_samples
declare -a alerts=("apiserver-unavailable.json" "scheduler-unavailable.json" "controller-manager-unavailable.json" "pod-crash-looping.json" "container-memory-usage-high-reaching-limit.json"
"container-cpu-usage-high-reaching-limit.json" "pod-not-ready-1h.json" "persistent-volume-usage-high.json" "node-not-ready-1h.json" "node-cpu-usage-high.json" "node-memory-usage-high.json"
"node-disk-usage-high.json" "api-server-error-ratio-10-percent.json" "api-server-error-ratio-5-percent.json" "etcd-leader-changes-too-frequent.json" "etcd-proposals-failed-too-frequent.json"
"etcd-server-not-in-quorum.json" "etcd-storage-usage-high.json")

# 2. Download all alert samples into the alert_samples/ directory:

for x in "${alerts[@]}"
do
  wget https://cloud.google.com/anthos/clusters/docs/bare-metal/1.15/samples/${x}
done

# 3. (optional) Uncomment and provide your project ID to set the default project
# for gcloud commands:

# gcloud config set project <PROJECT_ID>

# 4. Create alert policies for each of the downloaded samples:

for x in "${alerts[@]}"
do
  gcloud alpha monitoring policies create --policy-from-file=${x}
done

控制平面组件可用性

提醒名称 说明 Cloud Monitoring 中的提醒政策定义
Anthos on baremetal 集群 API 服务器不可用（严重） API 服务器未启动或者正常运行时间低于每分钟 99.99% apiserver-unavailable.json
Anthos on baremetal 集群调度器不可用（严重） 调度程序未启动或者正常运行时间低于每分钟 99.99% scheduler-unavailable.json
Anthos on baremetal 控制器管理器不可用（严重） 控制器管理器已从指标目标发现中消失 controller-manager-unavailable.json

Kubernetes 系统

提醒名称 说明 Cloud Monitoring 中的提醒政策定义
Anthos on baremetal pod 发生崩溃循环（严重） Pod 已重启且可能处于崩溃循环状态 pod-crash-looping.json
Anthos on Bare Metal 容器内存用量超过 85%（警告） 容器内存用量超过上限的 85% container-memory-usage-high-reaching-limit.json
Anthos on Baemetal 容器 CPU 使用率超过 80%（警告） 容器 CPU 使用率超过限制 80% container-cpu-usage-high-reaching-limit.json
Anthos on baremetal pod 处于尚未就绪状态超过一小时（严重） Pod 处于尚未就绪状态超过一小时 pod-not-ready-1h.json
Anthos on baremetal 永久性卷用量高（严重） 已声明的永久性卷量预计会填满 persistent-volume-usage-high.json
Anthos on baremetal 节点处于尚未就绪状态超过一小时（严重） 节点处于尚未就绪状态超过一小时 node-not-ready-1h.json
Anthos on baremetal 节点 CPU 的使用率超过 80%（严重） 节点 CPU 使用率超过 80% node-cpu-usage-high.json
Anthos on baremetal 节点内存用量超过 80%（严重） 节点内存用量超过 80% node-memory-usage-high.json
Anthos on baremetal 节点磁盘用量超过 80%（严重） 节点磁盘用量超过 80% node-disk-usage-high.json

Kubernetes 性能

提醒名称 说明 Cloud Monitoring 中的提醒政策定义
Anthos on baremetal API 服务器错误计数率超过 10%（严重） API 服务器为超过 10% 的请求返回错误 api-server-error-ratio-10-percent.json
Anthos on baremetal API 服务器错误计数率超过 5%（警告） API 服务器为超过 5% 的请求返回错误 api-server-error-ratio-5-percent.json
Anthos on Baemetal etcd leader 更改过于频繁（严重） etcd leader 更改过于频繁 etcd-leader-changes-too-frequent.json
Anthos on baremetal etcd 提案失败过于频繁（严重） etcd 提案失败过于频繁 etcd-proposals-failed-too-frequent.json
Anthos on baremetal etcd 服务器未达到法定人数（严重） etcd 服务器未达到法定人数 etcd-server-not-in-quorum.json
Anthos on Bare Metal etcd 存储空间超过上限的 90%（严重） etcd 存储空间用量超过上限的 90% etcd-storage-usage-high.json

接收通知

创建提醒政策后，您可以为该政策定义一个或多个通知渠道。通知渠道有多种类型。例如，您可能会收到电子邮件、Slack 频道或移动应用发出的通知。您可以选择符合您需求的渠道。

如需了解如何配置通知渠道，请参阅管理通知渠道。