观察集群

本页面介绍如何使用 Anthos 不公开模式中可用的日志记录和监控选项。

本页面适用于平台管理员。

监控信息中心

您可以从 Anthos Management Center 查看集群和节点指标监控的示例信息中心。

点击 Grafana Monitoring 信息中心按钮可打开管理员集群上托管的 Grafana 应用。Grafana 访问权限通过 Management Center 控制。如果您已登录 Management Center，则无需额外登录。

登录后，系统会提供一系列示例演示

查询日志

点击 Grafana Loki 日志按钮可打开 Grafana Explorer，在其中可以查询 Kubernetes 系统日志。日志将按照以下部分中的说明进行标记。

日志标签

日志类型	标签
容器日志	cluster=CLUSTER_NAME resources=k8s_container namespace=NAMESPACE_NAME node=NODE_NAME pod=POD_NAME container=CONTAINER_NAME 其他 Kubernetes 标签
节点 Journald 日志	cluster=CLUSTER_NAME resources=k8s_node node=NODE_NAME identifier=SYSLOG_IDENTIFIER machine=MACHINE_ID
审核日志	cluster=CLUSTER_NAME resource=k8s_audit level=LEVEL vert=VERB

所有 Kubernetes 标签和集群标签均包括为日志标签。

查询示例

• 以下查询会选择容器日志：

  {cluster="admin", namespace="kube-system", resources="k8s_container", container="kube-apiserver"}
  

  

• 以下查询会选择节点 Journald 日志：

  {cluster="admin", resources="k8s_node"}
  

  

• 以下查询会选择审核日志：

  {cluster="admin", resources="k8s_audit"}
  

  

配置自定义 StorageClass

Anthos 不公开模式使用 PersistentVolumeClaims 预配空间来存储指标、日志、信息中心和提醒。创建集群时，集群会自动创建 LogMon 自定义资源。如需替换默认的 StorageClass，请完成以下步骤：

1. 运行以下命令，在命令行编辑器中打开 LogMon 自定义资源：

   kubectl --kubeconfig=ADMIN_OIDC_KUBECONFIG -n kube-system edit logmon logmon-default
   

2. 在 LogMon 自定义资源中，更新 spec 字段下的 storageClassName：

   apiVersion: addons.gke.io/v1alpha1
   kind: Logmon
   metadata:
     # Don't change the name
     name: logmon-default
     # Don't change the namespace
     namespace: kube-system
   spec:
     system_logs:
       outputs:
         default_loki:
           deployment:
             storageClassName: anthos-system # configure the new storage class here 
     system_metrics:
       outputs:
         default_prometheus:
           deployment:
             storageClassName: anthos-system # configure the new storage class here
   

3. 如需保存对 LogMon 自定义资源所做的更改，请保存并退出命令行编辑器。

注意：

• 指定的 StorageClass 必须是现有的。API 不会创建新的 StorageClass。
• 替换 StorageClass 会创建一个新的 PersistentVolumeClaim，并且存储在先前的永久性卷中的数据会丢失。

配置存储空间大小

创建集群时，集群会自动创建 LogMon 自定义资源。如需替换指标、日志、信息中心和提醒的存储空间大小，请完成以下步骤：

1. 运行以下命令，在命令行编辑器中打开您的 LogMon 自定义资源：

   kubectl --kubeconfig=ADMIN_OIDC_KUBECONFIG -n kube-system edit logmon logmon-default
   

2. 在 LogMon 自定义资源中，更新 spec 字段下的 storageSize：

   apiVersion: addons.gke.io/v1alpha1
   kind: Logmon
   metadata:
     # Don't change the name
     name: logmon-default
     # Don't change the namespace
     namespace: kube-system
   spec:
     system_logs:
       outputs:
         default_loki:
           deployment:
             components:
               loki:
                  storageSize: 20Gi # configure the new storage size for logs here
     system_metrics:
       outputs:
         default_prometheus:
           deployment:
             components:
               alertmanager:
                  storageSize: 1Gi # configure the new storage size for alerts here
               grafana:
                  storageSize: 1Gi # configure the new storage size for dashboards here
               prometheus:
                  storageSize: 20Gi # configure the new storage size for metrics here
   ````
   

3. 如需保存对 LogMon 自定义资源所做的更改，请保存并退出命令行编辑器。

注意：不支持存储空间自动调整大小。配置存储空间大小会创建新的 PersistentVolumeClaims，并且存储在永久性卷中的数据会丢失。

配置保留时间

如需为在集群中运行的 Prometheus 和 Loki 代理中的日志配置保留时间，请完成以下步骤：

1. 运行以下命令，在命令行编辑器中打开您的 LogMon 自定义资源：

   kubectl --kubeconfig=ADMIN_OIDC_KUBECONFIG -n kube-system edit logmon logmon-default
   

2. 在 LogMon 自定义资源中，更新 spec 字段下的 retentionTime：

   apiVersion: addons.gke.io/v1alpha1
   kind: Logmon
   metadata:
     # Don't change the name
     name: logmon-default
     # Don't change the namespace
     namespace: kube-system
   spec:
     system_logs:
       outputs:
         default_loki:
           deployment:
             retentionPolicy:
               retentionTime: 720h # configure the new retention time for logs here
     system_metrics:
       outputs:
         default_prometheus:
           deployment:
             retentionPolicy:
               retentionTime: 720h # configure the new retention time for metrics here
   

3. 如需保存对 LogMon 自定义资源所做的更改，请保存并退出命令行编辑器。

配置 fluent-bit 附加输出

支持将日志导出到其他目标位置以及在集群中运行的 Loki。请参阅支持的平台列表。如需配置其他日志输出目标，请完成以下步骤：

1. 在 kube-system 命名空间中创建一个带有 logmon: system_logs 标签的 configmap。额外的输出配置与 fluent-bit 输出插件具有相同的语法，应添加到 output.conf 文件中的 data 字段下。请参阅示例配置文件。

   apiVersion: v1
   kind: ConfigMap
   metadata:
     # The name should match the configmap name specified in step 3.
     name: <customized-system-logs-fluent-bit-output-config>
     # Don't change the namespace
     namespace: kube-system
     labels:
       # This label is required.
       logmon: system_logs
   data:
     # The file name must be output.conf
     output.conf: |
       # Add a customized fluent-bit output plugin configuration here
   

2. 运行以下命令，在命令行编辑器中打开您的 LogMon 自定义资源：

   kubectl --kubeconfig=ADMIN_OIDC_KUBECONFIG -n kube-system edit logmon logmon-default
   

3. 在 LogMon 自定义资源中的 spec/system_logs/outputs 字段下添加 additionalOutput 字段。

   apiVersion: addons.gke.io/v1alpha1
   kind: Logmon
   metadata:
     # Don't change the name
     name: logmon-default
     # Don't change the namespace
     namespace: kube-system
   spec:
     system_logs:
       outputs:
         additionalOutput:
           fluentbitConfigmaps:
           # The name should match the configmap name created in step 1.
           - "<customized-system-logs-fluent-bit-output-config>"
           # Scheme: []v1.VolumeMount. Add volumeMounts if necessary
           volumeMounts:
           - ...
           - ...
           # Scheme: []v1.Volume. Add volumes if necessary
           volumes:
           - ...
           - ...
   

4. 如需保存对 LogMon 自定义资源所做的更改，请保存并退出命令行编辑器。