NVIDIA Data Center GPU Manager (DCGM)

NVIDIA 数据中心 GPU 管理器集成从 DCGM 收集关键的高级 GPU 指标。您可以通过选择 dcgm 接收器的版本,将 Ops Agent 配置为收集两组不同指标中的一组:

  • dcgm 接收器版本 2 提供了一组精选的指标,用于监控连接到给定虚拟机实例的 GPU 的性能和状态。
  • dcgm 接收器版本 1 提供了一组性能分析指标,旨在与默认 GPU 指标结合使用。关于目的和解释的信息 请参阅剖析指标 请参阅 DCGM 功能概览。

如需详细了解 NVIDIA 数据中心 GPU 管理器,请参阅 DCGM 文档。 此集成与 DCGM 3.1 版及更高版本兼容。

这些指标仅适用于 Linux 系统。系统不会从 NVIDIA GPU 模型 P100 和 P4 收集性能分析指标。

前提条件

如需收集 NVIDIA DCGM 指标,您必须执行以下操作:

  • 安装 DCGM

  • 安装 Ops Agent

    • 版本 1 指标:Ops Agent 2.38.0 或更高版本。 只有 Ops Agent 2.38.0、2.41.0 或更高版本与 GPU 监控功能兼容。请勿在挂接了 GPU 的虚拟机上安装 Ops Agent 2.39.0 和 2.40.0 版。如需了解详情,请参阅代理崩溃,报告中提及 NVIDIA
    • 版本 2 指标:Ops Agent 2.51.0 或更高版本。

安装 DCGM 并验证安装

您必须安装 DCGM 3.1 版及更高版本,并确保其作为特权服务运行。要安装 DCGM,请参阅 安装。 。

如需验证 DCGM 是否正常运行,请执行以下操作:

  1. 运行以下命令来检查 DCGM 服务的状态:

    sudo service nvidia-dcgm status
    

    如果服务正在运行,相应的 nvidia-dcgm 服务会被列为 active (running)。输出类似以下内容:

    ● nvidia-dcgm.service - NVIDIA DCGM service
    Loaded: loaded (/usr/lib/systemd/system/nvidia-dcgm.service; disabled; vendor preset: enabled)
    Active: active (running) since Sat 2023-01-07 15:24:29 UTC; 3s ago
    Main PID: 24388 (nv-hostengine)
    Tasks: 7 (limit: 14745)
    CGroup: /system.slice/nvidia-dcgm.service
           └─24388 /usr/bin/nv-hostengine -n --service-account nvidia-dcgm
    
  2. 运行以下命令来验证是否能够找到 GPU 设备:

    dcgmi discovery --list
    

    如果找到设备,输出将类似于以下内容:

    1 GPU found.
    +--------+----------------------------------------------------------------------+
    | GPU ID | Device Information                                                   |
    +--------+----------------------------------------------------------------------+
    | 0      | Name: NVIDIA A100-SXM4-40GB                                          |
    |        | PCI Bus ID: 00000000:00:04.0                                         |
    |        | Device UUID: GPU-a2d9f5c7-87d3-7d57-3277-e091ad1ba957                |
    +--------+----------------------------------------------------------------------+
    

为 DCGM 配置 Ops Agent

按照配置 Ops Agent 指南,添加从 DCGM 服务收集遥测数据所需的元素并重启代理

配置示例

以下命令会创建配置 接收 NVIDIA DCGM 的接收器版本 2 指标并重启 Ops Agent:

# Configures Ops Agent to collect telemetry from the app and restart Ops Agent.
set -e

# Create a back up of the existing file so existing configurations are not lost.
sudo cp /etc/google-cloud-ops-agent/config.yaml /etc/google-cloud-ops-agent/config.yaml.bak

# Configure the Ops Agent.
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
metrics:
  receivers:
    dcgm:
      type: dcgm
      receiver_version: 2
  service:
    pipelines:
      dcgm:
        receivers:
          - dcgm
EOF

sudo service google-cloud-ops-agent restart
sleep 20

如果您只想收集 DCGM 性能分析指标,请将 receiver_version 字段的值替换为 1。您也可以完全移除 receiver_version 条目;默认版本为 1。您无法同时使用这两个版本。

运行这些命令后,您可以检查代理是否已重启。运行以下命令,并验证分代理组件“指标代理”和“Logging 代理”是否列为“活跃(正在运行)”:

sudo systemctl status google-cloud-ops-agent"*"

如果您使用的是自定义服务账号(而不是默认的 Compute Engine 服务账号),或者您的 Compute Engine 虚拟机非常旧,则可能需要为 Ops Agent 授权

配置指标收集

如需从 NVIDIA DCGM 注入指标,您必须为 NVIDIA DCGM 生成的指标创建接收器,然后为新的接收器创建流水线。

此接收器不支持在配置中使用多个实例,例如,监控多个端点。所有这些实例都会写入相同的时序,并且 Cloud Monitoring 无法区分它们。

如需为 dcgm 指标配置接收器,请指定以下字段:

字段 默认值 说明
collection_interval 60s 时长,例如 30s5m
endpoint localhost:5555 DCGM 服务的地址,格式为 host:port
receiver_version 1 值为 1 或 2。版本 2 提供了更多指标。
type 该值必须为 dcgm

监控的内容

下表提供了 Ops Agent 收集的指标列表 从 NVIDIA DGCM 实例中获取。并非所有指标都适用于所有 GPU 型号。系统不会从 NVIDIA GPU 模型 P100 和 P4 收集性能分析指标。

版本 1 指标

使用 dcgm 接收器版本 1 可收集以下指标。

指标类型
种类、类型
受监控的资源
标签
workload.googleapis.com/dcgm.gpu.profiling.dram_utilization 
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid
GAUGEINT64
gce_instance
direction
gpu_number
model
uuid
workload.googleapis.com/dcgm.gpu.profiling.pcie_traffic_rate 
GAUGEINT64
gce_instance
direction
gpu_number
model
uuid
workload.googleapis.com/dcgm.gpu.profiling.pipe_utilization 
GAUGEDOUBLE
gce_instance
gpu_number
model
pipe  
uuid
workload.googleapis.com/dcgm.gpu.profiling.sm_occupancy 
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid
workload.googleapis.com/dcgm.gpu.profiling.sm_utilization 
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid

 不适用于 GPU 型号 P100 和 P4。

 对于 L4,pipefp64 不受支持。

版本 2 指标

以下指标是使用 dcgm 接收器版本 2 收集的。

指标类型
种类、类型
受监控的资源
标签
workload.googleapis.com/gpu.dcgm.clock.frequency
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.clock.throttle_duration.time
CUMULATIVEDOUBLE
gce_instance
gpu_number
model
uuid
violation  
workload.googleapis.com/gpu.dcgm.codec.decoder.utilization
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.codec.encoder.utilization
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.ecc_errors
CUMULATIVEINT64
gce_instance
error_type
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.energy_consumption
CUMULATIVEDOUBLE
gce_instance
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.memory.bandwidth_utilization
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.memory.bytes_used
GAUGEINT64
gce_instance
gpu_number
model
state
uuid
workload.googleapis.com/gpu.dcgm.nvlink.io 
CUMULATIVEINT64
gce_instance
direction
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.pcie.io 
CUMULATIVEINT64
gce_instance
direction
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.pipe.utilization 
GAUGEDOUBLE
gce_instance
gpu_number
model
pipe  §
uuid
workload.googleapis.com/gpu.dcgm.sm.utilization 
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.temperature
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid
workload.googleapis.com/gpu.dcgm.utilization
GAUGEDOUBLE
gce_instance
gpu_number
model
uuid

 对于 P100 和 P4,仅支持 violationpowerthermalsync_boost

 不适用于 GPU 型号 P100 和 P4。

§ 对于 L4,pipefp64 不受支持。

GPU 指标

此外,Ops Agent 的内置配置 还会收集agent.googleapis.com/gpu 指标, 由 NVIDIA 报告 Management Library (NVML)。 虽然您无需在 Ops Agent 中进行任何额外配置便可收集这些指标,但您必须创建挂接 GPU 的虚拟机安装 GPU 驱动程序。如需了解详情,请参阅 关于 gpu 指标dcgm 接收器版本 1 指标旨在补充这些默认指标,而 dcgm 接收器版本 2 指标旨在独立使用。

验证配置

本部分介绍如何验证您是否正确配置了 NVIDIA DCGM 接收器。Ops Agent 可能需要一两分钟才会开始收集遥测数据。

如需验证 NVIDIA DCGM 指标是否已发送到 Cloud Monitoring,请执行以下操作:

  1. 在 Google Cloud 控制台中,转到 Metrics Explorer 页面:

    进入 Metrics Explorer

    如果您使用搜索栏查找此页面,请选择子标题为监控的结果。

  2. 在查询构建器窗格的工具栏中,选择名为  MQL MQL 的按钮。
  3. 验证已在MQL切换开关中选择 MQL。语言切换开关位于同一工具栏中,用于设置查询的格式。
    • 对于 v1 指标,请在编辑器中输入以下查询,然后点击运行查询
      fetch gce_instance
      | metric 'workload.googleapis.com/dcgm.gpu.profiling.sm_utilization'
      | every 1m
      
    • 对于 v2 指标,请在编辑器中输入以下查询,然后点击运行
      fetch gce_instance
      | metric 'workload.googleapis.com/gpu.dcgm.sm.utilization'
      | every 1m
      

查看信息中心

如需查看 NVIDIA DCGM 指标,您必须配置一个图表或信息中心。NVIDIA DCGM 集成服务可为您提供一个或多个信息中心。在您配置集成并且 Ops Agent 开始收集指标数据后,所有信息中心都会自动安装。

您还可以在不安装集成的情况下查看信息中心的静态预览。

如需查看已安装的信息中心,请执行以下操作:

  1. 在 Google Cloud 控制台中,转到 信息中心页面:

    前往信息中心

    如果您使用搜索栏查找此页面,请选择子标题为监控的结果。

  2. 选择信息中心列表标签页,然后选择集成类别。
  3. 点击您要查看的信息中心的名称。

如果您已配置集成,但尚未安装信息中心,请检查 Ops Agent 是否正在运行。如果信息中心内没有图表的指标数据,则信息中心的安装将失败。Ops Agent 开始收集指标后,系统会为您安装信息中心。

如需查看信息中心的静态预览,请执行以下操作:

  1. 在 Google Cloud 控制台中,转到 集成页面:

    前往集成

    如果您使用搜索栏查找此页面,请选择子标题为监控的结果。

  2. 点击 Compute Engine 部署平台过滤条件。
  3. 找到 NVIDIA DCGM 的条目,然后点击查看详细信息
  4. 选择信息中心标签页以查看静态预览。如果信息中心已安装,您可以通过点击查看信息中心来转到信息中心。

如需详细了解 Cloud Monitoring 中的信息中心,请参阅信息中心和图表

如需详细了解如何使用集成页面,请参阅管理集成

DCGM 限制和暂停性能剖析

如果同时使用 DCGM 和一些其他的 NVIDIA 开发者工具(例如 Nsight Systems 或 Nsight Compute),则可能会发生冲突。此限制适用于 NVIDIA A100 及更低版本的 GPU。如需了解详情,请参阅 DCGM 功能概览中的性能剖析采样率部分。

如果您需要使用 Nsight Systems 之类的工具且不希望出现因为冲突而导致的明显服务中断,则可以根据需要使用以下命令来暂停或恢复指标收集:

dcgmi profile --pause
dcgmi profile --resume

暂停性能剖析后,系统不会从虚拟机发出 Ops Agent 收集的任何 DCGM 指标。

后续步骤

如需查看有关如何使用 Ansible 安装 Ops Agent、配置第三方应用和安装示例信息中心的演示,请观看安装 Ops Agent 以排查第三方应用的问题视频。