MySQL

MySQL 集成会收集与 InnoDB、缓冲池和各种其他操作相关的性能指标。它还会收集常规、错误和慢查询日志,并将其解析为 JSON 载荷。错误日志会被解析为其错误代码和子系统。慢查询日志会被解析为描述查询性能的键值对,包括查询时间和检查的行。

如需详细了解 MySQL,请参阅 mysql.com

前提条件

如需收集 MySQL 遥测数据,您必须安装 Ops Agent 2.8.0 或更高版本。

此接收器支持 MySQL 5.7 和 8.0 版。

配置 MySQL 实例

mysql 接收器默认使用 Unix 套接字和 Unix 身份验证作为 root 用户连接到本地 MySQL 服务器。

为 MySQL 配置 Ops Agent

按照配置 Ops Agent 指南,添加从 MySQL 实例收集日志和指标所需的元素并重启代理

配置示例

以下命令会创建配置文件,以收集和注入 MySQL 的日志和指标,并在 Linux 上重启 Ops Agent。

sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
logging:
  receivers:
    mysql_error:
      type: mysql_error
    mysql_general:
      type: mysql_general
    mysql_slow:
      type: mysql_slow
  service:
    pipelines:
      mysql:
        receivers:
          - mysql_error
          - mysql_general
          - mysql_slow
metrics:
  receivers:
    mysql:
      type: mysql
  service:
    pipelines:
      mysql:
        receivers:
          - mysql
EOF
sudo service google-cloud-ops-agent restart

如需使用具有用户名和密码的 TCP 连接方式连接到 MySQL 实例,请在指标接收器中指定用户名和密码。例如:

metrics:
  receivers:
    mysql:
      type: mysql
      endpoint: localhost:3306
      password: pwd
      username: usr
  service:
    pipelines:
      mysql:
        receivers:
          - mysql

配置日志收集

如需从 MySQL 注入日志,您必须为 MySQL 生成的日志创建接收器,然后为新的接收器创建流水线。

如需为 mysql_error 日志配置接收器,请指定以下字段:

字段 默认 说明
type 该值必须为 mysql_error
include_paths [/var/log/mysqld.log, /var/log/mysql/mysqld.log, /var/log/mysql/error.log] 要通过跟踪每个文件读取的文件系统路径列表。路径中可以使用通配符 (*);例如 /var/log/mysql/*.log
exclude_paths [] 要从 include_paths 匹配的集合中排除的文件系统路径模式列表。
wildcard_refresh_interval 60s include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s2m。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。


如需为 mysql_general 日志配置接收器,请指定以下字段:

字段 默认 说明
type 该值必须为 mysql_general
include_paths [/var/lib/mysql/${HOSTNAME}.log] 要读取的日志文件。
exclude_paths [] 要从 include_paths 匹配的集合中排除的文件系统路径模式列表。
wildcard_refresh_interval 60s include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s2m。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。


如需为 mysql_slow 日志配置接收器,请指定以下字段:

字段 默认 说明
type 该值必须为 mysql_slow
include_paths [/var/lib/mysql/${HOSTNAME}-slow.log] 要读取的日志文件。
exclude_paths [] 要从 include_paths 匹配的集合中排除的文件系统路径模式列表。
wildcard_refresh_interval 60s include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s2m。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。

记录的内容

mysql_errormysql_generalmysql_slow 日志的 logName 派生自配置中指定的接收器 ID。

根据 MySQL 版本,mysql_error 日志可能在 LogEntry 中包含以下字段:

字段 类型 说明
jsonPayload.level 字符串 日志条目级别
jsonPayload.tid 数字 日志源自的线程 ID
jsonPayload.errorCode 字符串 与日志关联的 MySQL 错误代码
jsonPayload.subsystem 字符串 日志源自的 MySQL 子系统
jsonPayload.message 字符串 日志消息
severity 字符串 (LogSeverity) 日志条目级别(已转换)
timestamp 字符串 (Timestamp) 收到请求的时间

任何空白或缺失的字段都不会出现在日志条目中。


mysql_general 日志包含 LogEntry 中的以下字段:

字段 类型 说明
jsonPayload.tid 数字 日志源自的线程 ID
jsonPayload.command 字符串 要记录的数据库操作的类型
jsonPayload.message 字符串 数据库操作的日志
timestamp 字符串 (Timestamp) 记录条目的时间


mysql_slow 日志包含 LogEntry 中的以下字段:

字段 类型 说明
jsonPayload.user 字符串 执行查询的用户
jsonPayload.database 字符串 执行查询的数据库
jsonPayload.host 字符串 数据库实例的主机
jsonPayload.ipAddress 字符串 数据库实例的地址
jsonPayload.tid 数字 记录查询的线程 ID
jsonPayload.queryTime 数字 语句执行时间,以秒为单位
jsonPayload.lockTime 数字 获取锁的时间,以秒为单位
jsonPayload.rowsSent 数字 发送到客户端的行数
jsonPayload.rowsExamined 数字 服务器层检查的行数
jsonPayload.errorNumber 数字 语句错误编号,如果未发生错误,则为 0
jsonPayload.killed 数字 语句终止时指示原因的错误编号;如果语句正常终止,则为 0
jsonPayload.bytesReceived 数字 从所有客户端接收的字节数
jsonPayload.bytesSent 数字 发送到所有客户端的字节数
jsonPayload.readFirst 数字 读取索引中第一个条目的次数
jsonPayload.readLast 数字 读取索引中最后一个键的请求数
jsonPayload.readKey 数字 基于键读取某个行的请求数
jsonPayload.readNext 数字 按照键顺序读取下一行的请求数
jsonPayload.readPrev 数字 按照键顺序读取上一行的请求数
jsonPayload.readRnd 数字 根据固定位置读取某个行的请求数
jsonPayload.readRndNext 数字 读取数据文件中下一行的请求数
jsonPayload.sortMergePasses 数字 排序算法必须执行的合并传递次数
jsonPayload.sortRangeCount 数字 使用范围完成的排序次数
jsonPayload.sortRows 数字 排序的行数
jsonPayload.sortScanCount 数字 通过扫描表完成的排序次数
jsonPayload.createdTmpDiskTables 数字 服务器创建的内部磁盘中临时表的数量
jsonPayload.createdTmpTables 数字 服务器创建的内部临时表的数量
jsonPayload.startTime 字符串 语句执行开始时间
jsonPayload.endTime 字符串 语句执行结束时间
jsonPayload.message 字符串 查询的全文
timestamp 字符串 (Timestamp) 记录条目的时间

  仅当 log_slow_extra 系统变量设置为 'ON' 时,才提供这些字段。此变量从 MySQL 8.0.14 开始提供。

如需了解这些字段,请参阅 MySQL 文档

配置指标收集

如需从 MySQL 收集指标,您必须为 MySQL 指标创建接收器,然后为新接收器创建流水线。如需为 MySQL 指标配置接收器,请指定以下字段:

字段 默认 说明
type 该值必须为 mysql
endpoint localhost:3306 MySQL 公开的网址。
collection_interval 60s time.Duration 值,例如 30s5m
username root 用于连接到服务器的用户名。
password 用于连接到服务器的密码。

监控的内容

下表提供了 Ops Agent 从 MySQL 实例收集的指标列表。

指标类型
种类、类型
受监控的资源
标签
workload.googleapis.com/mysql.buffer_pool_operations
CUMULATIVEINT64
gce_instance
operation
workload.googleapis.com/mysql.buffer_pool_pages
GAUGEDOUBLE
gce_instance
kind
workload.googleapis.com/mysql.buffer_pool_size
GAUGEDOUBLE
gce_instance
kind
workload.googleapis.com/mysql.commands
CUMULATIVEINT64
gce_instance
command
workload.googleapis.com/mysql.double_writes
CUMULATIVEINT64
gce_instance
kind
workload.googleapis.com/mysql.handlers
CUMULATIVEINT64
gce_instance
kind
workload.googleapis.com/mysql.locks
CUMULATIVEINT64
gce_instance
kind
workload.googleapis.com/mysql.log_operations
CUMULATIVEINT64
gce_instance
operation
workload.googleapis.com/mysql.operations
CUMULATIVEINT64
gce_instance
operation
workload.googleapis.com/mysql.page_operations
CUMULATIVEINT64
gce_instance
operation
workload.googleapis.com/mysql.row_locks
CUMULATIVEINT64
gce_instance
kind
workload.googleapis.com/mysql.row_operations
CUMULATIVEINT64
gce_instance
operation
workload.googleapis.com/mysql.sorts
CUMULATIVEINT64
gce_instance
kind
workload.googleapis.com/mysql.threads
GAUGEDOUBLE
gce_instance
kind

示例信息中心

您可以使用示例 Cloud Monitoring 信息中心查看集成中的指标。完成安装示例信息中心过程,从示例库中导入 MySQL GCE 概览信息中心并查看显示您的 MySQL 指标的图表。

验证配置

您可以使用日志浏览器和 Metrics Explorer 来验证已正确配置 MySQL 接收器。Ops Agent 可能需要一两分钟才会开始收集日志和指标。

如需验证是否已注入日志,请转到日志浏览器并运行以下查询来查看 MySQL 日志:

resource.type="gce_instance"
logName=("projects/PROJECT_ID/logs/mysql_error" OR "projects/PROJECT_ID/logs/mysql_general" OR "projects/PROJECT_ID/logs/mysql_slow")


如需验证指标是否已注入,请转到 Metrics Explorer 并在 MQL 标签页中运行以下查询。

fetch gce_instance
| metric 'workload.googleapis.com/mysql.commands'
| align rate(1m)
| every 1m

后续步骤

如需查看如何使用 Ansible 安装 Ops Agent、配置第三方应用和安装示例信息中心的演示,请参阅安装 Ops Agent 以排查第三方应用的问题视频。