MariaDB 集成会收集与 InnoDB、缓冲池和各种其他操作相关的性能指标。它还会收集常规、错误和慢查询日志,并将其解析为 JSON 载荷。错误日志会被解析为其错误代码和子系统。慢查询日志会被解析为描述查询性能的键值对,包括查询时间和检查的行。
如要详细了解 MariaDB,请参阅 mariadb.org。
前提条件
如需收集 MariaDB 遥测数据,您必须安装 Ops Agent 2.8.0 或更高版本。
此接收器支持 MariaDB 10.1.X 至 10.7.X 版。配置 MariaDB 实例
MariaDB 是社区开发的商业支持的 MySQL 关系型数据库管理系统 (RDBMS) 分支。如需收集 MariaDB 的日志和指标,请使用 mysql
接收器。
mysql
接收器默认使用 Unix 套接字和 Unix 身份验证作为 root
用户连接到本地 MariaDB 服务器。
为 MariaDB 配置 Ops Agent
按照配置 Ops Agent 指南,添加从 MariaDB 实例收集日志和指标所需的元素并重启代理。
配置示例
以下命令会创建配置文件,以收集和注入 MariaDB 的日志和指标,并在 Linux 上重启 Ops Agent。
sudo tee /etc/google-cloud-ops-agent/config.yaml > /dev/null << EOF
logging:
receivers:
mysql_error:
type: mysql_error
mysql_general:
type: mysql_general
mysql_slow:
type: mysql_slow
service:
pipelines:
mysql:
receivers:
- mysql_error
- mysql_general
- mysql_slow
metrics:
receivers:
mysql:
type: mysql
service:
pipelines:
mysql:
receivers:
- mysql
EOF
sudo service google-cloud-ops-agent restart
如需使用具有用户名和密码的 TCP 连接方式连接到 MariaDB 实例,请在指标接收器中指定用户名和密码。例如:
metrics:
receivers:
mysql:
type: mysql
endpoint: localhost:3306
password: pwd
username: usr
service:
pipelines:
mysql:
receivers:
- mysql
配置日志收集
如需从 MariaDB 注入日志,您必须为 MariaDB 生成的日志创建接收器,然后为新的接收器创建流水线。
如需为 mysql_error
日志配置接收器,请指定以下字段:
字段 | 默认 | 说明 |
---|---|---|
type |
该值必须为 mysql_error 。 |
|
include_paths |
[/var/log/mysqld.log, /var/log/mysql/mysqld.log, /var/log/mysql/error.log] |
要通过跟踪每个文件读取的文件系统路径列表。路径中可以使用通配符 (* );例如 /var/log/mysql/*.log 。 |
exclude_paths |
[] |
要从 include_paths 匹配的集合中排除的文件系统路径模式列表。 |
record_log_file_path |
false |
如果设置为 true ,则从中获取日志记录的特定文件的路径将作为 agent.googleapis.com/log_file_path 标签的值显示在输出日志条目中。使用通配符时,系统只会记录从中获取记录的文件的路径。 |
wildcard_refresh_interval |
60s |
include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s 或 2m 。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。 |
如需为 mysql_general
日志配置接收器,请指定以下字段:
字段 | 默认 | 说明 |
---|---|---|
type |
该值必须为 mysql_general 。 |
|
include_paths |
[/var/lib/mysql/${HOSTNAME}.log] |
要读取的日志文件。 |
exclude_paths |
[] |
要从 include_paths 匹配的集合中排除的文件系统路径模式列表。 |
record_log_file_path |
false |
如果设置为 true ,则从中获取日志记录的特定文件的路径将作为 agent.googleapis.com/log_file_path 标签的值显示在输出日志条目中。使用通配符时,系统只会记录从中获取记录的文件的路径。 |
wildcard_refresh_interval |
60s |
include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s 或 2m 。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。 |
如需为 mysql_slow
日志配置接收器,请指定以下字段:
字段 | 默认 | 说明 |
---|---|---|
type |
该值必须为 mysql_slow 。 |
|
include_paths |
[/var/lib/mysql/${HOSTNAME}-slow.log] |
要读取的日志文件。 |
exclude_paths |
[] |
要从 include_paths 匹配的集合中排除的文件系统路径模式列表。 |
record_log_file_path |
false |
如果设置为 true ,则从中获取日志记录的特定文件的路径将作为 agent.googleapis.com/log_file_path 标签的值显示在输出日志条目中。使用通配符时,系统只会记录从中获取记录的文件的路径。 |
wildcard_refresh_interval |
60s |
include_paths 中通配符文件路径的刷新间隔。指定为时长,例如 30s 或 2m 。该属性在高日志记录吞吐量下可能很有用,因为日志文件的轮替速度快于默认时间间隔。 |
记录的内容
mysql_error
、mysql_general
和 mysql_slow
日志的 logName
派生自配置中指定的接收器 ID。
根据 MariaDB 版本,mysql_error
日志可能在 LogEntry
中包含以下字段:
字段 | 类型 | 说明 |
---|---|---|
jsonPayload.level |
字符串 | 日志条目级别 |
jsonPayload.tid |
数字 | 日志源自的线程 ID |
jsonPayload.errorCode |
字符串 | 与日志关联的 MariaDB 错误代码 |
jsonPayload.subsystem |
字符串 | 日志源自的 MariaDB 子系统 |
jsonPayload.message |
字符串 | 日志消息 |
severity |
字符串 (LogSeverity ) |
日志条目级别(已转换) |
timestamp |
字符串 (Timestamp ) |
收到请求的时间 |
任何空白或缺失的字段都不会出现在日志条目中。
mysql_general
日志包含 LogEntry
中的以下字段:
字段 | 类型 | 说明 |
---|---|---|
jsonPayload.tid |
数字 | 日志源自的线程 ID |
jsonPayload.command |
字符串 | 要记录的数据库操作的类型 |
jsonPayload.message |
字符串 | 数据库操作的日志 |
timestamp |
字符串 (Timestamp ) |
记录条目的时间 |
mysql_slow
日志包含 LogEntry
中的以下字段:
字段 | 类型 | 说明 |
---|---|---|
jsonPayload.user |
字符串 | 执行查询的用户 |
jsonPayload.database |
字符串 | 执行查询的数据库 |
jsonPayload.host |
字符串 | 数据库实例的主机 |
jsonPayload.ipAddress |
字符串 | 数据库实例的地址 |
jsonPayload.tid |
数字 | 记录查询的线程 ID |
jsonPayload.queryTime |
数字 | 语句执行时间,以秒为单位 |
jsonPayload.lockTime |
数字 | 获取锁的时间,以秒为单位 |
jsonPayload.rowsSent |
数字 | 发送到客户端的行数 |
jsonPayload.rowsExamined |
数字 | 服务器层检查的行数 |
jsonPayload.errorNumber † |
数字 | 语句错误编号,如果未发生错误,则为 0 |
jsonPayload.killed † |
数字 | 语句终止时指示原因的错误编号;如果语句正常终止,则为 0 |
jsonPayload.bytesReceived † |
数字 | 从所有客户端接收的字节数 |
jsonPayload.bytesSent † |
数字 | 发送到所有客户端的字节数 |
jsonPayload.readFirst † |
数字 | 读取索引中第一个条目的次数 |
jsonPayload.readLast † |
数字 | 读取索引中最后一个键的请求数 |
jsonPayload.readKey † |
数字 | 基于键读取某个行的请求数 |
jsonPayload.readNext † |
数字 | 按照键顺序读取下一行的请求数 |
jsonPayload.readPrev † |
数字 | 按照键顺序读取上一行的请求数 |
jsonPayload.readRnd † |
数字 | 根据固定位置读取某个行的请求数 |
jsonPayload.readRndNext † |
数字 | 读取数据文件中下一行的请求数 |
jsonPayload.sortMergePasses † |
数字 | 排序算法必须执行的合并传递次数 |
jsonPayload.sortRangeCount † |
数字 | 使用范围完成的排序次数 |
jsonPayload.sortRows † |
数字 | 排序的行数 |
jsonPayload.sortScanCount † |
数字 | 通过扫描表完成的排序次数 |
jsonPayload.createdTmpDiskTables † |
数字 | 服务器创建的内部磁盘中临时表的数量 |
jsonPayload.createdTmpTables † |
数字 | 服务器创建的内部临时表的数量 |
jsonPayload.startTime † |
字符串 | 语句执行开始时间 |
jsonPayload.endTime † |
字符串 | 语句执行结束时间 |
jsonPayload.message |
字符串 | 查询的全文 |
timestamp |
字符串 (Timestamp ) |
记录条目的时间 |
†
仅当 log_slow_extra
系统变量设置为 'ON'
时,才提供这些字段。此变量从 MySQL 8.0.14 开始提供。
如需了解这些字段,请参阅 MySQL 文档。
配置指标收集
如需从 MariaDB 收集指标,您必须为 MariaDB 指标创建接收器,然后为新接收器创建流水线。
此接收器不支持在配置中使用多个实例,例如,监控多个端点。所有这些实例都会写入相同的时序,并且 Cloud Monitoring 无法区分它们。
如需为 MariaDB 指标配置接收器,请指定以下字段:
字段 | 默认 | 说明 |
---|---|---|
type |
该值必须为 mysql 。 |
|
endpoint |
localhost:3306 |
MariaDB 公开的网址。 |
collection_interval |
60s |
time.Duration 值,例如 30s 或 5m 。 |
username |
root |
用于连接到服务器的用户名。 |
password |
用于连接到服务器的密码。 |
监控的内容
下表提供了 Ops Agent 从 MariaDB 实例收集的指标列表。
指标类型 | |
---|---|
种类、类型 受监控的资源 |
标签 |
workload.googleapis.com/mysql.buffer_pool_operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.buffer_pool_pages
|
|
GAUGE 、DOUBLE gce_instance |
kind
|
workload.googleapis.com/mysql.buffer_pool_size
|
|
GAUGE 、DOUBLE gce_instance |
kind
|
workload.googleapis.com/mysql.commands
|
|
CUMULATIVE 、INT64 gce_instance |
command
|
workload.googleapis.com/mysql.double_writes
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.handlers
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.locks
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.log_operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.page_operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.row_locks
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.row_operations
|
|
CUMULATIVE 、INT64 gce_instance |
operation
|
workload.googleapis.com/mysql.sorts
|
|
CUMULATIVE 、INT64 gce_instance |
kind
|
workload.googleapis.com/mysql.threads
|
|
GAUGE 、DOUBLE gce_instance |
kind
|
验证配置
您可以使用日志浏览器和 Metrics Explorer 来验证已正确配置 MariaDB 接收器。Ops Agent 可能需要一两分钟才会开始收集日志和指标。
如需验证是否已注入日志,请转到日志浏览器并运行以下查询来查看 MariaDB 日志:
resource.type="gce_instance"
logName=("projects/PROJECT_ID/logs/mysql_error" OR "projects/PROJECT_ID/logs/mysql_general" OR "projects/PROJECT_ID/logs/mysql_slow")
如需验证指标是否已注入,请转到 Metrics Explorer 并在 MQL 标签页中运行以下查询。
fetch gce_instance
| metric 'workload.googleapis.com/mysql.commands'
| align rate(1m)
| every 1m
后续步骤
如需查看如何使用 Ansible 安装 Ops Agent、配置第三方应用和安装示例信息中心的演示,请参阅安装 Ops Agent 以排查第三方应用的问题视频。