本文档介绍如何在 Linux 虚拟机 (VM) 上对 Persistent Disk 性能进行基准测试。对于 Windows 虚拟机,请参阅对 Windows 虚拟机上的永久性磁盘性能进行基准测试。
如需在 Linux 上对 Persistent Disk 性能进行基准测试,请使用灵活的 I/O 测试工具 (FIO),而不是 dd
等其他磁盘基准化分析工具。默认情况下,dd
使用非常低的 I/O 队列深度,可能无法准确测试磁盘性能。一般而言,请避免在 Persistent Disk 性能基准中使用 /dev/urandom
、/dev/random
和 /dev/zero
等特殊设备。
如需衡量正在运行的实例上正在使用的磁盘的 IOPS 和吞吐量,请使用预期的配置对文件系统进行基准化分析。使用此选项可测试实际工作负载,而不会丢失现有磁盘上的内容。请注意,在对现有磁盘上的文件系统进行基准化分析时,有很多特定于开发环境的因素可能会影响基准化分析结果,并且您可能不会达到磁盘性能限制。
如需衡量永久性磁盘的原始性能,请直接对块存储设备进行基准化分析。使用此选项可将原始磁盘性能与磁盘性能限制进行比较。
以下命令适用于安装了 apt
软件包管理系统的 Debian 或 Ubuntu 操作系统。
对正在运行的实例上的磁盘的 IOPS 和吞吐量进行基准化分析
如果要衡量正在运行的实例上活跃磁盘的实际工作负载的 IOPS 和吞吐量,而不丢失磁盘的内容,请对照现有文件系统上的新目录进行基准化分析。
安装依赖项:
sudo apt update sudo apt install -y fio
在终端中,列出挂接到虚拟机的磁盘,并找到要测试的磁盘。如果您的永久性磁盘尚未格式化,请格式化并装载该磁盘。
sudo lsblk
NAME MAJ:MIN RM SIZE RO TYPE MOUNTPOINT sda 8:0 0 10G 0 disk └─sda1 8:1 0 10G 0 part / sdb 8:32 0 2.5T 0 disk /mnt/disks/mnt_dir
在此示例中,我们测试的是一个设备 ID 为
sdb
的 2500 GB SSD 永久性磁盘。在磁盘上创建一个新目录
fiotest
。在此示例中,该磁盘装载在/mnt/disks/mnt_dir
:TEST_DIR=/mnt/disks/mnt_dir/fiotest sudo mkdir -p $TEST_DIR
使用 1 MB 的 I/O 块大小和至少 64 的 I/O 深度,通过执行具有多个(16 个或更多)并行数据流的顺序写入来测试写入吞吐量:
sudo fio --name=write_throughput --directory=$TEST_DIR --numjobs=16 \ --size=10G --time_based --runtime=60s --ramp_time=2s --ioengine=libaio \ --direct=1 --verify=0 --bs=1M --iodepth=64 --rw=write \ --group_reporting=1 --iodepth_batch_submit=64 \ --iodepth_batch_complete_max=64
使用 4 KB 的 I/O 块大小和至少 256 的 I/O 深度,通过执行随机写入来测试写入 IOPS:
sudo fio --name=write_iops --directory=$TEST_DIR --size=10G \ --time_based --runtime=60s --ramp_time=2s --ioengine=libaio --direct=1 \ --verify=0 --bs=4K --iodepth=256 --rw=randwrite --group_reporting=1 \ --iodepth_batch_submit=256 --iodepth_batch_complete_max=256
使用 1 MB 的 I/O 块大小和至少 64 的 I/O 深度,通过执行具有多个(16 个或更多)并行数据流的顺序读取来测试读取吞吐量:
sudo fio --name=read_throughput --directory=$TEST_DIR --numjobs=16 \ --size=10G --time_based --runtime=60s --ramp_time=2s --ioengine=libaio \ --direct=1 --verify=0 --bs=1M --iodepth=64 --rw=read \ --group_reporting=1 \ --iodepth_batch_submit=64 --iodepth_batch_complete_max=64
使用 4 KB 的 I/O 块大小和至少 256 的 I/O 深度,通过执行随机读取来测试读取 IOPS:
sudo fio --name=read_iops --directory=$TEST_DIR --size=10G \ --time_based --runtime=60s --ramp_time=2s --ioengine=libaio --direct=1 \ --verify=0 --bs=4K --iodepth=256 --rw=randread --group_reporting=1 \ --iodepth_batch_submit=256 --iodepth_batch_complete_max=256
清理:
sudo rm $TEST_DIR/write* $TEST_DIR/read*
对原始永久性磁盘的性能进行基准化分析
如果要在开发环境之外单独衡量永久性磁盘的性能,请在一次性永久性磁盘和虚拟机上测试块设备的读写性能。
以下命令假定您的虚拟机挂接了一个 2500 GB 的 SSD 永久性磁盘。如果您设备的容量大小不同,请修改 --filesize
参数的值。此磁盘大小是实现 32 个 vCPU 虚拟机吞吐量限制所必需的。如需了解详情,请参阅块存储性能。
安装依赖项:
sudo apt-get update sudo apt-get install -y fio
使用非零数据填充磁盘。对于永久性磁盘而言,从空白的磁盘块读取内容的延迟配置文件与包含数据的磁盘块不同。 我们建议您在运行任何读取延迟基准化分析之前先填充磁盘。
# Running this command causes data loss on the second device. # We strongly recommend using a throwaway VM and disk. sudo fio --name=fill_disk \ --filename=/dev/sdb --filesize=2500G \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --bs=128K --iodepth=64 --rw=randwrite \ --iodepth_batch_submit=64 --iodepth_batch_complete_max=64
使用具有多个(16 个或更多)并行数据流(I/O 大小为 1 MB,I/O 深度大于或等于 64)的顺序写入来测试写入带宽。
# Running this command causes data loss on the second device. # We strongly recommend using a throwaway VM and disk. sudo fio --name=write_bandwidth_test \ --filename=/dev/sdb --filesize=2500G \ --time_based --ramp_time=2s --runtime=1m \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --bs=1M --iodepth=64 --iodepth_batch_submit=64 --iodepth_batch_complete_max=64 \ --rw=write --numjobs=16 --offset_increment=100G
测试写入 IOPS。如需达到永久性磁盘的 IOPS 上限,您必须维护一个较深的 I/O 队列。例如,如果写入延迟时间为 1 毫秒,则对于每个正在执行的 I/O,虚拟机最多可以达到 1000 IOPS。 如需达到 15000 写入 IOPS,虚拟机必须维护至少 15 个正在执行的 I/O。如果您的磁盘和虚拟机能够达到 30000 次写入 IOPS,则正在执行的 I/O 数量必须至少有 30 个。如果 I/O 大小超过 4 KB,则虚拟机在达到 IOPS 上限之前可能会先达到带宽上限。
# Running this command causes data loss on the second device. # We strongly recommend using a throwaway VM and disk. sudo fio --name=write_iops_test \ --filename=/dev/sdb --filesize=2500G \ --time_based --ramp_time=2s --runtime=1m \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --bs=4K --iodepth=256 --rw=randwrite \ --iodepth_batch_submit=256 --iodepth_batch_complete_max=256
测试写入延迟时间。在测试 I/O 延迟时间时,请务必不要让虚拟机达到带宽或 IOPS 上限,否则观察到的延迟时间将无法反映出实际的永久性磁盘 I/O 延迟时间。例如:如果在 I/O 深度为 30 时达到了 IOPS 上限,并且
fio
命令已将其加倍,则总 IOPS 将保持不变,并且所报告的 I/O 延迟时间将加倍。# Running this command causes data loss on the second device. # We strongly recommend using a throwaway VM and disk. sudo fio --name=write_latency_test \ --filename=/dev/sdb --filesize=2500G \ --time_based --ramp_time=2s --runtime=1m \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --bs=4K --iodepth=4 --rw=randwrite --iodepth_batch_submit=4 \ --iodepth_batch_complete_max=4
使用具有多个(16 个或更多)并行数据流(I/O 大小为 1 MB,I/O 深度等于 64 或更大)的顺序读取来测试读取带宽。
sudo fio --name=read_bandwidth_test \ --filename=/dev/sdb --filesize=2500G \ --time_based --ramp_time=2s --runtime=1m \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --bs=1M --iodepth=64 --rw=read --numjobs=16 --offset_increment=100G \ --iodepth_batch_submit=64 --iodepth_batch_complete_max=64
测试读取 IOPS。如需达到永久性磁盘的 IOPS 上限,您必须维护一个较深的 I/O 队列。例如,如果 I/O 大小超过 4 KB,则虚拟机在达到 IOPS 上限之前可能会先达到带宽上限。如需达到 10 万次读取 IOPS 上限,请为该测试指定
--iodepth=256
。sudo fio --name=read_iops_test \ --filename=/dev/sdb --filesize=2500G \ --time_based --ramp_time=2s --runtime=1m \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --bs=4K --iodepth=256 --rw=randread \ --iodepth_batch_submit=256 --iodepth_batch_complete_max=256
测试读取延迟时间。请务必用数据填充磁盘,以获得真实的延迟时间测量结果。在此测试期间,请确保不要让虚拟机达到 IOPS 或吞吐量上限,因为一旦永久性磁盘达到其饱和上限,它将拒绝传入的 I/O,这将反映为 I/O 延迟时间的人为增加。
sudo fio --name=read_latency_test \ --filename=/dev/sdb --filesize=2500G \ --time_based --ramp_time=2s --runtime=1m \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --bs=4K --iodepth=4 --rw=randread \ --iodepth_batch_submit=4 --iodepth_batch_complete_max=4
测试顺序读取带宽。
sudo fio --name=read_bandwidth_test \ --filename=/dev/sdb --filesize=2500G \ --time_based --ramp_time=2s --runtime=1m \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --numjobs=4 --thread --offset_increment=500G \ --bs=1M --iodepth=64 --rw=read \ --iodepth_batch_submit=64 --iodepth_batch_complete_max=64
测试顺序写入带宽。
sudo fio --name=write_bandwidth_test \ --filename=/dev/sdb --filesize=2500G \ --time_based --ramp_time=2s --runtime=1m \ --ioengine=libaio --direct=1 --verify=0 --randrepeat=0 \ --numjobs=4 --thread --offset_increment=500G \ --bs=1M --iodepth=64 --rw=write \ --iodepth_batch_submit=64 --iodepth_batch_complete_max=64
清理一次性的 Persistent Disk 和虚拟机:
后续步骤
- 了解如何通过查看永久性磁盘性能指标来监控磁盘性能。
- 了解永久性磁盘的价格。
- 了解如何优化永久性磁盘性能。