Linux磁盘IO抖动主因是IO请求排队、调度不当或应用异常，非必为磁盘故障；需用vmstat、mpstat、pidstat、iotop、iostat等工具定位进程、IO模式及底层配置问题。
Linux磁盘IO抖动通常表现为系统响应变慢、服务延迟升高、iowait值持续偏高（比如 >20%），但不一定是磁盘真坏了——更可能是IO请求排队过长、调度策略不当、应用行为异常或存储层瓶颈。关键不是盯着iowait本身，而是顺着它定位“谁在发什么IO、发到哪里、为什么卡住”。
iowait高 ≠ 磁盘慢，先确认是否真被IO拖累
iowait是CPU空闲且等待IO完成的时间占比，它只反映“CPU在等”，不说明IO慢的根源。可能情况包括：
- CPU空闲多、IO请求少但单次极慢（如机械盘随机读+高延迟）
- CPU忙不过来，根本没空进iowait（此时iowait反而低，但IO已堆积）
- IO请求被内核block层或设备驱动阻塞（如multipath路径切换、NVMe队列满）
建议第一步用 vmstat 1 和 mpstat -P ALL 1 对比：若 %iowait 高 + %idle 也高 → 确实是IO等待主导；若 %iowait 低但 %wait（RHEL8+/proc/stat新增）或 r/b (vmstat 中 blocked tasks) 高 → 说明有大量进程处于不可中断睡眠（D状态），需查 block I/O 栈。
定位IO来源：按进程/线程粒度抓“谁在狂刷盘”
用 pidstat -d 1 实时看每个进程的读写KB/s、IO等待时间（%io）和每秒IO次数（tps）。重点关注：
- WRITE_KB 持续 > 50MB/s 且 %io > 30% 的进程
- 频繁出现 “D” 状态的进程（ps aux | grep " D "）——它们正卡在IO路径上
- 同一进程多个线程IO量差异极大，可能是单线程同步刷日志或fsync滥用
进一步用 iotop -oPa（需root）查看实时线程级IO，结合 lsof -p PID 查它打开的文件和设备，判断是普通文件、数据库WAL、容器卷还是tmpfs-backed文件。
分析IO模式：顺序？随机？大块？小块？同步还是异步？
- r/s, w/s：IOPS高低决定是不是高并发小IO（如数据库事务）
- r_await, w_await：若 >10ms（SSD）或 >20ms（NVMe）且远高于 svctm（已弃用，但 await - svctm ≈ 排队时间），说明IO在队列中积压
- avgqu-sz：平均队列长度 > 1 表示有排队；>4 常见于饱和设备
- %util：接近100%但 await 不高 → 设备真忙满；%util很低但 await 很高 → 可能是驱动/队列/锁问题（如 ext4 journal 锁争用、XFS log stall）
配合 blktrace + blkparse 可深入分析IO下发路径（bio → request → queue → device），尤其适合排查“IO明明不多，却卡死”的场景。
检查底层路径与配置：别让软件栈自己绊倒自己
很多IO抖动来自配置失当或路径异常：
- 检查 /sys/block/*/queue/scheduler：CFQ（旧版）易导致延迟抖动，SSD/NVMe 应设为 none 或 kyber；HDD 可试 bfq
- 确认 /sys/block/*/queue/nr_requests 是否过小（默认128常不够），高IOPS场景可调至256~512
- 运行 lsblk -T 和 cat /proc/diskstats，对比 major:minor 设备号，排除LVM thin pool耗尽、dm-crypt加密开销、快照链过长等问题
- 云环境务必查 cloud-init 日志 或 dmesg | grep -i "nvme\|io\|timeout"，常见于EBS吞吐突降、阿里云云盘IOPS配额超限、腾讯云CBS突发IO耗尽后限速
不复杂但容易忽略。
