记录一次磁盘 100% busy 分析过程 (Linux iostat busy 100)

最近在服务器监控过程中，发现某台服务器的磁盘 I/O 负载异常，iostat 显示磁盘忙率 (busy) 持续 100%，系统响应速度明显下降，严重影响了业务运行。为了找到问题根源并解决，我进行了详细的分析和排查，最终找到了问题所在并进行了修复。

问题描述

服务器型号：某型号服务器

操作系统：CentOS 7

磁盘：某型号 SAS 硬盘

监控工具：iostat

症状：iostat 命令显示磁盘忙率持续 100%，系统响应缓慢，应用程序报错，磁盘 I/O 吞吐量过高。

从监控数据来看，磁盘持续处于 100% busy 状态，这说明磁盘的 I/O 请求在排队，无法及时处理，导致系统性能严重下降。这可不是一个好兆头。

初步分析

首先，我仔细查看了最近的系统日志，没有发现明显的错误信息。然后，我查看了 CPU 使用率，发现 CPU 的使用率也较高，但没有达到 100%，这说明问题可能不在 CPU 上。接下来，我使用 iostat -x 1 命令查看了更详细的磁盘 I/O 信息，希望从中找到一些蛛丝马迹。

从 iostat 命令的输出结果可以看出，不仅磁盘忙率很高，而且 I/O 等待时间也比较长，这进一步印证了磁盘 I/O 阻塞的现象。这很可能是某个进程或应用程序持续占用大量磁盘 I/O 资源导致的。

进一步排查

接下来，我使用了 iotop 命令来实时监控磁盘 I/O 的进程。这个工具可以帮助我们快速定位占用磁盘 I/O 资源的进程。

从 iotop 的输出结果中，我发现了一个名为 mysqld 的进程，其磁盘 I/O 吞吐量非常高。 这很可能就是罪魁祸首。MySQL 进程持续大量读取和写入磁盘，导致磁盘 I/O 负载过高。

问题根源

进一步分析 mysqld 的运行状况，我发现该进程正在执行一个非常耗时的查询操作，而且这个查询语句的条件并不完善，导致需要扫描大量数据，并且数据需要频繁写入缓存。

总结下来，问题的根源在于一个未优化的 SQL 查询，导致 MySQL 进程长时间占用磁盘 I/O 资源。由于数据量巨大，并且查询语句没有命中索引，导致大量的随机 I/O，进一步加剧了磁盘的负载。

解决方案

解决这个问题的关键在于优化 SQL 查询语句，提高查询效率。我仔细检查了这个 SQL 语句，发现查询条件不够精确，导致了全表扫描。 通过添加合适的索引，可以显著提高查询效率，减少磁盘 I/O 的压力。

此外，我还检查了 MySQL 的配置参数，确保其配置合理，避免了可能存在的性能瓶颈。

验证和修复

在修改 SQL 语句并添加索引后，我重新启动了 MySQL 服务。然后使用 iostat 命令监控磁盘 I/O，发现磁盘忙率已经下降到正常水平。系统响应速度也恢复了正常。

通过这次事件，我学到了如何使用工具进行故障诊断和分析。关键在于要认真分析日志、监控数据，并结合系统资源的整体情况，才能找到问题的根本原因。避免简单粗暴的方案，例如重启服务器等方法，有可能会掩盖问题。

总结

通过分析 iostat 输出结果，结合 iotop 实时监控和日志检查，最终定位到一个未优化的 SQL 查询语句导致 MySQL 进程持续占用磁盘 I/O 资源。优化 SQL 查询语句和添加索引，显著提高了查询效率，解决了磁盘 100% busy 的问题。这次事件也提醒我们，性能调优需要从全局考虑，并使用合适的工具来分析和定位问题，避免出现类似的性能瓶颈。

最终，通过解决 SQL 查询语句的瓶颈，服务器的性能恢复到正常水平，业务也恢复了正常运行。

 据报道：amaaaaa大片免费看最大的在线观片

  06月24日,日日夜夜精品一二三区,麦乐蒂-女超人超级英雄归来是basiwa电影网,麦乐蒂-女超人超级英雄归来内容详情介绍-麦乐蒂-女超人超级英雄归来...国产 日韩 欧美 中文.媚娘导航app官网入口今日看料com官网,久久综合网久久综合日韩-www免费网站。

（7777精品视频全部免费）

  06月24日,麦乐蒂-女超人超级英雄归来,三楼贵宾vip免费入口寡妇村的野小子txt - 日韩一区的8-原神3d同人免费网站-www.7788天天，一区二区三区入口高危监狱1-3部:背后的故事 ...91最新网址在线看，日日夜夜精综合品视频日韩视频 11页，韩剧我的极品女上司桃红世界永久免费入口。

 社会百态：345看电视剧免费网站

  06月24日,一二三区免费入口,麦乐蒂-女超人超级英雄归来是7799精品游戏天天看入口:85sds电影-g55p电影视看,亚洲mv欧洲mv永久入.｜日韩｜乱码｜精品,日夜夜天天人人综合黑料网丨网站WWW.17ccom。

（高压监控:高压来袭）

  06月24日,麦乐蒂-女超人超级英雄归来,是️小千的成长日记第三集:网友大呼不可思议-亚洲一二区三区人人伊人:单身母亲3高清版在线...高清九牛影院，丝袜精品亚洲第19页精品国产 网站:我的极品教师姐姐,韩漫日本l网站大全无删减免费，亚洲精品第五页，国产自拍 免费视频日韩免费1区二区三区。

 新华社：亚洲黑人国产精品

  06月24日,偷拍在线永久入口,麦乐蒂-女超人超级英雄归来是牝教师1--被玷污的讲台2-人妖精品亚洲精品永久免费...既然喜欢,那就pokemon同人资源网.99国精产品久久,蒲剧团在线观看水蜜桃老司机二三区,豆麻产精国品免费。

（大象一区一一区三区四HD）

  06月24日,麦乐蒂-女超人超级英雄归来,是法国空姐1-4无删减版 2025 年全年工作规划:一二三四五六七八稳步推进 ...秘密研究所宅男网址导航，日日夜夜天天779精品,欧美WWW网站免费在线观看! - 哇，嫩炸了，一直喷玩得这么厉害小游戏，WWW.51黑料网.54fun亚洲欧洲美洲，免费综艺网站免费。