首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏用户8644135的专栏

    Linux磁盘性能分析

    1、TOP命令查看CPU是否长时间等待IO [root@localhost ~]# top %wa超过30%,说明IO压力很大 2、iostat命令查看磁盘工作时长占比 [root@localhost iostat -x 1            //1表示1秒刷新一次 3、pidstat命令查看当前进行IO的进程 [root@localhost ~]# pidstat -d 1 4、dd测试磁盘的读写速度 /dev/zero也是一个模拟设备用于产生空字节并不真正进行IO,所以第一条命令相当天测试当前文件夹对应的磁盘的写入性能(711MB/s)。

    2.3K20发布于 2021-07-12
  • 来自专栏SH的全栈笔记

    磁盘原理简要分析

    磁盘这玩意儿,即使不作为一个开发人员我们也会经常跟它打交道。比如你家里的台式机,或者拿来办公的电脑,再比如你装个操作系统,会涉及到对磁盘进行分区。 而作为开发人员,自然更加需要关注磁盘。 平时你开发的代码会暂存在磁盘上;开发中用的最多的数据库 MySQL,其数据是持久化到磁盘中的;Redis 的持久化数据是落到磁盘的;Zookeeper 内存中的数据、事务日志、快照会持久化到磁盘;像 RocketMQ 我们可能听过,磁盘 IO 慢,为什么?我们可能听过,磁盘顺序 IO 会快些,为什么?我们可能听过磁盘的顺序 IO 甚至比内存随机 IO 要快,为什么? 这实际上就是数据被持久化进了磁盘,下次需要文件时再从磁盘中取出来。 这个存、取的过程其实对我们完全无感知的,我们就知道装机的时候安了一块硬盘,其他的啥也不知道。 磁盘结构 那磁盘里究竟长啥样呢? 磁盘性能 了解完一些简单的原理之后,我们终于可以来了解磁盘性能相关的问题了,我们会深入的分析为什么磁盘 IO 是个非常昂贵的操作。 现在思考一个问题,我们要查询数据,底层会怎么做?

    80010编辑于 2022-08-17
  • 来自专栏数据恢复案例

    Raid5磁盘阵列数据恢复思路分析--附真实案例

    1.raid5磁盘阵列数据恢复思路分析 Raid5磁盘阵列是一种相对安全的磁盘阵列形式,数据分布状态有点类似于raid0磁盘阵列。 但是raid5阵列比raid0阵列更为安全的一点就是阵列的每一组平行数据块中都包含了一个校验块,校验块的作用主要表现在阵列有一块硬盘掉线的时候,可以保证磁盘阵列依旧正常运行,数据不受影响。 raid5磁盘阵列组成原理图解.png 由于raid5阵列的每一块硬盘中都包含有校验信息,因此恢复raid5阵列数据时需要考虑三点因素。第一点,考虑硬盘的排列顺序。第二点,考虑阵列中每个数据块的大小。 2. raid5磁盘阵列数据恢复案例 某客户一组raid5磁盘阵列,2块硬盘由于未知原因离线。 然后进行数据分析,去掉客户自己上线的那块盘,将另一块离线盘加入阵列,通过虚拟环境搭建raid平台。做了简单的数据调整后进行数据提取,所有数据被成功恢复。 整个数据恢复过程用时仅一个工作日。

    2K20发布于 2020-07-22
  • 来自专栏蓝天

    Linux磁盘满问题分析

    线上一台Linux服务器最近经常磁盘根分区满告警, 但不是普通的日志文件或数据文件过多过大,现象如下: 1)执行“df -h”查看各分区空间的使用情况 [root@XEN64 ) stati 28885 root    3u      REG        8,4   20480039   35651587 /data/consumer/log/consumer.log.5 ) consumer 29756 root    3u   REG        8,4   20480039   35651587 /data/consumer/log/consumer.log.5 cdnversion='+~(-new Date()/36e5)]; 阅读(1060) | 评论(0) | 转发(0) | 0

    3.4K31发布于 2018-12-28
  • 来自专栏HPC高性能计算

    磁盘占用分析工具 WizTree

    官网地址:https://wiztreefree.com 一款磁盘占用分析工具,速度极快,能够快速分析磁盘中大文件的位置,十分推荐使用。 通过它清晰直观的可视化扫描结果(可按文件大小排序、修改时间排序),你能非常容易地揪出那些占用硬盘空间的“大流氓”——大型文件和文件夹,快速定位并删除它们,轻松搞定磁盘清理,腾出宝贵的硬盘空间。

    4.5K00发布于 2021-03-12
  • 来自专栏reizhi

    overdisk 磁盘空间分析

    今天借助overdisk这款免费小工具,让我们能直观的了解磁盘的空间情况。 下载地址 http://dl.dbank.com/c0cb7rz9d0   软件打开之后在左上角选择分区,几秒钟之后便会展现出磁盘空间饼状图。中间灰色区域是当前目录名,根目录时则是盘符。 鼠标悬停在相应色块则会显示文件夹占用空间等详细信息,单击则进入相应目录进行分析。右键点击可以在资源管理器中打开对应目录。  

    87910编辑于 2022-09-26
  • 来自专栏XRSec.Blog

    磁盘占用高 分析建议

    处置分析 症状:cp: 无法创建目录 ‘’: 设备上没有空间 sudo su cd / ls df -h 20210826141836766773.png 很明显,得从 / 根目录着手 du -h -- du 会显示指定的目录或文件所占用的磁盘空间。

    1.3K20编辑于 2022-03-12
  • 来自专栏BanzClub

    磁盘IO原理及其性能分析

    磁盘I/O 操作系统每一层都存在I/O,CPU和内存都存在I/O,磁盘也有I/O,网络传输也有I/O,内存和CPU的I/O处理可能会产生磁盘I/O,上一篇我们已经分析磁盘进行I/O处理时的总体响应时间, 简而言之: 磁盘的 IOPS,也就是在一秒内,磁盘进行多少次 I/O 读写。 磁盘的吞吐量,也就是每秒磁盘 I/O 的流量,即磁盘写入加上读出的数据的大小。 Linux性能分析 Linux系统使用ps -o来查看某一个进程号为24150的java进程的缺页错误 ps -o min_flt,maj_flt,cmd,args,uid,gid 24150 ? 当这个值接近100%时,表示磁盘I/O已经饱和 sar(System ActivityReporter系统活动情况报告)命令是比较全面的分析系统性能的工具。 保证当前系统正常运行所需要的最小内存,即为了确保内存不溢出而需要的最少内存(物理内存+Swap分区) commit 这个值是kbcommit与内存总量(物理内存+swap分区)的一个百分比的值 内存分析

    4K30发布于 2019-06-15
  • 来自专栏敏而好学

    磁盘阵列典型问题分析

    磁盘阵列在线支持的过程中,会遇到一些常见的问题,现将有典型意义的问题分析如下 1.在服务器往盘阵中写入或读出数据时报错(如I/0 error,读写延缓失败等),或不能写入数据,或写入过程中出错 1) 这时一定要提醒用户先关闭服务器,再关闭盘阵,稍等片刻,等静电释放完毕后立即将SCSI线换接到in口 3)  查看通道速度: 正常情况下本公司盘阵的通道频率都为160MHZ(对应传输速率为320MB/s),如果发现磁盘通道频率为 为读数据时不从硬盘中读,而是先将要读的数据放入到缓存中,直接从缓存中读取数据,read ahead则是将本次要读的数据及下次可能会读到的数据一起放到缓存,读性能更好 写策略与infrotrend类似 5) 数据库文件访问:访问次数比较频繁,但每次I/O数据量不大,一般为一个表或某几个字段的修改,这时要求条带比较小,一般设置为8K或更小为宜 在常见的盘阵问题在线支持中,遇到的另一个常见问题就是服务器识别不到盘阵,一般分析思路如下 如果是服务器启动时HBA卡中能识别到盘阵,但进入系统后不能识别到盘阵 1)首先检查驱动有无安装后,如有必要,重新安装驱动 2)如果能识别到盘阵这一设备,但分区不能识别,典型的情况是windows系统,查看能否将磁盘激活或重新扫描硬件改动

    2.1K40发布于 2020-02-11
  • 来自专栏大魏分享(微信公众号:david-share)

    AIX 下磁盘 IO 性能分析

    对于具有条带性的 RAID(LUN),对其进行的 I/O 操作是并发的,例如:raid 0+1(1+0),raid5 等。反之则为顺序 I/O。 可以得到此时磁盘 hdisk2 吞吐量为 318M。 使用 nmon 收集一个时间段的数据,然后使用 nmon analyzer 进行分析,可以得出更为直接的图表: ? 将收集好的 nmon 文件使用 nmon analyzer 进行分析,得出如下报表: 图 2.nmon 图表显示磁盘性能 ? 我们才会从磁盘 I/O 方面分析 I/O 性能。 需要注意的是,下面几个参数的调整值,只是经验数值;对于不同的应用,不同的场景,应具体情况具体分析

    3.9K90发布于 2018-03-22
  • 来自专栏YP小站

    磁盘空间分析神器 - ncdu

    前言 不管是使用电脑还是维护服务器,都会遇到一个问题,磁盘空间不足。一般都是通过 du 命令来统计磁盘占用空间。 今天推荐一个非常好用的统计磁盘占用工具 ncdu。 ncdu 项目地址 https://github.com/rofl0r/ncdu ncdu 相对与 du 的优势 优势: 统计的目录以仪表盘展示 可以以磁盘占用大小或者文件名称排序 支持远程导出本地分析

    2.1K20发布于 2020-07-23
  • WorkBuddy自动分析电脑磁盘信息

    问题背景我的C盘出现了空间不足的警告:于是我向WorkBuddy发出了指令:分析我C盘的磁盘空间占用情况实现过程1.初步尝试-使用PowerShellWorkBuddy首先尝试使用PowerShell命令分析磁盘 WorkBuddy生成可视化图表:使用图表对磁盘进行可视化分析,优化磁盘分析报告WorkBuddy立即创建了可视化脚本,使用matplotlib生成多种图表:python复制生成的可视化图表包含:图表类型用途说明饼图总体使用率直观显示已用 剩余空间31.44GB不足可释放空间20-35GB可优化主要占用分析C盘根目录TOP5:Windows-23.82GB(系统文件,不可清理)Users-23.00GB(用户数据,需详细分析)soft-8.98GB :50-65GB✅推荐工具WorkBuddy还推荐了几款实用的磁盘管理工具:WizTree-极速磁盘空间分析工具,秒速扫描整个磁盘CCleaner-系统清理工具,一键清理垃圾文件TreeSizeFree :✅完整的磁盘空间分析✅可视化图表展示✅精美的HTML报告✅分优先级的清理建议✅预计可释放20-35GB空间工作效率提升:传统手动分析需要2-3小时,使用AI只需5分钟!

    1.5K50编辑于 2026-03-10
  • 来自专栏全栈工程师修炼之路

    RAID磁盘阵列原理分析总结

    RAID 5磁盘阵列由N(N>=3)块盘组成阵列,一份数据产生N-1个条带,同时还有1份校验数据共N份数据在N块盘上循环均衡存储 RAID5是目前最常见的 RAID 等级,它的原理与 RAID4 相似, RAID5 还具备很好的扩展性,当阵列磁盘 数量增加时,并行操作量的能力也随之增长,可比 RAID4 支持更多的磁盘,从而拥有更高的容量以及更高的性能。 RAID 5结构图解: 以四个硬盘组成的RAID 5不对存储的数据进行备份,而是把数据和相对应的奇偶校验信息存储到组成RAID5的各个磁盘上,并且奇偶校验信息和相对应的数据分别存储于不同的磁盘上。 0的组合,先作RAID 5,再作RAID 0,也就是对多组RAID 5彼此构成Stripe访问; 由于RAID 50是以RAID 5为基础,而RAID 5至少需要3颗硬盘,因此要以多组RAID 5构成 (经费充足的企业首选) ---- 2.常用等级总结 1)常见RAID类型 常见5种RAID类型对比以及n位磁盘数量。

    4.6K20编辑于 2022-09-28
  • 来自专栏程序员的时光

    高效磁盘整理分析软件——TreeSize

    今天给大家推荐一款关于磁盘整理相关的软件,非常实用方便,提高效率! ---- 工作学习之余,我们打游戏,听音乐,存照片都会占用我们电脑磁盘空间,从而导致磁盘空间不足,也不知道到底是哪些文件占用了大容量。 这时,我们就需要一款强大的工具来帮助我们整理分析磁盘,Tree Size就是这么一款工具,它具有以下功能: 1,整体展现磁盘空间占用情况 我们可以很客观地看到c盘的各个文件夹占用大小以及修改信息; ? 2,扫描磁盘或文件夹,分级展开目录 我们可以查看磁盘的占用信息,也可以查看任一文件夹的占用信息 ? 分级目录 3,视图多种形式展开文件 我们可以以多种形式展开磁盘的文件,采用视图展开,按照文件大小展开等等 ? 多形式展开 最后: 这个软件我日常工作学习都会使用到,对于清理磁盘来说,感觉非常良好!

    2K10发布于 2020-12-14
  • TreeSize Professional 9.7.2 - 专业磁盘分析工具

    最新版本: Professional 9.7.2 学习版 ✨ 核心功能 功能模块 功能详情 空间分析 找出最大目录、显示占用空间、文件数统计、分配空间显示 3D工具条 3D分配图显示、可视化空间使用 NTFS压缩率显示、压缩文件统计、节省空间分析 版本特色 特色 说明 ⚡ 快速高效 快速多线程扫描、实时显示、节省时间 3D可视化 3D工具条和分配图、空间使用一目了然 详细报告 完整信息统计 、支持导出多种格式 精准定位 快速找出最大文件/文件夹、释放空间 专业版 功能完整、无限制、适合企业使用 适用人群 ✅ 需要分析磁盘空间的IT管理员 ✅ 需要清理硬盘的个人用户 ✅ 需要统计空间使用的项目经理 ✅ 需要NTFS压缩分析的技术人员 ✅ 需要生成空间报告的企业用户 主要优势 专业级 - 功能完整,适合企业使用 3D显示 - 3D工具条可视化空间使用 快速 - 多线程扫描,速度快 详细 iNoxB3jzumbg ⚠️ 温馨提示 本文分享仅供学习、研究和交流使用 软件下载后请于24小时内体验,建议支持正版 请勿用于商业用途,版权归TreeSize所有 使用软件过程中造成的损失由使用者自行承担 标签: #磁盘分析

    22110编辑于 2026-06-25
  • 来自专栏祝威廉

    Spark Shuffle Write阶段磁盘文件分析

    前言 上篇写了 Spark Shuffle 内存分析 后,有不少人提出了疑问,大家也对如何落文件挺感兴趣的,所以这篇文章会详细介绍,Sort Based Shuffle Write 阶段是如何进行落磁盘的 流程分析 入口处: org.apache.spark.scheduler.ShuffleMapTask.runTask runTask对应的代码为: val manager = SparkEnv.get.shuffleManager writer.stop(success = true).get 这里manager 拿到的是 org.apache.spark.shuffle.sort.SortShuffleWriter 我们看他是如何拿到可以写磁盘的那个 我们分析的线路假设需要做mapSideCombine sorter = if (dep.mapSideCombine) { require(dep.aggregator.isDefined, " 文件被被记录在一个数组里: private val spills = new ArrayBuffer[SpilledFile] 迭代完一个task对应的partition数据后,会做merge操作,把磁盘上的

    88810发布于 2018-08-27
  • 来自专栏网络技术联盟站

    Linux这5磁盘分区工具,绝了!

    GUI 和命令行的磁盘分区管理器,我们将在下面讨论它们的用法并帮助您选择最适合您的选项。 适用于 Linux 的顶级磁盘分区工具 现在让我们看5 种最佳磁盘分区工具,可用于清理磁盘或需要安装新操作系统或为文件设置单独部分时使用。 1. 它还有一个Live CD 映像,您可以将其刻录到磁盘上,然后也可以从中修改您的根分区。 2. GNOME 磁盘 此应用程序默认在 GNOME 桌面环境中提供,它提供了所有基本功能,例如删除、添加新、调整大小和调整分区。您甚至可以使用此应用程序修复分区或恢复磁盘映像。 5.

    16.9K20编辑于 2022-03-10
  • 来自专栏爱可生开源社区

    故障分析 | 如何通过 blktrace 排查磁盘异常?

    详细背景:技术分享 | 客户说 insert 慢,我该怎么办 2日志分析 2.1 慢日志分析 发现 MySQL 慢日志中记录的慢日志是一批一批地被记录,并不是实时被记录。 3持续观测磁盘 IO 通过 iostat 命令看到磁盘确实会出现一段时间的 IO 异常(此时磁盘 IO 使用基本为 0,但是磁盘使用率为 100%)。 5blktrace 工具 5.1 工具简述 blktrace 工具[1]可以更好的追踪 IO 的过程,可以统计一个 IO 是在调度队列停留的时间长还是在硬件上消耗的时间长,利用这个工具可以协助分析和优化问题 5.2.3 也可以通过 blkparse 命令分析 // blkparse 直接进行分析 blkparse -i sda120220915112930 |less // 下图中第六个字段表示 IO 事件 5.2.4 对比试验 客户环境使用 SATA 盘做的 RAID5(这里使用了 DELL 的 RAID 控制器固件),客户找了一台相同配置的机器,直接用 SATA 盘做数据盘,没有发现磁盘异常,初步定位故障点在

    1.7K10编辑于 2023-08-18
  • 来自专栏DBA随笔

    CPU、负载、磁盘同时飙升的问题分析

    线上的一个问题分析过程 上周五下午的时候,线上的一个服务器出了一个报警,报警内容是CPU利用率大于80%,持续时间五分钟。 于是我上去看了一眼监控,监控中可以看到的数据如下: ? ? 3、从磁盘的状态来看,磁盘的IO负载也是满的,是否产生了大量的慢日志,导致磁盘负载激增? 于是我查询了所有实例的慢日志文件增长情况,发现慢日志的几乎没有什么增长。这个问题就比较奇怪了。 得到的结果是他们正在对一个log库进行数据统计分析,所以将一个月的log进行了一下查询,同时反馈的信息还有,这个查询现在已经过了一个小时了,还没有得到结果。 5、连接到相关实例上,使用show processlist命令查看当前实例的连接情况。 可以看到,CPU、负载和磁盘使用率发生了一个比较明显的下降。 一点反思: 0、本例子中,CPU的升高和负载的升高其实是由磁盘的IO打满导致其他系统任务出现等待。

    2.2K30发布于 2019-12-18
  • 来自专栏江涛的博客

    软件推荐(SpaceSniffer) -- 磁盘空间分析工具

    阅读完本篇文章,我期望你能够在磁盘遇到楼下这种情况的时候,能利用SpaceSniffer冷静分析是谁在搞事情,然后出台相应的措施。

    1.8K10发布于 2020-06-19
领券