首页
学习
活动
专区
圈层
工具
发布

Datanode的磁盘写满了怎么办?

【背景】 ---- 回家路上,接到运维兄弟的电话,说一线上环境,某个DN异常了,原因是有个磁盘写满了,他准备将这个盘剔除出去,重启下DN,问我数据会不会丢失。...【DN运行过程中磁盘写满会怎样】 ---- 首先,DN运行时,单块磁盘写满,是否会引发问题?...答案是不会的,DN内部处理写block逻辑时,会过滤可用空间不满足条件的磁盘(准确的说法应该是卷目录,但一般而言DN会配置多个卷目录,不同的目录位于不同的磁盘上,为了方面理解,后面都先称为磁盘)。...例如:先将某个磁盘写满(如下图所示) 此后,继续向hdfs写入文件,发现写入的文件都正常,已经写满的磁盘不会继续存储新的数据 【DN写block时的磁盘分配策略】 ---- DN中磁盘分配有两种策略...轮询分配 顾名思义,就是从配置的磁盘中,轮流选择一个作为block的存储位置。 当然,选择的磁盘的时候,会进行一次容量的判断,如果不满足条件,则跳过该磁盘。

2.9K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Linux磁盘空间满了怎么办?超详细排查指南(含详细步骤、命令、脚本)

    一、概述 1.1 背景介绍 磁盘空间问题是Linux服务器运维中最常见的问题之一,没有之一。根据我这些年的统计,在所有生产环境告警中,磁盘相关的告警占比大概在15%-20%左右。...而且这类问题往往来得很突然——前一天还好好的,第二天早上磁盘就满了。 为什么磁盘问题这么常见?...我见过太多P0级别的故障,根因追溯下来就是磁盘满了。 1.2 技术特点 磁盘空间排查看似简单,实际上涉及到Linux文件系统的很多底层知识: 存储空间 vs inode数量 这是很多新手容易忽略的点。...需要制定磁盘空间清理策略 1.4 环境要求 本文的命令和配置基于以下环境测试: 操作系统: Ubuntu 22.04 LTS / CentOS 7.9 / Rocky Linux 9 文件系统: ext4...完善监控告警 记住一个原则:永远不要等到磁盘满了才去处理。

    2.8K10

    linux磁盘报警怎么办

    image-20220117165235844 登录服务器,通过 df -Hl 查看 和告警信息一致,接着我们就是要找到导致磁盘空间满的目录或文件,如何找到占用空间大的目录或文件?...du -h -d 2|grep [GT] |sort -nr du -h --max-depth=2|grep [GT] |sort -nr 通过这样的方式,可以搜出以 G 或者 T 为单位的占用磁盘空间的大目录...很多时候,你会发现,通过 find 或 du 查半天,发现所有加起来的占用空间,和 df 看到的磁盘空间占用,相差很大,就比如我上面的两张图 通过 df 查看,磁盘使用 37G,但是在根目录下通过 du...还有一种经常有人问的问题,就是,通过 df 查看到的磁盘 会发现,Used 和 Avail 加起来不够 Size,莫名被吃掉一部分 其实这是 Linux 文件系统的一种安全策略,它默认会为 root...用户保留 5% 的磁盘空间,留作紧急情况使用。

    3.3K20

    Linux 磁盘满了,文件删除没效果,罪魁竟是它!

    下午忽然群里有人圈我,说有一台Linux服务器的某个目录爆了。 第一时间上去看了一下,部署了一台Tomcat。logs目录存了几个G的数据,果断把最近几天之外的数据全部清理了。...转过来再看磁盘占用,发现没变化。 怀疑是会话问题,把putty关了重新连接上去。 还是一样的问题...... 思考了半杯咖啡的时间,忽然灵光一现。...想起Linux有个句柄,大概意思是:比如你把日志文件删除了,但拿着句柄的进程还在运行,占用的空间就不会减少。 那怎么办呢? 有两个办法: 1....(成本高不推荐)重启Linux系统. 如果遇到类似磁盘占用问题,也可以考虑是否为句柄问题。

    87710

    磁盘又双叒叕满了~

    磁盘满告警 某天收到的自动告警短信或者邮件告诉我某机器上的磁盘满了,赶紧登录机器查看。 其实,这都应该定时巡检自动化处理的。...磁盘满告警,又来了 然而,大约xx天后,发现该机器磁盘又满了,惊呼奇怪咋这么快又满了。...rm 其实是删除该文件名到文件真正保存到磁盘位置的链接,此时该文件句柄还被服务A打开,因此对应的磁盘空间并没有被系统回收。...为什么1个字节的文件需要占用8个 block 呢, 可以这样理解, block 为磁盘存储的基本的单位,方便磁盘寻址等(这里说的基本单位应该是磁盘物理结构单位例如一个扇区/柱面等,对应一个物理单位)。...注意以下例子为 Linux version 2.6.32 (Red Hat 4.4.7)中运行结果, 且在 Mac 中并不能复现(后文有指出为什么我的Mac不能复现)。

    1.7K40

    c盘满了怎么办

    c盘满了怎么办 当 C: 盘满了,电脑会变慢、更新失败,有些程序可能会停止工作。这在 Windows 笔记本和台式机上很常见。好消息是,你可以通过几个安全的步骤来解决。...检查磁盘使用情况 打开文件资源管理器,点击“此电脑”。看一下 C: 盘已用和可用空间。右键 C: 选择“属性”可以看到饼图和更多细节。...运行磁盘清理并删除临时文件 使用系统自带的磁盘清理工具。搜索“磁盘清理”,选择 C:,然后勾选临时文件、回收站和以前的 Windows 安装(如果不再需要)。点击“清理系统文件”会有更多选项。...先检查磁盘使用情况,运行磁盘清理,卸载不用的应用,移动个人文件,减少还原点占用。必要时查找并删除大文件或重复文件,或升级硬盘。按上面步骤试一遍,先告诉我你先做了哪一步,或者检查存储时看到什么。...清理后还是没空间怎么办? 如果清理后空间还是不足,检查是否有隐藏的大文件、旧用户账户或像 Windows.old 这样的系统文件。考虑加外接硬盘或升级内置硬盘容量。

    47210

    c盘满了怎么办

    c盘满了怎么办 当 C: 盘满了,电脑会变慢、更新失败,有些程序可能会停止工作。这在 Windows 笔记本和台式机上很常见。好消息是,你可以通过几个安全的步骤来解决。...检查磁盘使用情况 打开文件资源管理器,点击“此电脑”。看一下 C: 盘已用和可用空间。右键 C: 选择“属性”可以看到饼图和更多细节。...运行磁盘清理并删除临时文件 使用系统自带的磁盘清理工具。搜索“磁盘清理”,选择 C:,然后勾选临时文件、回收站和以前的 Windows 安装(如果不再需要)。点击“清理系统文件”会有更多选项。...先检查磁盘使用情况,运行磁盘清理,卸载不用的应用,移动个人文件,减少还原点占用。必要时查找并删除大文件或重复文件,或升级硬盘。按上面步骤试一遍,先告诉我你先做了哪一步,或者检查存储时看到什么。...清理后还是没空间怎么办? 如果清理后空间还是不足,检查是否有隐藏的大文件、旧用户账户或像 Windows.old 这样的系统文件。考虑加外接硬盘或升级内置硬盘容量。

    82800

    如果mysql磁盘满了,会发生什么?

    作者:会飞的猪 来源:https://testerhome.com/topics/23049 使用命令发现磁盘使用率为100%了,还剩几十兆。...一系列神操作 备份数据库,删除实例、删除数据库表、重启mysql服务,结果磁盘空间均没有释放。 怎么办 网上查了很多资源,说要进行磁盘碎片化整理。原因是datafree占据的空间太多啦。...正在这时,有个不好的消息发生了,那张表格给删掉了,但是磁盘空间还是没有释放啊。 所以对表进行碎片化整理的路也走不通了,因为表没了........./abc 5、重新启动mysql 发现磁盘空间释放了 service mysql start 磁盘空间终于释放了 下一步数据库还原 1、采用navicate备份工具,进行数据库备份 ?...就形成了碎片; (3)当MySQL对数据进行扫描时,它扫描的对象实际是列表的容量需求上限,也就是数据被写入的区域中处于峰值位置的部分; 清除碎片的优点 降低访问表时的IO,提高mysql性能,释放表空间降低磁盘空间使用率

    2.2K20

    windows c盘满了怎么办

    windows c盘满了怎么办 如果你的 windows c: 驱动器已满, 电脑会变慢, 无法安装更新, 或者无法保存文件, 不要慌, 先检查是什么占用了空间, 删除或移动不必要的文件, 这篇简短的指南给出安全可行的步骤..., 使用系统自带工具和一些简单的选择, 按顺序操作, 检查磁盘使用情况, 删除临时和重复文件, 卸载不常用程序, 把大媒体或游戏移到别的盘, 最后调整系统设置防止问题重现, 这些步骤容易上手, 不需要高级技术...检查是什么在占用空间 打开设置 系统 存储, 或者在文件资源管理器里右键 c: 选择属性, 存储视图会显示应用 系统文件 文档 图片 临时文件等类别, 记录哪个类别占用最多空间, 你也可以用自带的磁盘清理...删除临时文件并清空回收站 在存储设置里运行清理建议, 或用磁盘清理删除临时文件, 删除后清空回收站才能实际释放空间, 如果经常用网页应用, 在浏览器设置里清除缓存, 这些操作常常能快速且安全地释放几 GB...管理系统还原点和分页文件 系统还原点和分页文件会占空间, 限制还原使用量, 搜索创建还原点 配置, 降低备份点占用的磁盘空间, 不要随意关闭分页文件, 除非你很清楚后果, 更好的做法是保留默认设置 或者在系统

    48310
    领券