首页
学习
活动
专区
圈层
工具
发布

Linux删除重复文件

引言 在Linux系统处理数据时,经常会遇到删除重复文件的问题。例如,在进行图片分类任务时,希望删除训练数据中的重复图片。在Linux系统中,存在一个fdupes命令可以查找并删除重复文件。 2....Fdupes介绍 Fdupes是Adrian Lopez用C语言编写的Linux实用程序,它能够在给定的目录和子目录集中找到重复文件,Fdupes通过比较文件的MD5签名然后进行字节比较来识别重复文件。...安装fdupes 以CentOS系统为例,fdupes的安装命令为: sudo yum install -y fdupes 4. fdupes的使用 删除重复文件,并且不需要询问用户: $ fdupes...-dN [folder_name] 其中,-d参数表示保留一个文件,并删除其它重复文件,-N与-d一起使用,表示保留第一个重复文件并删除其它重复文件,不需要提示用户。.../ https://www.howtoing.com/fdupes-find-and-delete-duplicate-files-in-linux http://www.runoob.com/linux

18.4K20
  • 您找到你想要的搜索结果了吗?
    是的
    没有找到

    Linux 恢复删除的文件

    Linux 下的命令可谓繁多,但属rm最让人痛并快乐。今天,我分享下针对rm的后悔良药testdisk。...当你在 Linux 系统上删除一个文件时,它不一定(嗯,是不一定~)会永远消失,特别是当你最近才刚刚删除了它的时候。而恢复已删除文件的最佳工具之一testdisk可以帮助你拯救它。...虽然testdisk具有广泛的功能,包括恢复丢失或损坏的分区和使不能启动磁盘可以重新启动,但它也经常被用来恢复被误删的文件。...有趣的是,它不仅是一个 Linux 工具,而且还适用于 MacOS、Solaris 和 Windows。文档可在 https://www.cgsecurity.org 中找到。...安装# debianapt install testdisk# centosyum install testdisk恢复文件cd /mnt/recoverytestdisk /dev/sdb2然后,一路默认选项

    18.2K20

    Linux删除文件过程解析

    概述 ---- 当我们执行rm命令删除一个文件的时候,在操作系统底层究竟会发生些什么事情呢,带着这个疑问,我们在Linux-3.10.104内核下对ext4文件系统下的rm操作进行分析。...源码分析 ---- rm命令是GNU coreutils里的一个命令,在对一个文件进行删除时,它实际上调用了Linux的unlink系统调用,unlink系统调用在内核中的定义如下: SYSCALL_DEFINE1...内核分析的相关书籍,如Robert Love的《Linux内核设计与实现》一书。...由此可知,要删除的文件越大,涉及到的日志更新操作就越频繁,所以直接rm一个大文件时,大量的日志更新操作将会影响到其他进程的I/O性能。...由此可见,在对大文件进行删除时,为了避免对其他I/O密集型应用的影响,不应该直接用rm对其删除,而应该采用其他方法。

    18.2K22

    Linux编程之删除文件时排除某个文件

    文章目录 导读 实验 C语言Linux编程实现 导读 有时候我们在Linux下删除某个文件夹内的所有文件时需要排除一些文件。...2、按照查询的结果进行删除 直接通过ls或者find命令可以查看某个目录中的所有文件,我们发现 [root@TrueDei test]# ls ./* ....如果需要排除我们不想要的数据的话,Linux也提供了一个egrep命令; # 查看所有的文件 [root@TrueDei test]# ls ./* ./a.txt ./b.txt ..../config: [root@TrueDei test]# [root@TrueDei test]# 配合rm命令进行删除 # 我们直接使用rm命令是有时候还询问是否删除等信息。.../config: setting.ini [root@TrueDei test]# C语言Linux编程实现 通过C语言提供的system函数可以使用shell命令进行操作。

    3K30

    Linux入门 | 查看文件位置、移动及删除文件

    Linux入门 | 查看文件位置、移动及删除文件 作为科研工作者,熟练掌握Linux操作系统不仅能够提升数据处理、编程开发等任务的效率,更是许多科研软件和计算环境的基础。...本文将带你走进Linux的世界,从最基础的命令入手,帮助初学者快速搭建起Linux操作的知识框架,为科研之路打下坚实基础。...ls abc.txt test 7. rm:慎用的删除指令 rm命令用于删除文件或目录。注意,一旦执行删除操作,数据通常无法恢复,因此在使用时务必谨慎。...基本用法为rm 文件名或rm -r 目录名(递归删除目录及其内容)。为防止误删重要文件,建议结合-i选项(交互式删除)或在删除前使用ls确认目标。 In [16]: !rm abc.txt !...ls test 删除文件,确认后再执行 In [23]: !rm -i abc.txt !ls rm: remove regular empty file 'abc.txt'?

    3.1K10

    linux中删除特殊文件

    常用的几种方法 删除时带上路径 删除时使用 -- 删除时用引号引起来 使用转义字符辅助删除 按照i节点号删除 使用通配符删除 创建一个特殊文件 > echo "123" > -rumenz.txt >.../就可以成功删除 使用--删除-rumenz.txt文件 > rm -rf -- -rumenz.txt 成功删除 删除时用引号引起来 对于特殊字符,如!*等组成的文件如何删除呢?,创建\!...*的文件就不能通过这样的方式删除,因为!*是有其他含义的,可以使用转义删除 增加转义字符删除文件 既然!*无法通过加引号的方式删除,那还有什么办法吗?有!...*.txt 按照i节点号删除 很多时候,文件名压根没法输入,因为它们都是一堆乱码。我们可以使用inode删除 在操作系统中,它是如何识别一个文件的呢?..../ -inum 12345 -exec rm {}\; 通配符删除所有文件 > rm *.txt 直接匹配txt删除,容易误删,删除前考虑清楚。

    6K20

    linux中删除特殊文件

    ### 常用的几种方法 - 删除时带上路径 - 删除时使用 -- - 删除时用引号引起来 - 使用转义字符辅助删除 - 按照i节点号删除 - 使用通配符删除 ### 创建一个特殊文件 ``` >...*`等组成的文件如何删除呢?,创建`\!*.txt`文件 ``` > echo "123" > "\!...*`的文件就不能通过这样的方式删除,因为`!*`是有其他含义的,可以使用转义删除 ### 增加转义字符删除文件 > 既然`!*`无法通过加引号的方式删除,那还有什么办法吗?有`!...*.txt ``` ### 按照i节点号删除 > 很多时候,文件名压根没法输入,因为它们都是一堆乱码。我们可以使用`inode`删除 > 在操作系统中,它是如何识别一个文件的呢?...原文链接:https://rumenz.com/rumenbiji/linux-rm-special-files.html

    6.8K00
    领券