linux删除_Linux下如何快速删除大量碎小的文件？

XX系统&＃xff0c;通过FTP给客户实时传送文件&＃xff0c;正常逻辑是客户收到文件后&＃xff0c;自动删除FTP服务器上的本地文件&＃xff0c;但经常出现文件已经推送了&＃xff0c;客户没删除文件的情况。每个文件其实是很小的&＃xff0c;可能几K&＃xff0c;但是量很大&＃xff0c;1天几万个&＃xff0c;以至于时间久了&＃xff0c;本地积的文件就会很多。我们不说让客户怎么排查问题&＃xff0c;单就这个现象&＃xff0c;如果积了几百万的小文件&＃xff0c;我们能做些什么&＃xff1f;你可能会说&＃xff0c;删了啊&＃xff0c;确实应该删了&＃xff0c;但是小文件多了&＃xff0c;会产生什么影响&＃xff1f;如果直接rm&＃xff0c;你认为行么&＃xff1f;

颜总这篇小文&＃xff0c;就是介绍了针对这种情况的操作&＃xff0c;《Linux如何快速删除大量碎小文件&＃xff1f;》&＃xff0c;受益匪浅。

Linux文件系统容量分为大小容量和inode容量&＃xff0c;前者限制大小&＃xff0c;后者限制数量。

使用df -h&＃xff0c;查看大小容量使用情况。
使用df -i&＃xff0c;查看inode容量使用情。

当我们遇到文件系统容量爆满&＃xff0c;首先快速定位&＃xff0c;

du -a /data |sort -nr|head -n 10

2. 统计指定目录下文件数

ls -Rf1 /data |grep &＃39;^-&＃39; |wc -l
举个例子&＃xff0c;某系统巡检中发现inode空间爆满(df -ih)&＃xff0c;

/dev/mapper/red-root 550G 550G 20K 100% /

通常&＃xff0c;监控工具只关注大小容量空间使用情况&＃xff0c;很少关注inode空间。

ls: memory exhausted

很显然&＃xff0c;在问题目录ls命令已经无法将所有文件列出来。因为ls默认会对文件按首字母排序&＃xff0c;而排序过程需要消耗内存&＃xff0c;文件非常多的时候&＃xff0c;对内存的消耗是非常恐怖的。

ls -f1 ./* > ~/clear.log输出完文件后&＃xff0c;产生一个5G的文件&＃xff0c;

-rw-r--r-- 1 oradba oinstall 5533944289 Jan 10 14:53 clear.log可见该目录下文件极多&＃xff0c;wc -l clear.log统计&＃xff0c;得到文件数约2亿。

由于文件过大&＃xff0c;无法查看并使用&＃xff0c;如下使用split命令将该文件切分成每一个500Mb。

split -b 500M clear.log -d -a 3 clear.log注&＃xff1a;-b按照大小切分&＃xff0c; -n按照制定行数切分。

分割后&＃xff1a;

编写脚本&＃xff0c;按照文件批量删除&＃xff0c;

[root&＃64;localhost ~]$ cat clear.sh#!/bin/bashfor i in &＃96;cat clear000&＃96;dorm -rf ./$idoneecho "complete!"替换脚本中clear000依次将所有文件删除&＃xff0c;完成清理工作。

另一种方案&＃xff0c;

ls -f1 ./* | head -n 1000 | xargs rm -f

说到这里&＃xff0c;可能有同学会说&＃xff0c;为什么不在问题目录下rm -rf ./* 呢&＃xff1f;

这里提一下./*的工作原理&＃xff0c;他将目录下所有文件名串接到rm -rf后边。像这样&＃xff1a;

rm -rf a b c d e f ...

如上&＃xff0c;这是一条shell指令。不幸的是无论unix&＃xff0c;还是linux&＃xff0c;都对单条命令长度有最大限制。

AIX操作系统受参数ARG_MAX的限制&＃xff0c;getconf arg_max查询。
Linux操作系统受参数LINE_MAX的限制&＃xff0c;getconf line_max查询。

近期的热文&＃xff1a;

《YNWA&＃xff0c;同样是我们普通人的鞭策》

《小白是怎么搞懂GC全过程&＃xff1f;》

《Gdevops峰会&＃xff1a;一起探讨国产分布式数据库的选型与应用》

《海底的下面究竟有什么&＃xff1f;》

《几种去重的SQL写法》

《打造国产技术产品的必要性》

《SQL查询总是先执行SELECT语句么&＃xff1f;》

《Oracle删除字段的方式和风险&＃xff0c;你都了解么&＃xff1f;》

《最烧脑的珠峰高程测算过程》

《了解阿克曼转向原理的作用》

《登录缓慢的诡异问题》

《不可不知的7个JDK命令》

《一个Full GC次数过多导致系统CPU 100%的案例排查》

《Java GC的基础知识》

《Linux下的^M困惑》

《Oracle相关提问的智慧技巧》

《很久以前的一篇对初学Oracle建议的文章》

《PLSQL Developer几个可能的隐患》

《从70万字SRE神作提炼出的7千字精华文章》

《从数据误删到全量恢复的惊险记录》
《公众号600篇文章分类和索引》