今天我们来测试一下Linux下面删除大量文件的效率。

( \; @# b0 D4 D- _3 N$ B3 m& S

首先建立50万个文件

1. 
   1 ]+ O: \. `* H3 b
2. $ test   for i in $(seq 1 500000);do echo text >>$i.txt;done

复制代码

. Z. c4 d3 G6 [% `2 t

1.   rm删除

1. 
   
2. $ time rm -f *
   
3. zsh: sure you want to delete all the files in /home/hungerr/test [yn]? y
   
4. zsh: argument list too long: rm
   
5. rm -f *  3.63s user 0.29s system 98% cpu 3.985 total
   
6. 由于文件数量过多，rm不起作用。

复制代码

5 i3 n. y  D5 `# b: j* [

2.  find删除

1. 
   ! p* O' Q4 {3 y& L" e
2. $ time find ./ -type f -exec rm {} \;
   
3. find ./ -type f -exec rm {} \;  49.86s user 1032.13s system 41% cpu 43:19.17 total
   
4. 大概43分钟,我的电脑。。。。。。边看视频边删的。

复制代码

3.  find with delete

1. 
   ' t% k: D" n" L* E: U# b
2. $ time find ./ -type f -delete
   
3. find ./ -type f -delete  0.43s user 11.21s system 2% cpu 9:13.38 total
   - H, {: ]+ f- w8 W7 Q7 p0 J
4. 用时9分钟。

复制代码

4.  rsync删除

1. 
   : W: ^5 m* i* ~( j$ a3 `
2. # 首先建立空文件夹blanktest
   
3. $ time rsync -a --delete blanktest/ test/
   * A1 ]' A, w3 A$ X; q
4. rsync -a --delete blanktest/ test/  0.59s user 7.86s system 51% cpu 16.418 total
   
5. 16s，很好很强大。

复制代码

# H* K1 M) h% p& n7 z/ h

5.  Python删除

1. 
   6 u/ n- S8 n1 _0 d" z- z
2. import os
   
3. import timeit
   5 u2 e+ Y; _7 l4 P* e+ o* w
4. def main():
   & @) d- _$ [& R+ x' U$ {
5.     for pathname,dirnames,filenames in os.walk('/home/username/test'):
   - M+ k( O  `9 G, |/ u+ ]8 R9 Y
6.         for filename in filenames:
   4 U  D- M# r; _; U: x& W; B
7.             file=os.path.join(pathname,filename)
   
8.             os.remove(file)
   
9.             
   
10. if __name__=='__main__':
    ' W3 s& c2 [4 h& P6 K
11. t=timeit.Timer('main()','from __main__ import main')
    ' r8 U5 P0 _  P
12. print t.timeit(1)　　
    ! \$ R1 J! V  W2 @$ p$ s) Z
13. 1
    
14. 2
    
15. $ python test.py
    ; h" [1 R- W$ \( p5 [9 O  b
16. 529.309022903
    
17. 大概用时9分钟。

复制代码

# I; v: t6 |8 Y$ W) _% j3 {

6.  Perl删除

1. 
   
2. $ time perl -e 'for(<*>){((stat)[9]<(unlink))}'
   " E' n) A( y9 `5 \: I$ m6 r
3. perl -e 'for(<*>){((stat)[9]<(unlink))}'  1.28s user 7.23s system 50% cpu 16.784 total
   + s, @9 F5 I' Q$ q3 p1 w% P6 l
4. 16s，这个应该最快了。

复制代码

% [/ |; P- `' z/ R; x4 k

7、结果：

1. <font face="Tahoma">
   
2. rm：文件数量太多，不可用
   
3. find with -exec 50万文件耗时43分钟
   2 |4 V0 t6 H3 }
4. find with -delete 9分钟
   
5. Perl  16s
   
6. Python 9分钟
   
7. rsync with -delete  16s</font>

复制代码

结论：删除大量小文件rsync最快，最方便。
3 z+ p) D; e0 r! n4 x% ]! i