1.背景

工作中使用MapReduce任务导出一批含有路径的文件，共计行数300W+，需要检测文件是否在对应的服务器中存在，而文件所在的服务器并非hadoop集群的服务器，因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低)：

2. 采用的方法

a. 方法1

原本打算使用如下脚本，进行简单验证：

1. 
   
2. !/bin/bash
   
3. count=0
   . U/ }$ N1 [- s- a: Q! Z
4. cat oriTest.txt | while read data
   
5. do
   
6. count=$(( $count+1 ))
   : I5 a: s2 g0 s* H
7. echo $count
   3 D; u7 V& {  r6 d$ m9 H
8. dir=echo "$data" | awk -F "\t" '{print $5}'
   
9. if [ -e $dir ];then
   1 H0 h8 S# k0 W
10. echo "$data" >> exist.txt
    
11. else
    
12. echo "$data" >> noexist.txt
    
13. fi
    # p) K# z5 Y% t: F, }$ F! Q4 c
14. done

复制代码

原始数据格式如下：
$ W$ g  k' k9 A. B

name mark id dir

运行时发现处理5000行需要将近4、5分钟的时间(机器为8核)，果断不行啊，随后打算采用多进程的方法来执行，见方法2

b. 方法2

主要是通过将大文件分为小文件，然后对小文件进行后台遍历读取，脚本如下：

1. 
   ; X. r9 s8 l, K7 {0 s" X
2. !/bin/bash
   ; ?- c0 J( z$ k1 b0 g' ?5 w, L
3. source ~/.bashrc

复制代码

$ \+ Y5 i" d, R5 y; t8 X

判断路径是否存在

1. 
   ' ~) W; q- i2 _: P
2. readdata(){
   4 o6 s+ q- [# X* x% U1 V7 k4 a
3. cat $1 | while read data
   1 ]; \5 W* z' M- C9 R
4. do
   ' n( m% E* I& Z/ y
5. dir=echo "$data" | awk -F "\t" '{print $5}'
   
6. if [ -e $dir ];then
   
7. echo "$data" >> "exist_$1.txt"
   
8. else
   
9. echo "$data" >> "noexist_$1.txt"
   9 R8 g' W5 u) B7 [8 y2 a- G& Y# Y
10. fi
    
11. done
    
12. }

复制代码

, H5 z* [1 S8 l& E
大文件切分为小文件，生成文件名为xaa,axb等(可以自己命名文件)

split -l 10000 oriTest.txt

declare -a files # 声明数组

files=($(ls x*)) # 分割后的小文件名保存数组

遍历，并后台执行

1. 
   7 w9 Y) j) h5 \. K0 }
2. for i in ${files[@]};do
   
3. echo $i
   
4. readdata $i &
   
5. done

复制代码

% B# w: n1 E7 f5 Z
9 b* q5 W- ~$ a% s  |* H5 f0 e