|
1.背景 工作中使用MapReduce任务导出一批含有路径的文件,共计行数300W+,需要检测文件是否在对应的服务器中存在,而文件所在的服务器并非hadoop集群的服务器,因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低): 2. 采用的方法 a. 方法1 原本打算使用如下脚本,进行简单验证:
1 R1 R y3 d2 U- !/bin/bash& \: l$ v8 Y* r* x
- count=0
7 i* P; t) |$ V V! R4 A6 { - cat oriTest.txt | while read data
, [3 \& r7 Y! h8 a; s. P2 K - do) N2 [! {& k1 e5 i7 I
- count=$(( $count+1 ))+ T/ w& S$ g+ X6 u. T
- echo $count
& n. y7 t6 L) y2 Z - dir=echo "$data" | awk -F "\t" '{print $5}'1 W( l0 T; w+ Z$ V, J
- if [ -e $dir ];then
" I$ K5 b- F4 | U7 P r - echo "$data" >> exist.txt
% Y' O! i+ b6 {: o* u& ~+ J - else
/ ]) B) {) O1 T6 i9 E& V* R - echo "$data" >> noexist.txt+ a) X+ U. h' y, z3 U5 \; E0 {
- fi) X/ W. i9 B; |! Z% G! Q
- done
复制代码3 ~1 Z" N- U5 g; S g% R% H
原始数据格式如下:
3 H. N" G; F! q! |9 e name mark id dir 运行时发现处理5000行需要将近4、5分钟的时间(机器为8核),果断不行啊,随后打算采用多进程的方法来执行,见方法2 b. 方法2 主要是通过将大文件分为小文件,然后对小文件进行后台遍历读取,脚本如下:
" [, q- F: Z; v- !/bin/bash
/ t4 Z8 i& W" w2 w7 p- o/ [ l - source ~/.bashrc
复制代码8 C$ A, H( M* Z) c0 w6 ?3 [, f
判断路径是否存在- # ?1 J' w& [2 H, X
- readdata(){
9 n0 o( t- ~6 @' J$ h - cat $1 | while read data
# a! Y* b' `6 g$ F1 b/ ^: @ - do* }( E2 M7 l2 U+ D# _: F6 ?6 @3 c, c
- dir=echo "$data" | awk -F "\t" '{print $5}'. Q* N: {8 f+ K1 v: j: o
- if [ -e $dir ];then
" P# T/ t/ T) `; [) B, Z& F% k - echo "$data" >> "exist_$1.txt"
2 J" N( o# ~! m7 v' F& @4 t - else
" F! S' |, ^# a+ `. `0 k6 j - echo "$data" >> "noexist_$1.txt": n6 p# v, i9 K/ b( o- M
- fi
1 l$ h0 Z$ ]# Z" q - done0 S7 @1 D! H" e
- }
复制代码 ' g% u9 r/ R: ]* s3 x
5 \/ r2 w: y3 C1 L. }2 ~9 g6 n大文件切分为小文件,生成文件名为xaa,axb等(可以自己命名文件)split -l 10000 oriTest.txt declare -a files # 声明数组 files=($(ls x*)) # 分割后的小文件名保存数组 遍历,并后台执行/ D8 t$ | @% @+ k
6 `) f0 F4 L( D' X- for i in ${files[@]};do$ Q* f6 j+ x7 v& Y( K
- echo $i
) I0 L/ U# Y; D9 b- q+ C - readdata $i &
9 t0 A" k# B* ^3 R" v5 w - done
复制代码 8 H" w2 n3 E' I7 s# a( G# P
) G0 w* i0 @, o, c" y2 J
|