你的浏览器版本过低,可能导致网站不能正常访问!
为了你能正常使用网站功能,请使用这些浏览器。

教你将Linux 大文件处理小

[复制链接]
gaosmile 发布时间:2020-9-24 22:53
1.背景
工作中使用MapReduce任务导出一批含有路径的文件,共计行数300W+,需要检测文件是否在对应的服务器中存在,而文件所在的服务器并非hadoop集群的服务器,因此打算采用bash脚本进行。具体的方法如下(可直接看方法2,方法1效率较低):
2. 采用的方法
a. 方法1
原本打算使用如下脚本,进行简单验证:

  1. 1 R1 R  y3 d2 U
  2. !/bin/bash& \: l$ v8 Y* r* x
  3. count=0
    7 i* P; t) |$ V  V! R4 A6 {
  4. cat oriTest.txt | while read data
    , [3 \& r7 Y! h8 a; s. P2 K
  5. do) N2 [! {& k1 e5 i7 I
  6. count=$(( $count+1 ))+ T/ w& S$ g+ X6 u. T
  7. echo $count
    & n. y7 t6 L) y2 Z
  8. dir=echo "$data" | awk -F "\t" '{print $5}'1 W( l0 T; w+ Z$ V, J
  9. if [ -e $dir ];then
    " I$ K5 b- F4 |  U7 P  r
  10. echo "$data" >> exist.txt
    % Y' O! i+ b6 {: o* u& ~+ J
  11. else
    / ]) B) {) O1 T6 i9 E& V* R
  12. echo "$data" >> noexist.txt+ a) X+ U. h' y, z3 U5 \; E0 {
  13. fi) X/ W. i9 B; |! Z% G! Q
  14. done
复制代码
3 ~1 Z" N- U5 g; S  g% R% H
原始数据格式如下:
3 H. N" G; F! q! |9 e
name mark id dir
运行时发现处理5000行需要将近4、5分钟的时间(机器为8核),果断不行啊,随后打算采用多进程的方法来执行,见方法2
b. 方法2
主要是通过将大文件分为小文件,然后对小文件进行后台遍历读取,脚本如下:

  1. " [, q- F: Z; v
  2. !/bin/bash
    / t4 Z8 i& W" w2 w7 p- o/ [  l
  3. source ~/.bashrc
复制代码
8 C$ A, H( M* Z) c0 w6 ?3 [, f
判断路径是否存在
  1. # ?1 J' w& [2 H, X
  2. readdata(){
    9 n0 o( t- ~6 @' J$ h
  3. cat $1 | while read data
    # a! Y* b' `6 g$ F1 b/ ^: @
  4. do* }( E2 M7 l2 U+ D# _: F6 ?6 @3 c, c
  5. dir=echo "$data" | awk -F "\t" '{print $5}'. Q* N: {8 f+ K1 v: j: o
  6. if [ -e $dir ];then
    " P# T/ t/ T) `; [) B, Z& F% k
  7. echo "$data" >> "exist_$1.txt"
    2 J" N( o# ~! m7 v' F& @4 t
  8. else
    " F! S' |, ^# a+ `. `0 k6 j
  9. echo "$data" >> "noexist_$1.txt": n6 p# v, i9 K/ b( o- M
  10. fi
    1 l$ h0 Z$ ]# Z" q
  11. done0 S7 @1 D! H" e
  12. }
复制代码
' g% u9 r/ R: ]* s3 x

5 \/ r2 w: y3 C1 L. }2 ~9 g6 n大文件切分为小文件,生成文件名为xaa,axb等(可以自己命名文件)
split -l 10000 oriTest.txt
declare -a files # 声明数组
files=($(ls x*)) # 分割后的小文件名保存数组
遍历,并后台执行/ D8 t$ |  @% @+ k

  1. 6 `) f0 F4 L( D' X
  2. for i in ${files[@]};do$ Q* f6 j+ x7 v& Y( K
  3. echo $i
    ) I0 L/ U# Y; D9 b- q+ C
  4. readdata $i &
    9 t0 A" k# B* ^3 R" v5 w
  5. done
复制代码
8 H" w2 n3 E' I7 s# a( G# P
) G0 w* i0 @, o, c" y2 J
赞 收藏 评论0 发布时间:2020-9-24 22:53

举报

0个回答
关于
我们是谁
投资者关系
意法半导体可持续发展举措
创新与技术
意法半导体官网
联系我们
联系ST分支机构
寻找销售人员和分销渠道
社区
媒体中心
活动与培训
隐私策略
隐私策略
Cookies管理
行使您的权利
官方最新发布
人形机器人运动控制、感知与智能配电
半导体创新技术与应用方向
EE架构与软件定义汽车
12V/48V 汽车智能配电(SPD)
区域控制单元(ZCU)与分区架构
关注我们
st-img 微信公众号
st-img 手机版