简单实现大文件的排序和去重-linux运维-PHP中文网

简单实现大文件的排序和去重

巴扎黑

发布： 2017-09-04 14:28:59

原创

4636人浏览过

有一道校招生的面试题，是要给一个很大的文件（不能全部放内存，比如1t）按行来排序和去重。

一种简单解决方案就是分而治之，先打大文件分词大小均匀的若干个小文件，然后对小文件排好序，最后再Merge所有的小文件，在Merge的过程中去掉重复的内容。

在Linux下实现这个逻辑甚至不用自己写代码，只要用shell内置的一些命令: split, sort就足够了。我们把这个流程用脚本串起来，写到shell脚本文件里。文件名叫sort_uniq.sh.

#!/bin/bash
lines=$(wc -l $1 | sed 's/ .*//g')
lines_per_file=`expr $lines / 20`
split -d -l $lines_per_file $1 __part_$1
for file in __part_*
do
{
  sort $file > sort_$file
} &
done
wait
sort -smu sort_* > $2
rm -f __part_*
rm -f sort_*

登录后复制

使用方法：./sort_uniq.sh file_to_be_sort file_sorted

Metronic Bootstrap后台模板

Metronic是一套精美的响应式后台管理模板，基于强大的Twitter Bootstrap框架实现。Metronic拥有简洁优雅的Metro UI风格界面，自适应屏幕分辨率大小，兼容PC端和手机移动端。全套模板，包含仪表盘、侧边栏菜单、布局宣传片、电子邮件模板、UI特性、按钮、标签、表格布局、表单组件、多文件上传、悬浮窗文件上传、时间表、博客、新闻、关于我们、联系我们、日历、用户配置文件、锁屏、