热门标签 | HotTags
当前位置:  开发笔记 > 运维 > 正文

awk对多个接近100g的文件进行去重

a.txt和b.txt一个90gb 一个80gb我的机器只有32G的内存目前用的办法是搜来的1awk '!a[$0]++' a.txt b.txt > c.txt然后没几分钟内存直接撑爆大概c.txt

a.txt和b.txt一个90gb 一个80gb
我的机器只有32G的内存
目前用的办法是搜来的

1
awk '!a[$0]++' a.txt b.txt > c.txt

然后没几分钟内存直接撑爆
大概c.txt生成到9个G左右,awk的cpu占用率变成0% 再也不动了
请教下有没有办法解决


推荐阅读
author-avatar
Less哒哒_288
这个家伙很懒,什么也没留下!
PHP1.CN | 中国最专业的PHP中文社区 | DevBox开发工具箱 | json解析格式化 |PHP资讯 | PHP教程 | 数据库技术 | 服务器技术 | 前端开发技术 | PHP框架 | 开发工具 | 在线工具
Copyright © 1998 - 2020 PHP1.CN. All Rights Reserved | 京公网安备 11010802041100号 | 京ICP备19059560号-4 | PHP1.CN 第一PHP社区 版权所有