这是一个创建于 3278 天前的主题,其中的信息可能已经有所发展或是发生改变。
例如,以 GB 为单位的文本文件,内容为纪录条目
1)对文件里面的条目去重,仅保留不重复的内容
2)切割文件,例如只保留最后 1/3 或 最后 1/2 体积的内容
使用uniq sort 等系统自带命令
2 条回复 • 2015-07-06 11:50:34 +08:00
![msg7086](https://cdn.v2ex.com/avatar/4dfa/8c1c/38436_normal.png?m=1560377701) |
|
1
msg7086 2015-07-06 05:58:07 +08:00
切割可以 head / tail。 去重需要 sort + uniq 要看内存有多大了吧。
|
![tanywei](https://cdn.v2ex.com/avatar/9f85/5684/42618_normal.png?m=1464760086) |
|
2
tanywei 2015-07-06 11:50:34 +08:00
python yield
|