分享大量数据去重的方法，顺便问下 python 内存占用问题

import time

start_time = time.time()
lines = []


md5s = {}
for x in 'abcdef1234567890':
    for y in 'abcdef1234567890':
        for z in 'abcdef1234567890':
            md5s[x + y + z] = set()

with open('files.txt', 'r', encoding = 'utf-8') as f:
    for i, line in enumerate(f):
        try:
            if i % 10000 == 0:
                print(i)
            md5 = line.split('|')[3]
            key = md5[:3]
            if md5 not in md5s[key]:
                md5s[key].add(md5)
                lines.append(line)
                if len(lines) > 10000:
                    with open('new.txt', 'a', encoding = 'utf-8') as f:
                        f.write(''.join(lines))
                    lines = []
        except Exception as e:
            print(e)
            print(line)

with open('new.txt', 'a', encoding = 'utf-8') as f:
    f.write(''.join(lines))
lines = []

print((time.time() - start_time) / 60)

第 1 条附言 · 2016-04-19 08:02:18 +08:00

统一感谢大家的回复，另外可能我没描述清楚，要去重的文本文件是一个多字段的 csv 文件，其中 md5 字段作为去重依据。

第 2 条附言 · 2016-04-19 08:41:00 +08:00

@binux 已经测试 md5 分组没有意义， x in set 是 O(1)，不分组速度更快 7 分钟左右，内存占用也少一些，代码就不再贴了去掉分组相关的部分就可以。
看来是该好好补补数据结构了。

md5

lines

md5s

34 条回复 • 2016-04-20 21:43:29 +08:00

loading

2016-04-18 22:12:54 +08:00

使用 SQLite 内存模式比你使用 txt 快很多，而且数据库去重很方便。

decaywood

2016-04-18 22:30:04 +08:00

如果要自己造轮子，一般解决方案是 hash 取余到多个文件，分别去重然后进行归并，这样就不存在内存耗尽问题了

binux

2016-04-18 23:21:45 +08:00

缓存 lines 的意义何在？
把 md5 分组意义何在？ x in set 是 O(1) 的

sicklife

2016-04-18 23:29:08 +08:00

redis

yzongyue

2016-04-18 23:31:58 +08:00

md5s = {} 这个字典会越来越大，这个问题要不要试试 hadoop ?

SlipStupig

2016-04-18 23:40:00 +08:00

费这个力气干嘛，有更简单解决访问方案啊！
with open('ufiles.txt', 'r') as f:
with contextlib.closing(mmap.mmap(f.fileno(), 0, access=mmap.ACCESS_READ)as m:
with open(‘ object.txt ’, 'wb') as new_file:
new_file.wirtelines(list(set(list)))

glasslion

2016-04-19 00:13:36 +08:00

md5 做 hash 有何意义？第一个版本一个晚上没跑完，第二个版本 md5 前三位只用了 18 分钟是否说明第一个的瓶颈是在算 md5 上？ string 直接塞 set 不行吗？

2016-04-19 00:20:44 +08:00

4000 万条 md5 ，最少需要 32*4000*10^4/10^9 = 1.28 GB
python 的 set 是 hash set ，虽然估计是动态的，但你分了 4000 个，空洞肯定少不了，用完 5 GB 内存应该不难吧。

其实我的话就直接外部排序，归并的时候顺便去重，不算太慢。 hash 查重的话短了容易冲突，长了算得太慢。 string 直接放 set 里内存不够吧。