各位大佬请教一下，关于爬虫的过滤问题

[cyy564]

现有一个爬虫，现在爬下来需要手动过滤一遍（ ps 这里吐槽一下人工都无法完美筛选，挺蛋疼的，更别提只用脚本清洗了

但接下来要定时抓取，每个月都要抓一遍，那么如何设定规则不让抓那些被筛除掉的数据，数据量会越来越大的感觉

[jatesun]

题目没有描述清楚过滤规则，所以没法给出具体的建议。如果过滤规则可以代码话，那就通过过滤器校验就好了。

[ClutchBear]

url 个数量小,

url 用 redis 的 set 去重

url 数量多上百万
用 redis 的 bloomfilter 插件去重

[cyy564]

抱歉可能没描述清楚。

没有过滤规则，没有去重的问题，简单说就是爬虫第一次手动筛掉的数据，如何在第二次不去爬它

[xpresslink]

记录爬过的每个页面的根域名和 path URL，给标题做 MD5 存摘要，爬虫爬这个网站前把数据库里存的 URL 列表或标题摘要加载到 set 里面。再爬时候比对一下。

[zarte]

没描述清楚你的数据是什么，词还是文本还是网页。除了文本应该都可以先把去掉的数据存起来，爬虫爬下来要存的时候过滤下。