这是一个创建于 2564 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前一个版块有 100 页数据，每页 30 条主题。
有一条主题在第 50 页，这条主题如果有新的操作（比如评论、点赞），那么这条主题会跑到第一页第一条。
那么下次爬新数据的时候，怎么样才能尽量不爬重复的数据（也就是重复页），怎么定位下回爬的时候的页码范围？
 |
1
GooMS 2017-11-09 20:16:24 +08:00 via Android
只要正文吗？那简单点记录爬过的 url
|
 |
2
shyling 2017-11-09 21:15:15 +08:00
倒着爬啊 ww
|
 |
3
Baboonowen 2017-11-09 23:56:48 +08:00 via Android
@shyling 记录 URL 中的帖子 id 吧
|
|
4
Baboonowen 2017-11-09 23:57:04 +08:00 via Android
@shyling 倒着一样会有重复问题
|
 |
5
Cooky 2017-11-10 00:02:29 +08:00 via Android
你不重复爬一旦有的帖子删了你就漏爬咯
|
 |
6
neosfung 2017-11-10 00:53:15 +08:00 via iPhone
Simhash
|
 |
7
IAmAnonymous OP @neosfung 谢谢，学到新的东西了
|
|
8
IAmAnonymous OP @Cooky 恩，是的，目前来看没有好的办法，只能重复几页比如（ 5 ）页数据
|
|
9
neosfung 2017-11-10 11:29:04 +08:00
@IAmAnonymous 搜索引擎都是用类似算法来给相似页面去重的
|
Select Language