众所周知，豆瓣电影短评在未登录的情况下只能抓取到 200 条，我今天试了试登录，却也只能抓取到 500 条，然后我手动翻了下短评，发现真的只能查看 500 条，从根本上杜绝了爬虫，这也太狠了吧。这种杜绝大翻页的行为感觉「伤敌一千，自损八百」呢？！
This topic created in 2652 days ago, the information mentioned may be changed or developed.
 |
1
leido Feb 9, 2019 via Android  9
正常人能看 500 条？
|
 |
2
tongyifan Feb 9, 2019 via Android
楼上正解
|
 |
3
murmur Feb 9, 2019
一般人可能只看评分和首页评论
|
 |
4
Biwood Feb 9, 2019
豆瓣电影短评翻页不知道什么时候改成异步加载的，我记得以前都是同步的
|
 |
5
Eiden Feb 9, 2019 via Android
微博粉丝不也一样
|
 |
6
panpanpan Feb 9, 2019 via iPhone
大概一年多以前就是这样了吧。
|
 |
7
crab Feb 9, 2019
试下 app 端有没有限制
|
 |
8
locoz Feb 9, 2019 via Android
正常人也不会看那么多
|
 |
9
MoHen9 Feb 9, 2019 via Android
豆瓣的 APP，每次在后台运行就跟重启一样，一点儿你之前浏览了什么的痕迹都不留，这点非常差劲。
|
 |
10
x86 Feb 9, 2019
正常人翻了 10 页左右我都觉得他闲得慌
|
 |
11
starles Feb 10, 2019
去年课设要求做豆瓣爬虫，买了代理池才搞定
|
 |
12
zhang2e OP 的确正常人是不会看 500 条🤦♂️
|
Select Language