最近老师给了一个课题---豆瓣好友推荐。要做推荐，当然首先是要搜集豆瓣数据了。
于是，我收集了 3000 多个豆瓣用户首页的 url ，接着就是对这 3000 多个用户所看过电影相关信息的爬取了。
然后，问题出现了！
我用 python 写了程序，开了 4 个线程，对豆瓣电影信息进行异步爬取，一分钟可以 get230 多个页面，觉得效率还不错嘛。但是，没过多久，就 403forbidden 了！！！豆瓣把我 ip 禁了，不能爬虫了。
然后我在网络上搜索相关资料，发现豆瓣对访问频率做了限制，一分钟最多大概只能访问 40 次左右。
现在，我降低了爬取频率，正在龟速爬取中……
这是我第一次 python 网络爬虫，请问有没有什么方法可以突破豆瓣的爬虫限制，让我能够愉快的爬虫，谢谢各位前辈了。
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 3739 days ago, the information mentioned may be changed or developed.
 |
1
jugelizi Mar 3, 2016
都搜索资料了不知道用代理吗？
|
 |
2
wzymmy Mar 3, 2016
用代理吧，网上免费的代理服务器蛮多的
|
 |
3
liberize Mar 3, 2016
用带 bid （可以伪造）的 cookie 去访问，不会 40x ，但是频率高的时候会让输验证码，验证码还是很好搞定的，都是英文单词，而且词库有限。
|
 |
4
wmttom Mar 3, 2016
做好 cookie UA 伪装，豆瓣带 cookie 的抓取保持一定节奏不会被 403 ，会跳转验证码，把验证码简单二值化然后扔给开放的 OCR API ，然后走下英文单词纠错（豆瓣验证码基本都是英文单词），自动识别率基本是超过 30%
找到这个节奏的最大并发限制，然后慢慢抓，不行可以开多 ip 代理这么抓。 几个月前抓豆瓣基本是这么写的。先大概计算下需要抓的页面数量级，有时候 1 秒一个页面，慢慢抓，抓几天也能满足需要，不行再上代理。 |
 |
5
lucifer4he Mar 3, 2016  1
可以用 I2P 匿名网络。都不用收集代理服务器列表了。他有 API 可以用，跳数弄少一点 1 跳之类的。反正也不是需要强匿名。这样就自带各种 IP 了=。=
|
|
6
lucifer4he Mar 3, 2016
或者可以用 tor,虽然我不太了解，其实同理 I2P
|
 |
7
tonyVex Mar 3, 2016
代理换 ip 伪装头信息等
|
 |
8
CrazySpiderMan Mar 3, 2016
@liberize liberize 说得对, 看我写的豆瓣爬虫. 能突破限制: https://github.com/Fuck-You-GFW/doubanspiders
|
|
9
lucifer4he Mar 3, 2016
@CrazySpiderMan 哈哈哈，在关注你 P2P 爬虫
|
|
10
CrazySpiderMan Mar 3, 2016
@lucifer4he 欢迎 PR 呀.
|
 |
11
em70 Mar 3, 2016 3
豆瓣是按频率封的,白天一分钟不能超过 40 次请求,晚上不能超过 100 次请求,每次请求间隔 1 秒,就肯定没问题
|
 |
12
abelyao Mar 3, 2016
看来大家抓豆瓣抓得都很有心得…
|
 |
13
laoyuan Mar 3, 2016
你们不要这么详细的说出来好么。。。
|
 |
14
vwhenx Mar 3, 2016 1
|
 |
15
sunchen Mar 3, 2016
使用豆瓣 API 然后用直接豆瓣某个 APP 的 key ，在不触发某些特定 API 的情况下无限制爬取。
|
 |
16
feather12315 Mar 3, 2016 via Android
启发了我。在读集体智慧编程，愁怎么搞 delicious 的数据呢（ API 变化了，得出来的数据缺少 user ），哈，现在直接上豆瓣得了
|
 |
17
sunjourney Mar 3, 2016 2
每年开学，就有人爬豆瓣，然后豆瓣就各种不明地 down 掉了。豆瓣运维说，怎么每年这个时候网费都这么高？
|
 |
18
mcone Mar 3, 2016
你们这么光明正大的说怎么爬豆瓣 就不怕豆瓣的人看到之后有针对性的反爬吗…………
话说现在一提到豆瓣就想到强制绑定手机号的下三滥手段，曾经的文艺小清新在用户 profile 面前照样吃相难看…… |
 |
19
tobacco Mar 3, 2016
|
 |
20
dyingbleed Mar 4, 2016
@CrazySpiderMan GitHub 用户名碉堡了～
|
|
21
CrazySpiderMan Mar 4, 2016
@dyingbleed 嘘, 别说话. 赞我.
|
 |
22
kamen Mar 4, 2016 via Android
到时候豆瓣崩了，你可是要负责任的(ー_ー;)
|
 |
23
SummerSun OP 谢谢大家的指导，现在我已经突破频率了！用的是代理加浏览器伪装！
|
 |
26
mztkenan Apr 5, 2018
豆瓣是如何辨认电脑的，通过 IP ？？不太可能我这是校园网，莫不是把校园网出口封了??
|
 |
27
QUIOA Dec 30, 2019 via Android
@CrazySpiderMan 你的项目呢
|
Select Language