推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
开源项目免费爬虫代理框架 IPProxyTool 请各位 V 友 敬请雅正、不舍赐教~
awolfly9 · 2017-03-31 09:30:59 +08:00 · 14770 次点击这是一个创建于 2798 天前的主题，其中的信息可能已经有所发展或是发生改变。
使用 scrapy 爬虫抓取代理网站，获取大量的免费代理 ip 。过滤出所有可用的 ip ，存入数据库以备使用。
从项目开源以来收到了各位 V 友大神的指点，也不断的优化完善羡慕，目前在第一次开源之后做出了如下重大更改：
- 添加验证次数，如果验证次数越大，表示该代理 ip 越稳定
- 多进程分别验证每一个站点，比如 豆瓣、京东 是在两个不同的进程同时验证，更加保证了代理 IP 的有效性
- 更改了 mysql 连接库，从 mysql-connector-python 换成了 pymysql ，并且插入支持事务
- 完善了服务器接口参数
- 添加了更多代理 IP 站点，目前大概支持 10 个免费代理 IP 站点
github 地址： https://github.com/awolfly9/IPProxyTool
请各位 V 友继续敬请雅正、不舍赐教~
PS:开源真的让我认识了很多 V 站的朋友，也让我受益匪浅，如果你对项目有任何的意见和建议，欢迎加我微信指点 QXdvbGZseQ==(base64)
 |
1
whx20202 2017-03-31 09:44:55 +08:00
先收藏了，主要想看看网络这块编程怎么写
|
 |
3
bozong 2017-03-31 09:46:24 +08:00
先收藏。。。
|
 |
4
alouha 2017-03-31 10:00:24 +08:00
已 star
|
 |
5
Reign 2017-03-31 10:05:31 +08:00
对于我们这些不会 Python 的，作者可不可以做成 API 返回 json 的格式供我们调用？
|
 |
7
chendajun 2017-03-31 10:11:07 +08:00
代理网站给的免费代理 IP 可用性如何？之前弄过类似，发现这种免费的 IP 可用性非常差后来就放弃了。现在 Scrapy 提供的 Crawlera （付费的，购买的是 25 刀那个 plan ），感觉很不错。
|
 |
8
5dkgansm 2017-03-31 10:13:50 +08:00
如果可以的话方便提供 python3 的支持吗？
|
 |
10
Gandum 2017-03-31 10:23:09 +08:00
所以，和 https://github.com/qiyeboy/IPProxyPool 的区别是？
|
 |
11
awolfly9 OP @chendajun 代理网站给的代理 ip 多半是不靠谱的，但是还是有少量漏网之鱼可以使用，而且这些还是比较稳定的，所以需要不断的验证抓取到的代理 ip
|
|
12
awolfly9 OP @Gandum 我在项目刚开始的时候参考了 IPProxyPool ，后来不断的更新完善，现在已经和 IPProxyPool 是两种不同的思路了
|
 |
13
jy01264313 2017-03-31 10:27:18 +08:00
这些网站的免费 IP 有效率不到 10%，收费的有效 IP 不到 30%
|
|
14
awolfly9 OP @jy01264313 国外的免费网站提供的代理 IP 有效率高很多，国内的需要自己去洗出有效的 IP
|
 |
15
q9S 2017-03-31 11:31:29 +08:00
前几个月好像就用过，感觉还不错；免费的 IP 会不会有的 IP 蜜罐
|
 |
16
xrlin 2017-03-31 11:37:14 +08:00 via iPhone
之前就在用，但 ip 还是太少了，毕竟是免费的
|
 |
18
scriptkid 2017-03-31 14:53:54 +08:00
已经 star 过两天放假了再看看～
|
|
20
jy01264313 2017-03-31 20:17:09 +08:00
@awolfly9 推荐一个？我只需要国内的 ip 地址的
|
 |
21
vlike 2017-03-31 21:08:42 +08:00 via Android
看了一下不错，可惜不喜欢 mysql
|
 |
22
zingl 2017-03-31 22:44:53 +08:00
现在的年轻人都不知道 proxyhunter 了吧
|
|
26
q9S 2017-04-01 17:06:36 +08:00
 ) boos douban liepin 这些表名什么意思额 |
|
27
q9S 2017-04-01 17:08:56 +08:00
额 不用回我，晓得咯  ) |
 |
29
cocoakekeyu 2017-04-04 14:50:38 +08:00
OK, 给 star
|
Select Language