[有偿] 征大型爬虫的技术指导

[professorz]

我第一次接手一个比较大型的爬虫任务，要爬取一个千万级别的网站，所以要用到scrapy+redis多线程，分布式抓取，服务器配置等等，想找一个有这种经验的人讨教。我明白时间宝贵，所以愿意出钱作为学费，而且只需您辅助我的工作过程，给予一些指导。

[mhycy]

爬的是哪个站？有多少资源可用？

[iannil]

可以参考我这个回复 http://v2ex.com/t/127220#reply5

[laotaitai]

直接外包给我吧. 不过哈, 一般情况下, 少于5W的项目我不接. 哥是专业的玩爬虫的. 我写过爬取全世界60%左右连了网的电脑, 一共收集了3亿的资源的. 对, 你没看错, 就是爬你们的电脑, 不是爬网站.

[xiaobo]

@laotaitai 请问如何做到的 个人电脑资料 难道是通过木马收集的 那全球60%的电脑 得多少，不科学啊

[njutree]

@laotaitai 那么问题来了，全世界有多少电脑？

[fising]

3楼吹牛逼不打草稿

[mrhuiyu]

@laotaitai 话说···爬电脑？首先不礼貌的冒问一下···今天不是愚人节？额·····好吧那请问····假设电脑关机和非管理员用户登录电脑后无法访问指点盘符，那爬虫可以进去访问？

[jedyu]

3楼是爬IP吧？

[mozutaba]

3楼是爬ip的开放服务？

[joshryo]

3楼太谦虚了，居然还有40%连了网的电脑没爬。

[xidianlz]

3楼说的是扫描比较好吧 不算爬虫

[xFan]

3楼歪楼以后没人理楼主了...

你们赶紧正回来,.

[angerskon]

3楼说的3亿的资源是指的3亿台电脑吗？照你说的60%来算，也就是说全球5亿左右的计算机联网。ipv4的地址一共42亿左右，除掉一些保留的，怎么也不止5亿吧。

[thinkmore]

3楼就是来骗回复的

[crazycookie]

楼上都被 3楼带歪了
其实有偿指导也是一件 比较 bug的事情
这种分布式我在做，确实 scrapy + redis 可以完成这些
我用linode跑的国外的站，4台服务器，还算稳定

[binux]

千万级别不算大型啊。。。

[lucn]

scrapy开发成本高，pyspider半小时搞定

[gouwudang]

楼主可以来我司工作，每天得爬上亿条数据

[gouwudang]

@gouwudang 不用交钱，我们给你钱

[cxl008]

scrapy+mongodb+redis 的方案 分布40台机器。。 爬取国内200多个安卓市场。。。。。。。。数据量到1亿左右。。没有3楼那么牛逼了。。。。

[jason52]

@gouwudang 哇，楼上在北邮人上发帖，最让我印象深刻的就是睡觉睡到自然醒。。。哈哈哈

[CodeDrift]

突然感觉3L在360上班。。。

[gouwudang]

@jason52 谢谢关注，还在招人呢

[mengskysama]

之前我用了一台快到期的独服，24G内存，开了15台，特意申请了255个IP。
爬的是last.XX，用了近二十多天爬了将近1忆的专辑信息（几亿歌曲信息。

自己写的主从架构，只用了mysql，好像也没遇到什么瓶颈。
个人感觉爬其实挺好爬的。如果源没有限制特别死或者太坑爹反爬虫策略的话

[nine]

pyspider吧，很好用。。

[2dog]

@laotaitai 同学有兴趣挑战一下BAT的一家反抓取策略么？可外包，一天上亿条

[laotaitai]

@2dog 先简单给说说是个啥玩意呢. 爬什么? 拿来干什么?

[sohoer]

@2dog 有挑战才好玩，详细说说

[2dog]

@laotaitai 抓淘宝的价格数据，我们用了20台服务器 + 1万代理IP 依然被封的半身不遂

[2dog]

@sohoer 抓淘宝的价格数据，我们用了20台服务器 + 1万代理IP 依然被封的半身不遂

[professorz]

我是lz，我回来了。

@lucn pysipder稳定性，效率各方面怎么样呢？
@binux 我在byr上问有人@你了
@gouwudang 真的吗，我开学要做毕设，暑假去你们公司实习三个月吧？
@2dog 我的毕设就是跟电商网站数据抓取有关的，我对你们的工作很感兴趣，让我打个杂学学习吧^_^

[laotaitai]

@2dog 有点意思, 价钱大概多少?

[2dog]

@laotaitai 邮件沟通吧 [email protected]

[inter]

千万算个球大型。我们这一台服务器上的一个爬虫实例，一天就是上千万的请求。
其实还能更高，但是现在提不上去的原因是一个实例就把对方一台服务器的下行吃满了。我们还得想着怎么帮对方提高吞吐量，对方cdn配置有问题的时候还得帮他们做同步.
python真是弱啊，上亿的就几十台服务器了。我们这一台单核1g机器，跑两个实例。
1亿请求，200多个站点，这就是台好点的服务器的事情

[Yannis1990]

一直想知道 “千万级” 的网站是什么意思？

千万个页面？

[cxl008]

@2dog 求 哪里找这么多代理 ip 的？

[professorz]

@Yannis1990 嗯 千万个条目

[mengskysama]

@cxl008 www.66ip.cn/zz.html 估计都是扫出来的，无辜的网民

[mikangchan]

想求教下怎么精确控制内容...
数据量不大，不过图片较多，而且要精确控制一部分文字内容

[sandideas]

@cxl008 淘宝有卖。。便宜的狠

[lonelygo]

我是来看3楼歪楼的

[flyingkid]

3L如果是写DHT爬虫的话我还是相信的。

[professorz]

@inter 你们不是用的python?用的啥？

[laotaitai]

@flyingkid 哈哈, 总算遇到懂行的了, 就是DHT爬虫. 这下子我没吹牛逼吧.

[linkupmylife]

我也玩过爬虫，爬完全是HTML，再用HTM转TXT之后放到EXCEL里筛选，非常麻烦。