这是一个创建于 3639 天前的主题，其中的信息可能已经有所发展或是发生改变。
这个爬虫是为阿里巴巴的 sm.cn 服务的吧？
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
这里有在做神马搜索的同学么，你们家爬虫是否支持 CrawlRate 呢？
我试着在 Google 里搜了一下 YisouSpider CrawlRate，只能找到我自己现在发的这个主题。
 |
1
Livid MOD OP |
|
2
Livid MOD OP 统计了一下日志，现在 YisouSpider 基本上在用每秒 5 次并发的频率在爬 V2EX 上的所有主题。
|
|
3
Livid MOD OP 为了给 V2EX 节约一些资源，下面这些 IP 只能先封 1 个月了：
42.156.138.78 42.156.137.78 42.120.160.108 42.156.139.78 42.120.161.108 42.156.137.108 42.156.138.108 42.120.160.78 42.156.139.108 42.156.136.108 42.156.136.83 42.156.137.83 42.156.138.83 42.156.139.83 42.120.160.83 42.120.161.83 |
|
4
Livid MOD OP 盛况如此：
 |
 |
5
zjgood 2014-12-10 13:44:22 +08:00 via Android
L大不优化，蜘蛛都这么钟爱V站
|
 |
6
xinple 2014-12-10 13:50:54 +08:00
是的，昨天我也遇到了，小站扛不住啊
|
 |
7
macken 2014-12-10 14:14:33 +08:00
直接用nginx把这个spider给干掉
|
 |
8
mikuazusa 2014-12-10 14:27:01 +08:00
|
 |
10
kofj 2014-12-10 19:30:38 +08:00
sm.cn蜘蛛很疯狂的。open.sm.cn注册进去让人感觉很无语。。。。
|
Select Language