Scrapy 爬取数据的时候，有什么 proxy 轮换的机制吗？

[RangerWolf]

我司有好几个proxy可以用，但是都不太稳定。
我想的就是假设有n个Proxy，在爬取失败的时候首先自己重试3次。如果重试失败就切换到下一个proxy。如果成功就继续使用当前的proxy，如果失败就一直切换代理直到没有可用的代理。如果最终还是失败了，就以某种方式记录一下，下次重新爬一遍。


不知道我的想法在scrapy之中如何实现？
如果有例子代码就更好了~

最终目的就是保证目标url能被正确的爬出结果。如果有其他更好的解决方案也麻烦说一下~
多谢！

[AlloVince]

https://github.com/aivarsk/scrapy-proxies

[RangerWolf]

@AlloVince 非常感谢！正是我需要的！

[bengtuo]

Scrapy 还是不够好

[bengtuo]

要写 太多的代码

[zts1993]

写一个DOWNLOADER_MIDDLEWARES

[binux]

squid

[RangerWolf]

@binux 还得自己维护一个squid就太繁重了

[RangerWolf]

@bengtuo 那有什么推荐的吗？
要写的代码多一点没什么，重要的是能有解决方案。 如果能在网上找到相应的解决方案的代码就更好了

[messense]

我用的修改自 scrapy-proxies 的 RetryMiddleware，禁用 Scrapy 自带的 RetryMiddleware

https://github.com/messense/douappbook/blob/master/douappbook/middlewares.py#L10

[ultimate010]

我以前就是把代理ip存到redis中，每次抓取查询换ip，封装下使用很方便。