需要记录代理 ip 的有效性，如果是使用了 API，先缓存到数据库中。

顺便打个广告，Crawlab 是一个专注于爬虫的集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业

https: //github.com/tikazyq/crawlab

用 you-get 试一下？

顺便打一波广告，关注一下开源爬虫平台 Crawlab，https://github.com/tikazyq/crawlab，集成了爬虫管理、任务调度、任务监控、数据分析等模块的分布式爬虫管理平台，非常适合对爬虫管理、爬虫工程化有要求的开发者及企业

刷 v2

@tt67wq 不稍微看几句么。。。

@lunatic5 这个是啥呢

@gchxp 推广文，要不反手点个赞？

vue + flask

前后端分离考虑一下？

最好用 ip 池来抓取，而且要注意 robots 协议。稍微高级一点自己用神经网络破解验证码也可以，但是比较麻烦。

顺便安利一下开源爬虫平台 Crawlab，https://github.com/tikazyq/crawlab，兼容各大爬虫框架，包括 scrapy、webmagic、puppeteer、selenium

urllib 是非常基础的库，了解一下就可以了，现在都不用这个库来做爬虫了。要进阶的话，了解一下多线程、多进程、scrapy、pyspider、gerapy、crawlab。

顺便安利一下来源爬虫平台 crawlab，方便管理开发你的爬虫，https://github.com/tikazyq/crawlab

听说过 xpath 和 css selector 么，爬虫没有这些基本干不了活，除非是用正则匹配。想了解更多爬虫么，关注一下开源爬虫平台 Crawlab 吧，github: http: // github. com/tikazyq/crawlab

写好的爬虫可以用爬虫平台 Crawlab 来管理，试一下呗，https://github.com/tikazyq/crawlab

还有 puppeteer，也是调用 chrome 来执行 js，但是对用户比较友好。顺便介绍一下爬虫平台 Crawlab，兼容任何框架任何语言的爬虫平台，http://github.com/tikazyq/crawlab

请关注爬虫平台 Crawlab

Github: tikazyq/crawlab

github: tikazyq/crawlab

你说的是 you-get 么，如果采集有问题的话，其实可以考虑以下开源爬虫平台 Crawlab

js 中 map、filter、forEach 不搜一下么？