这是一个创建于 3540 天前的主题，其中的信息可能已经有所发展或是发生改变。
1、数据不全：爬取新浪专栏数据时，中国观察专栏爬取正常，但是银行专栏只能爬到7篇，此外的专栏的都无法爬取；另外试图在东方财富网爬取上市公司信息时， Rule(LinkExtractor(allow=("sh600 \d\d\d,))只能爬到两家上市公司的数据就停止了。
2、无法抓取：有些数字，如股价、市盈率爬下来是“－”。
求解答！
 |
1
roricon 2015-03-09 12:07:49 +08:00
1.无法爬取是没有新页面的url进来，还是下载失败？
2.看看是否这些'-'的内容，是否是前端js生成的。如果是js生成的，Scrapy无法直接拿到，需要通过其他方法。 |
Select Language