这是一个创建于 2200 天前的主题，其中的信息可能已经有所发展或是发生改变。
目前是先爬列表页，然后取出各个详情页的 id 放到一个 queue 中，另外开几个线程从 queue 中取 id 爬数据。
但是，爬取详情数据的时候会出现失败，想把失败的 id 重新放入 queue 中，但是有一个线程往 queue 中放数据了，这个时候 queue 就一直是满的，导致爬详情数据的线程都挂起了。
有什么好的解决办法吗？
但是，爬取详情数据的时候会出现失败，想把失败的 id 重新放入 queue 中，但是有一个线程往 queue 中放数据了，这个时候 queue 就一直是满的，导致爬详情数据的线程都挂起了。
有什么好的解决办法吗？
 |
1
csx163 2018-12-14 11:06:34 +08:00
加个 redis ？
|
 |
2
ClutchBear 2018-12-14 11:25:59 +08:00
详情页 url,
存到 redis 或者 kafka |
 |
3
sheep3 2018-12-14 12:06:14 +08:00
加快消费速度
增大队列长度 |
 |
4
martinsu 2018-12-14 17:53:38 +08:00 via iPhone
队列优先级
|
Select Language