dreamer2020 最近的时间轴更新 dreamer2020 最近的时间轴更新 |
dreamer2020V2EX 第 263592 号会员，加入于 2017-10-30 17:09:33 +08:00 |
| nodejs 爬虫长时间运行后卡住 Node.js • dreamer2020 • 2018-05-23 11:48:39 AM • 最后回复来自 dreamer2020 | 17 |
dreamer2020 最近回复了
2021-09-08 11:37:29 +08:00 回复了 kuanos 创建的主题 › macOS › mac 版的 QQ 巨卡 |
同特别卡，16 款 Mac Pro，切换群聊框、滚动消息都特别慢，以为是消息太多的缘故，看了网上同样的讨论，发现可能是图片缓存的问题，清理了一下，有几十 G，之后就比较流畅了。
2018-05-23 11:48:39 +08:00 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@qfdk 一次最多会塞 4 万条数据
2018-05-23 11:47:19 +08:00 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@gabon node 不是单线程的么？没有考虑过锁的问题
2018-05-23 11:40:36 +08:00 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@whypool 内存这个问题之前我也注意到了，确实需要释放，我现在最多是 300M 左右。
迭代用得比较多，主要是 for，用了 async/await 控制异步，用 Promise.map 做了多并发。大佬说的递归，应该是在函数里面使用 setTimeout 延迟调用自己吧？
另外，关于 Promise.map 有什么改进建议么？
迭代用得比较多，主要是 for，用了 async/await 控制异步，用 Promise.map 做了多并发。大佬说的递归，应该是在函数里面使用 setTimeout 延迟调用自己吧？
另外，关于 Promise.map 有什么改进建议么？
2018-05-22 21:48:40 +08:00 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@airyland 这确实是一个当前的解决办法！
2018-05-22 21:47:51 +08:00 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@jiangzhuo 哦，明白了。感谢！
2018-05-22 21:44:16 +08:00 回复了 dreamer2020 创建的主题 › Node.js › nodejs 爬虫长时间运行后卡住 |
@jiangzhuo 弱问一下，怎么样查看当前状况下的堆栈啊？
Select Language