fushshanpupil 最近的时间轴更新 fushshanpupil 最近的时间轴更新 |
fushshanpupilV2EX 第 241786 号会员，加入于 2017-07-20 09:00:08 +08:00 |
| 打算用 echarts 实现航旅纵横的航线图 程序员 • fushshanpupil • 2024-10-02 22:26:20 PM • 最后回复来自 fushshanpupil | 4 |
| 平安集团员工代码大赛组队 程序员 • fushshanpupil • 2023-09-05 14:23:29 PM • 最后回复来自 gfswoquasfasd | 6 |
| 100w 个小文件存储问题 问与答 • fushshanpupil • 2018-01-22 18:42:05 PM • 最后回复来自 WinMain | 14 |
fushshanpupil 最近回复了
2024-10-02 22:26:20 +08:00 回复了 fushshanpupil 创建的主题 › 程序员 › 打算用 echarts 实现航旅纵横的航线图 |
@xiang578 随便写了一版，比较粗糙
2024-01-23 15:58:19 +08:00 回复了 fushshanpupil 创建的主题 › 程序员 › 打算用 echarts 实现航旅纵横的航线图 |
@qicaisedeyun 不多，16 年到现在就 37 次
2019-11-20 10:12:44 +08:00 回复了 siagasky 创建的主题 › 全球工单系统 › Apple 官网这个是什么情况？ |
上海电信，版本 78.0.3904.108 （正式版本） （ 64 位）
无法复现
无法复现
2018-01-22 17:34:26 +08:00 回复了 fushshanpupil 创建的主题 › 问与答 › 100w 个小文件存储问题 |
@swulling 最新调试结果，最后发现还是由于坑爹的 GIL+threading 库，导致我程序实际上是 IO 密集了，改用 multiprocessing 就跟爬的时候一样 70 个每秒了。
另外感谢各位，提供了很多其他思路，确实还有改进的地方。
另外感谢各位，提供了很多其他思路，确实还有改进的地方。
2018-01-22 15:02:15 +08:00 回复了 fushshanpupil 创建的主题 › 问与答 › 100w 个小文件存储问题 |
@swulling 对顺序没要求，每个网页都有个 id 的，用 id 选的，我参考下 sqlite blob
2018-01-22 15:01:31 +08:00 回复了 fushshanpupil 创建的主题 › 问与答 › 100w 个小文件存储问题 |
@rrfeng 提取数据的逻辑随时可能变，不可能每次都再去请求的吧，肯定得保存下来
2018-01-22 14:59:52 +08:00 回复了 fushshanpupil 创建的主题 › 问与答 › 100w 个小文件存储问题 |
@em70 怪不得，scrapy 的 cache 就是取 hash 后的前两位创建了一层目录
2018-01-22 14:59:01 +08:00 回复了 fushshanpupil 创建的主题 › 问与答 › 100w 个小文件存储问题 |
@ovear 确实全扔一个文件夹下了。。
Select Language