persistencehoo 最近的时间轴更新 persistencehoo 最近的时间轴更新 |
persistencehooV2EX 第 495063 号会员，加入于 2020-06-17 09:50:00 +08:00 |
persistencehoo 最近回复了
330 天前 回复了 callmejoejoe 创建的主题 › Python › 多用户的爬虫服务，如何分配资源，确保每个用户的任务都能执行？ |
我会在这几方面着手：
1. Scrapy 做一个爬虫服务 - 只做采集
2. 任务推送系统(考虑 Scrapy 采集的并发量), 小批量推送数据采集，监听任务状态时未完成的
3. 处理采集数据，(改变任务状态，为已完成)
1. Scrapy 做一个爬虫服务 - 只做采集
2. 任务推送系统(考虑 Scrapy 采集的并发量), 小批量推送数据采集，监听任务状态时未完成的
3. 处理采集数据，(改变任务状态，为已完成)
2023-11-15 10:35:37 +08:00 回复了 lijianmin321 创建的主题 › 分享创造 › V 站老哥太热情了， Airy 永久会员加送 9000，凑到 1 万 |
lz 威武，支持一个
2023-11-15 10:30:36 +08:00 回复了 lijianmin321 创建的主题 › 分享创造 › 备忘录+翻译+文件搜索+ChatGPT=Airy，给 V 站老哥前 1000 个用户都送终身会员 |
mark 下，试试看
2023-09-13 16:27:53 +08:00 回复了 myexcite 创建的主题 › 推广 › [ 2~3 折特价团购] 中秋团圆，少不了美酒相伴，盖楼赢奖品了伙伴们！ |
分子+1
2023-09-08 15:34:30 +08:00 回复了 herozzm 创建的主题 › 推广 › 再冲一次，自家突尼斯石榴（云南大理）又熟了，抽奖整箱送😋👌🧺，累计已送出了 20 箱了 |
分母+1
2023-02-11 10:21:28 +08:00 回复了 likeunix 创建的主题 › 分享创造 › Kafka GUI 客户端， Kafka Assistant 一年激活码抽送 |
支持，MjcxMjMwMTg4MEBxcS5jb20=
2023-01-12 11:19:59 +08:00 回复了 watkin1994 创建的主题 › 生活 › 忍无可忍，居民楼下的一个酒吧，几乎每天嗨到两点，业主深受其害，求解救办法！ |
上海熊律师： 泼粪，油漆。 不小心弄得， 慢慢帮人家弄
2022-09-07 18:14:19 +08:00 回复了 Eiyan 创建的主题 › 推广 › 老家山东莱阳秋月梨成熟，帮家里卖点，欢迎各位 V 友品尝（回帖抽奖） |
分子+1
Select Language