有没有一种分布式管理程序的的系统来管理自己写的小爬虫

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 1232 天前的主题，其中的信息可能已经有所发展或是发生改变。

比如我写了一个小爬虫，安装在许多机器上。
有没有管理系统，把爬虫小程序变成 service，集中开停和监控？
我知道 scrapyd 有分布式的结构。我想是不是有一种通用的系统。

2 条回复 • 2020-12-17 18:52:49 +08:00

unique

2020-12-11 12:08:57 +08:00 via iPhone

Crawlab

wellhome

2020-12-17 18:52:49 +08:00

@unique 多谢兄弟