要做采集系统，怎么设计采集系统的架构最好

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

已注册用户请登录

这是一个创建于 3028 天前的主题，其中的信息可能已经有所发展或是发生改变。

技术需求：
1. 多线程 java
2. docker 上开多个虚拟机
3. 能监控采集结果，采不到报警
4. 对采集源的采集频率可以定制
5. 兼容将来的大数据平台

请教各位大神，是否已经有这种系统架构了？没有的话，得自己设计了。

5 条回复 • 2016-01-14 12:00:57 +08:00

hienchu

2016-01-13 09:37:14 +08:00

采集什么数据？用什么设备？以前在学校都是直接用数据采集卡的配套软件，基本上这些功能都有了

xujif

2016-01-13 11:48:00 +08:00

pyspider

xiyangyang

2016-01-13 21:45:44 +08:00

@xujif

各种媒体平台都要采集，网站，论坛，博客，微博，微信等

sohoer

2016-01-14 09:01:50 +08:00

xiyangyang

2016-01-14 12:00:57 +08:00

@sohoer, 虽然跟我们想要的还有点距离。联系一下把， QQ ： 16983994