只是稍微了解一些大数据的东西 hadoop mapreduce , spark , storm 那几家大的云平台公司貌似提供的都是租赁一个平台 有没有什么产品能部署在私有数据中心上,是直接部署一套 hadoop 或者 spark 就可以吗? 这里边的数据采集,数据分析,数据展现是不是都需要行业专业人员去开发?或者都是现成的东西?
1
GreatMartial 2017-02-05 22:37:54 +08:00
估计需要第三方来开发相应的应用
|
2
adrianzhang 2017-02-05 23:21:43 +08:00 via Android
这些组件本来就是可自己安装的,公司提供的是服务,比如根据你需求搭配不同的 hadoop 生态组件。数据采集可以直接配置,数据分析和展现也有一些解决方案,但都比较零散和 common ,一般要根据自己需求开发,尤其是建模这部分。整体商业解决方案还不成熟,但也有公司比如华为移动等给做,只不过价格就不是一般中小公司能承担的。参考:一个会维护 hadoop 的高级工程师年薪就达到 500k 。
|
3
linoder 2017-02-06 01:10:50 +08:00
BDP
|
4
likuku 2017-02-06 02:32:10 +08:00
aws 的相关设施资源很丰富, 2016 年底重点之一就是大数据,还有了很好用的 BI 服务,如此前后端都有了。
有兴趣的可继续这个话题。 |
5
likuku 2017-02-06 02:34:15 +08:00
hadoop 并不难搞,核心 /含金量最高还是业务算法和前期建模,基本都是数学和统计学的人干,相关圈子很小。
|
6
likuku 2017-02-06 02:36:02 +08:00
数据分析 /建模 /统计,我认识有资深人士,咨询的话都是付费的。
|
7
snoopygao OP 感谢各位的解答
|
8
yanyanlong 2017-02-06 10:04:40 +08:00
公司自己搭建平台建议买星环或者 CDH 的商业版,可以节约不少开发周边维护工具的时间。
|
9
knktc 2017-02-06 10:07:31 +08:00
可以参考下 cloudera 的产品或是 splunk 的产品
|
10
kinprogram 2017-02-06 12:01:18 +08:00
@yanyanlong +1 还有华为的 FushionInSight
|
11
ethankoo 2017-02-06 12:39:40 +08:00
企业级数据平台,集采集、存储、开发、查询、可视化等工具链,有意聊
|