V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
smarthadron
V2EX  ›  分享创造

[云框架]SMACK 大数据架构,拿去跟大数据工程师谈笑风生!

  •  
  •   smarthadron · 2017-07-21 10:36:04 +08:00 · 1939 次点击
    这是一个创建于 2688 天前的主题,其中的信息可能已经有所发展或是发生改变。

    再谈大数据,光知道 Hadoop 显得有些捉襟见肘,SMACK is the new buzzword !

    这是一种数据处理的技术组合,S 代表 Spark (引擎)、M 代表 Mesos (容器)、A 代表 Akka (模型)、C 代表 Cassandra (存储)、K 代表 Kafka (消息队列)。

    面对数据源数量急剧增加、数据样本获取难度升高、数据分析时效性差、数据分析投资回报率低等一系列挑战,SMACK 可以解决 Hadoop 等熟知技术无法解决的诸多问题,特别是物联网化、API 化趋势下 big data 向fast data转变所带来的新需求,以及大数据处理对于Data Pipeline的依赖。

    [云框架]SMACK 大数据架构,在引擎层增加了Flink用于处理实时数据,使用Kubernetes替换 Mesos 作为容器层,以某网站数据为例,提供 SMACK 大数据框架的最佳实践,包括 SMACK、数据接入、数据展示在内的完整框架。

    项目地址: https://github.com/cloudframeworks-smack/user-guide-smack

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2477 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 01:04 · PVG 09:04 · LAX 17:04 · JFK 20:04
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.