V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
cloud107202
V2EX  ›  问与答

有关 flume 的 Demo

  •  
  •   cloud107202 · 2014-09-22 19:03:44 +08:00 · 2836 次点击
    这是一个创建于 3476 天前的主题,其中的信息可能已经有所发展或是发生改变。
    上头突发奇想打算在产品里加入一个日志采集+分析的功能。看了几天flume文档,头都大了。
    目前boss要求先实现个Demo,思来想去,打算做成下图这样子:
    http://imgur.com/RzbdHk3
    就是agent1 2将日志采集汇总到agent3上,持久化到MySQL中

    遇到两个点不是特理解:
    1. 图中agent1, agent2的sink端与agent3的source端貌似要通过Avro来打交道,对Avro这个东东一头雾水。是简单配置下flume的conf文件就能用还是需要使用Avro并做一番特别的配置?
    2. store层需要自定义一个MySQL_Sink,这个是不是要自己拉flume源码打包编译呢?

    自己对分布式日志系统不怎么了解,搞到这里有点束手束脚,请大家指点一二
    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2914 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 25ms · UTC 14:07 · PVG 22:07 · LAX 07:07 · JFK 10:07
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.