V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
chaoxcores
V2EX  ›  问与答

ELK+kafka+filebeat 收集 nginx 日志的问题

  •  
  •   chaoxcores · 2019-12-28 17:38:53 +08:00 · 2410 次点击
    这是一个创建于 1797 天前的主题,其中的信息可能已经有所发展或是发生改变。

    ELK 全家桶版本:7.5.1

    环境:Centos7

    描述:不修改 nginx 日志格式的情况下,想要收集 nginx 的 json 格式的数据。使用了 filebeat 提供的 nginx 模板,没加入 logstash 前是可以的,加入 logstash 后收集到的就不是 json 格式了。修改日志格式的方式可以收集到,但是想偷懒...

    问题:有没有什么办法又使用模板又能获得 json 格式数据?

    6 条回复    2019-12-28 19:06:25 +08:00
    fmumu
        1
    fmumu  
       2019-12-28 18:17:06 +08:00 via Android
    既然不用 logstash 就可以收集了,为啥还要硬加 logstash。不懂
    Trim21
        2
    Trim21  
       2019-12-28 18:23:12 +08:00 via iPhone
    logstash 设置对应的 codec 为 json ?
    madNeal
        3
    madNeal  
       2019-12-28 18:36:22 +08:00
    不管用不用 logstash 应该都可以,是你姿势不对吧
    chaoxcores
        4
    chaoxcores  
    OP
       2019-12-28 19:04:25 +08:00 via iPhone
    @Trim21 等回头我试试
    chaoxcores
        5
    chaoxcores  
    OP
       2019-12-28 19:04:59 +08:00 via iPhone
    @fmumu 中间加了 kafka
    chaoxcores
        6
    chaoxcores  
    OP
       2019-12-28 19:06:25 +08:00 via iPhone
    @madNeal 我的情况就是通过 logstash 输出到 es 就不是 json 格式,使用 filebeat 模版的情况
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   4030 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 10:17 · PVG 18:17 · LAX 02:17 · JFK 05:17
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.