V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jsonfork
V2EX  ›  程序员

API 日志分析统计什么架构比较好?

  •  
  •   jsonfork · 2020-08-25 10:14:51 +08:00 · 4105 次点击
    这是一个创建于 1555 天前的主题,其中的信息可能已经有所发展或是发生改变。

    目前 app 的 api 请求日志都是放在日志.log 里的,也没有 shell 去统计量。有没有好的工作可以做这种统计,ELK 感觉太过重,有没有轻量的工具推荐?

    25 条回复    2020-08-26 11:25:55 +08:00
    InkAndBanner
        1
    InkAndBanner  
       2020-08-25 10:56:46 +08:00
    同求
    tabris17
        2
    tabris17  
       2020-08-25 10:58:15 +08:00
    ELK 还重?自己写 python 脚本吧
    ben1024
        3
    ben1024  
       2020-08-25 11:06:06 +08:00
    ELK
    直接 E
    ben1024
        4
    ben1024  
       2020-08-25 11:06:24 +08:00
    或者用哨兵
    chendy
        5
    chendy  
       2020-08-25 11:11:29 +08:00
    elk 虽然”重“但是功能全
    其实只有 e 是必须的,l 和 k 都可以换(其实主要是 e 重…)
    letitbesqzr
        6
    letitbesqzr  
       2020-08-25 11:24:44 +08:00
    没觉得 elk 有多重,es 是那种配置越好性能越好的软件.. 你要实在觉得“重”,使劲压榨下参数不就行了。。
    liujialongstar
        7
    liujialongstar  
       2020-08-25 12:34:09 +08:00
    个人感觉 elk 里 k 比较重, 功能太多了, 一直没理清; 好在有替代品
    Fitz
        8
    Fitz  
       2020-08-25 13:17:26 +08:00
    loki
    ohao
        9
    ohao  
       2020-08-25 13:22:58 +08:00
    小公司个人的话 推荐 clickhouse,类 sql 查询支持 这个比较适合
    但是也要考虑你的查询需求和日志量和业务增加速度,做好预留

    ELK 的套件 非中大公司不太推荐 ,集群,容灾,一堆一堆的问题,虽然资料相对多
    对资源和维护要求都比较高
    我们以前 CDN 系统的日志支持的是这个,实际交付给客户使用阶段 还是发现不太合适
    xuanbg
        10
    xuanbg  
       2020-08-25 13:25:00 +08:00
    ELK/EFK 这种一点都不重,几行 docker 命令就搞定
    nikandaoleshenme
        11
    nikandaoleshenme  
       2020-08-25 13:41:13 +08:00
    0,自己动手写一个
    1,日志有明确的格式
    2,编写一个程序( shell 、py 、亦或你最拿手的语言 java 、go ),定时读取日志,然后解析格式(解析规则取决于日志格式),入库
    3,库可以是 es,甚至 mysql 、 建议文档数据库 mongodb,简单易用,方便后续的聚合查询
    4,工作量:一个人全心投入,一个下午即可出一个 简版来
    5,注意事项:日志解析需要细心,大文本读取策略,内存溢出,
    6,开始行动 或者 pass
    aeli
        12
    aeli  
       2020-08-25 14:00:17 +08:00
    日志目前我用了 loki,算轻量的收集。但对 trace 之类支持不好。
    jsonfork
        13
    jsonfork  
    OP
       2020-08-25 14:13:20 +08:00
    @tabris17 奈何脚本使用不灵活。还要手写各种统计的图。

    @ben1024
    @chendy
    @letitbesqzr
    @liujialongstar
    @xuanbg 谢谢各位,elk 是在待选方案里的,也打算进行尝试。
    jsonfork
        14
    jsonfork  
    OP
       2020-08-25 14:13:42 +08:00
    @ohao 感谢,回头了解一下这个东西。
    jsonfork
        15
    jsonfork  
    OP
       2020-08-25 14:15:18 +08:00
    @Fitz
    @aeli 谢谢,这个东西之前没搞过,看了下介绍,是轻量级工具。
    vipppppp
        16
    vipppppp  
       2020-08-25 15:56:39 +08:00
    我们组折腾了一圈后回到了 elk,filebeat,kafka 。。
    自己开发与其他工具不是维护太麻烦、资料太少就是功能缺失。。
    c00WKmdje2wZLrSI
        17
    c00WKmdje2wZLrSI  
       2020-08-25 16:02:16 +08:00
    为什么不用阿里云的日志服务呢?价格比自建低,又不用运维
    stardustree
        18
    stardustree  
       2020-08-25 16:29:17 +08:00
    想轻量就不要采集原始的日志,直接在客户端从原始日志里抽出关心的指标,然后随便搞个时序数据库存着就好了
    chinvo
        19
    chinvo  
       2020-08-25 16:36:18 +08:00
    gaigechunfeng
        20
    gaigechunfeng  
       2020-08-25 17:43:28 +08:00
    elk 这种是日子分析框架,还是采集框架?
    我现在是需要在小程序,前端采集数据。不知道 elk 能不能支持
    fanshaohua
        21
    fanshaohua  
       2020-08-25 18:36:35 +08:00 via Android
    可以考虑一下 Azure 的 Application Insight.
    podel
        22
    podel  
       2020-08-25 18:39:12 +08:00
    强烈按理 阿里云的日志服务。
    便宜又好用。还能直接监测 VPS 上面的日志文件,还有智能正则匹配功能。
    sadfQED2
        23
    sadfQED2  
       2020-08-25 19:46:53 +08:00 via Android
    https://www.xjiangwei.cn/2020/07/12/serverArchitecture/

    我个人博客项目的日志系统怎么样?绝对够轻量
    SmiteChow
        24
    SmiteChow  
       2020-08-26 10:12:57 +08:00
    Google Analytics
    aladdindingding
        25
    aladdindingding  
       2020-08-26 11:25:55 +08:00
    我们公司用的 clickhouse
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1031 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 20:02 · PVG 04:02 · LAX 12:02 · JFK 15:02
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.