V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
compilelife
V2EX  ›  分享创造

看日志痛苦——可能是你方法不对:推荐一款通用日志分析工具

  •  2
     
  •   compilelife ·
    compilelife · 2020-10-18 07:57:45 +08:00 · 5295 次点击
    这是一个创建于 1526 天前的主题,其中的信息可能已经有所发展或是发生改变。

    preview

    亮点特性:

    • 支持大文件秒开(macbook 2015 上 2.5G 文件 5s 内打开)
    • 时间线功能:日志再乱,思路清晰
    • 小窗过滤:双线程查问题
    • TAG 栏加持
    • 快速、轻量、内存占用少
    • 保存、打开工程:没有日志是看一天解决不了的,如果有,那就多看几天
    • 切割日志的合并打开(待开发)
    • 日志格式化高亮(待开发)
    • 智能分析(待开发)

    项目地址:gitee, github

    了解软件设计思路: https://zhuanlan.zhihu.com/p/212961205

    第 1 条附言  ·  2020-10-19 16:37:44 +08:00
    为感谢大家的关注,发起一个“推荐得永久下载权利”的活动。

    目前下载权利是赞助者的特权: https://mianbaoduo.com/o/bread/aZeTkpc=

    现开启活动如下:

    1. 推荐 3 个以上赞助者;或 10 个以上好友参与 star 。将获得“永久下载权利”
    2. 请私信 [email protected] ,附上好友昵称
    3. 我将发送“永久下载权利”的地址到你的邮箱
    25 条回复    2020-11-10 11:55:15 +08:00
    CEBBCAT
        1
    CEBBCAT  
       2020-10-18 08:05:26 +08:00 via Android
    没想到还有这种工具,想了想倒也是,凭什么没有,有创造力!👍
    0o0O0o0O0o
        2
    0o0O0o0O0o  
       2020-10-18 08:38:22 +08:00 via iPhone
    日志格式化高亮(待开发)

    个人觉得强大的过滤和这个功能比较重要
    qiushaox
        3
    qiushaox  
       2020-10-18 08:40:37 +08:00 via iPhone
    对于我这种天天被日志折腾的人,这东西非常好👍
    compilelife
        4
    compilelife  
    OP
       2020-10-18 08:42:44 +08:00
    多谢大家让我知道方向是对的,做的东西对大家有用,才有动力继续开发😄
    ian511
        5
    ian511  
       2020-10-18 08:45:00 +08:00 via Android
    好东西 star 了,设计思路文档建议伴随后续需求开发一起更新分享一下,持续关注
    ivyliner
        6
    ivyliner  
       2020-10-18 08:59:22 +08:00
    @compilelife 我需要先把 log 文件下载到本地然后再使用这个工具来查看 ?
    compilelife
        7
    compilelife  
    OP
       2020-10-18 09:01:45 +08:00
    @ivyliner 嗯,是的。后面可以考虑加上远程文件的支持
    GaoGeYang
        8
    GaoGeYang  
       2020-10-18 11:30:01 +08:00
    star 了,希望能加上对远程文件的支持
    leafdream
        9
    leafdream  
       2020-10-18 12:09:06 +08:00
    lnav
    watzds
        10
    watzds  
       2020-10-18 12:14:26 +08:00 via Android
    不是 grep 等命令就行了吗?或者收集到日志平台
    hcsu
        11
    hcsu  
       2020-10-18 12:20:42 +08:00 via iPhone
    hhszl
        12
    hhszl  
       2020-10-18 13:45:00 +08:00
    很好的创意,已 Star,赞一个!
    micolore
        13
    micolore  
       2020-10-18 16:01:42 +08:00 via iPhone
    @watzds 小项目这样还行,用 awk 、sed 、grep 。大的肯定要 elk 了。
    compilelife
        14
    compilelife  
    OP
       2020-10-18 20:02:13 +08:00
    @micolore @watzds

    没错,是这样的。
    另外一个考虑是跨平台,让 windows 的同学 grep 下怕是没几个有环境的

    其实 vim 也有类似过滤窗(vimgrep),和时间线(mark 书签)的概念,但是,会用的也是少数。
    watzds
        15
    watzds  
       2020-10-18 22:39:27 +08:00 via Android
    @compilelife 基本没在本地处理过日志,都是 ssh 到线上或者日志平台上搜索
    watzds
        16
    watzds  
       2020-10-18 22:43:35 +08:00 via Android
    @micolore 多大算大呢,我一般还是 grep 或者阿里云日志,不会下载到本地处理。不过单服务最多也就十几台,单日志最多一两亿
    compilelife
        17
    compilelife  
    OP
       2020-10-19 09:11:18 +08:00   ❤️ 1
    @watzds 我们的场景(也是我的最初出发点)是这样的:

    我们是机顶盒设备,压力测试会产生较大日志(一般在几百 M,如果软件异常,可能会出现 1 ~ 2G 的情况)。

    机顶盒设备的软件是多进程架构,也就意味着,一旦压力测试时出错,需要理清纠缠各个模块的时序、先后逻辑。

    在看问题时,比如 ANR/CRASH,可以发现一些蛛丝马迹,但也只是线索,我们需要从线索推断问题原因。有时会出现在一份日志跟踪多个线索的情况。

    可以说,loginsight 是为这样的场景定制的。

    不过,推而广之,也是可以支持其他看日志的需求。

    对于 ssh 的远程日志,如果不需要复杂的分析、推理,直接 grep 某个关键字即可。如果需要,后期考虑支持打开 ssh 上的文件
    shunia
        18
    shunia  
       2020-10-19 09:48:49 +08:00
    可以,有用,希望做大做强
    Lemeng
        19
    Lemeng  
       2020-10-19 10:24:31 +08:00
    看日志确实痛苦,谢谢,辛苦了
    0o0O0o0O0o
        20
    0o0O0o0O0o  
       2020-10-19 20:49:37 +08:00 via iPhone
    附言的模式不错,RDM 这些软件也是这样。但第一点我觉得在技术社区很容易引发争议,建议楼主谨慎考虑。
    compilelife
        21
    compilelife  
    OP
       2020-10-19 22:36:31 +08:00
    @0o0O0o0O0o 所言极是。本意是想让大家积极参与帮助推广,让更多同学接触到这个软件,却有刷星之嫌。

    更正为:1. 推荐 3 个以上赞助者 。将获得“永久下载权利”

    如果的确有想要的同学,没满足条件也没关系,邮箱私信我即可~
    jackrebel
        22
    jackrebel  
       2020-10-22 16:22:53 +08:00
    如果有远程看的功能就好多了。 现在很不方便。
    ygtq
        23
    ygtq  
       2020-10-22 17:11:16 +08:00
    不是一般都是 es kibna 么
    jackrebel
        24
    jackrebel  
       2020-10-23 11:13:40 +08:00
    一个上 G 的日志文件, 要下载下来才能分析。。。 好苦。 快快加入远程功能。
    compilelife
        25
    compilelife  
    OP
       2020-11-10 11:55:15 +08:00
    近期准备开始支持远程功能。

    有需要的同学,欢迎来此讨论: https://github.com/compilelife/loginsight/issues/11
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2883 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 12:33 · PVG 20:33 · LAX 04:33 · JFK 07:33
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.