V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
code2019
V2EX  ›  程序员

[求助]运营运维平台技术选型,求前辈指点一二

  •  
  •   code2019 · 2019-08-12 08:11:18 +08:00 · 1756 次点击
    这是一个创建于 1930 天前的主题,其中的信息可能已经有所发展或是发生改变。

    最近项目想要搭建一个数据接入平台,但是苦于刚刚接触运营运维,对很多技术栈不太了解,想请教一下各位。

    目标

    实现一个数据平台,对终端的操作日志数据上报(例如,客户端点击事件日志,操作请求成功 /失败日志等等),之前一直使用 InfluxDB 进行数据的存储,但是用户量上来,内存就爆了。 想要重构这个服务,搭建一个数据接入平台进行统一的数据采集存储、自定义数据格式、监控等等功能。同事配合 Grafana 进行数据显示。这里的可能更多是面向业务运维的东西

    目前了解到的一些技术栈

    1. prometheus
    2. 基于 Flume+Kafka+Spark-Streaming 的实时流式处理
    3. Flink ???(还没有了解过)
    4. 第三方接入平台:使用阿里云 / 华为云的数据接入服务?
    5. ...
    • 有运营运维方面的前辈,可以帮忙指导一下嘛。目前国内一线互联网运营运维平台都使用哪些技术呢?希望能给出一点意见帮忙进行技术选型呢?
    • 或者,你们的运营运维平台都使用的什么技术栈呢?
    3 条回复    2019-08-12 17:27:38 +08:00
    opengps
        1
    opengps  
       2019-08-12 08:18:42 +08:00 via Android
    采集只进消息队列,避免对原业务造成影响
    bantao
        2
    bantao  
       2019-08-12 09:40:06 +08:00
    ELK
    kennyliu
        3
    kennyliu  
       2019-08-12 17:27:38 +08:00
    InfluxDB 时序数据库了解一下 纳秒级别数据记录
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2587 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 04:47 · PVG 12:47 · LAX 20:47 · JFK 23:47
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.