V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zk123
V2EX  ›  程序员

十亿级数据报表,选用什么数据库查询比较快

  •  
  •   zk123 ·
    zk-123 · 333 天前 · 3828 次点击
    这是一个创建于 333 天前的主题,其中的信息可能已经有所发展或是发生改变。

    请问各位 v 友们,数据量每日增长约 300w,要做报表,在十亿级别的数据量里,要想查询速度在 2s 内返回,用什么数据库存储查询比较快?

    (最好单表或不需要自己做额外业务,可以加索引,插入更新慢不要紧,查询快就好。)

    27 条回复    2021-05-20 08:29:08 +08:00
    shakeyo
        1
    shakeyo   333 天前
    mysql+异步队列计算足够简单足够满足需求了
    qiayue
        2
    qiayue   333 天前   ❤️ 2
    ClickHouse
    opengps
        3
    opengps   333 天前
    这主要得看你的查询条件,我当年把 gps 坐标轨迹,压缩到只允许 2 个查询结构,15 亿行里分了 31 个区,秒查三天轨迹
    另外,硬盘介质一定要快,尽可能用好的 ssd
    chiva
        4
    chiva   333 天前 via iPhone
    单查询 mysql 完全满足啊
    nuk
        5
    nuk   333 天前
    有索引基本都秒查吧,唯一要担心的就是你的 index 塞不进内存。
    lasuar
        6
    lasuar   333 天前
    ck #2
    Wincer
        7
    Wincer   333 天前
    clickhouse,非常适合 olap,我们最大的一张表有 600 亿的数据。
    wangyanrui
        8
    wangyanrui   333 天前 via Android   ❤️ 1
    看查询条件是什么样子,不然没法下定论
    zk123
        9
    zk123   333 天前
    @opengps @wangyanrui 主要聚合统计偏多
    qiayue
        10
    qiayue   333 天前
    不用选了,上 ClickHouse 吧,CH 就是为这个需求而生的
    vincent7245
        11
    vincent7245   333 天前
    要看你的业务了,如果是统计需求比较多可以考虑大数据技术栈
    samuel
        12
    samuel   333 天前
    ClickHouse
    lucyplay
        13
    lucyplay   333 天前
    ck
    lixintcwdsg
        14
    lixintcwdsg   333 天前
    clickhouse 解决你的所有问题
    yangqingrong
        15
    yangqingrong   332 天前 via Android   ❤️ 1
    mycat
    inwar
        16
    inwar   332 天前 via Android
    Ck 或者 es
    hangszhang
        17
    hangszhang   332 天前
    统计需求多 mysql 肯定不行, clickhouse 吧
    yangzh
        18
    yangzh   332 天前 via iPhone
    clickhouse?
    rapperx2
        19
    rapperx2   332 天前
    clickhouse +1
    Cowhitewhite
        20
    Cowhitewhite   332 天前
    vertica ?
    NillSpake
        21
    NillSpake   332 天前
    clickhouse +1
    IDAEngine
        22
    IDAEngine   332 天前 via iPhone
    clickhouse +1
    superman2
        23
    superman2   332 天前
    回复这么多 clickhouse,现在 clickhouse 有这么火吗?你们有谁都用在生产上面了
    superman2
        24
    superman2   332 天前
    @yangqingrong 好久没有在头条上见到你了
    oneoyn
        25
    oneoyn   331 天前
    分布式数据库 mycat
    zk123
        26
    zk123   302 天前
    感谢大家的建议,clickhouse 很不错,但是支持 ClickHouse 的云平台只有阿里云,而且价格太贵,自己搭一套运维成本太高,纯报表的聚合使用 clickhouse 性价比太低。最终使用了 MongoDB,多维度分表的方式。
    zk123
        27
    zk123   151 天前
    后又换成了 Clickhouse
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   3754 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 07:47 · PVG 15:47 · LAX 00:47 · JFK 03:47
    ♥ Do have faith in what you're doing.