V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
uiosun
V2EX  ›  问与答

时序 DB 在需 25 万张表的情况下,该怎么设计?

  •  
  •   uiosun · 17 天前 · 440 次点击

    目前情况:

    • 背景:大数据方面的纯萌新,想做一些金融方面的积累
    • 数据库:TD Engine ,目前存储一些 原始数据(接近 100G )

    问题:

    股票、期货、ETF 等市场的每个标的,都有配套的一些 分析数据(预估达到 500G )

    由于按时间作为唯一键存储,导致同一时间只有一条数据,所以表数量激增:

    5000 个标的 * 每个标的约有 50 个特征 = 250,000 张普通表

    用 DBeaver 查看近万表就已经很卡了,所以在开工前,请教各位大佬,25 万张表时,是否性能会比较差?是否应该提前分库?

    或者将微秒时间戳叠加( 0-999 能存 1000 个标的),放在一张普通表里?

    25 万张是保守估计,后面可能会有更多奇奇怪怪的想法,去试验一下就会新增 5000+ 张表……之前我都是用 MySQL/Mongo 这种 DB ,面对这个量,有点害怕

    2 条回复
    whileFalse
        1
    whileFalse  
       17 天前 via Android   ❤️ 1
    为什么一个表只放一个特征字段?
    uiosun
        2
    uiosun  
    OP
       17 天前
    @whileFalse 有道理!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2559 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 27ms · UTC 09:43 · PVG 17:43 · LAX 02:43 · JFK 05:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.