V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
MySQL 5.5 Community Server
MySQL 5.6 Community Server
Percona Configuration Wizard
XtraBackup 搭建主从复制
Great Sites on MySQL
Percona
MySQL Performance Blog
Severalnines
推荐管理工具
Sequel Pro
phpMyAdmin
推荐书目
MySQL Cookbook
MySQL 相关项目
MariaDB
Drizzle
参考文档
http://mysql-python.sourceforge.net/MySQLdb.html
git00ll
V2EX  ›  MySQL

数据库内数据太多,查询条件太多该如何优化

  •  
  •   git00ll · 2021-07-10 00:35:50 +08:00 · 3009 次点击
    这是一个创建于 1211 天前的主题,其中的信息可能已经有所发展或是发生改变。

    数据库:mysql


    数据预计可达到3 亿条数据,15 个字段,但是需要 9 个字段作为可选参数做查询。 因为字段都是可选的,不知道索引如何加。还要根据创建时间逆序排序分页

    不加索引使用数据库全表扫描硬抗估计不行,除了走 ES 外,是否有其他更好的方案。


    难点就在于查询字段都是可选的,无法创建合适的索引,无法做合适的分表方案。


    搞个 myisan 从库,不加索引,不知是否可行?


    😔😔

    16 条回复    2021-07-12 17:32:03 +08:00
    ccde8259
        1
    ccde8259  
       2021-07-10 01:23:51 +08:00 via iPhone
    创建时间排序可以使用主键自增进行基于主键排序,分页以后变成一个 TopN 问题。剩下 9 个字段直接 Using Where 有多慢?
    matrix67
        2
    matrix67  
       2021-07-10 10:09:19 +08:00
    曹政有个这个文档,可以搜索看看 《 Mysql 性能优化教程.doc 》
    matrix67
        3
    matrix67  
       2021-07-10 10:11:56 +08:00
    wangxin13g
        4
    wangxin13g  
       2021-07-10 16:52:52 +08:00
    3 亿的数据已经不适合用 mysql 来存东西了,你插数据进去都费劲,换 mongo 或者列数据库或者 ES 吧
    zhengfan2016
        5
    zhengfan2016  
       2021-07-10 17:25:17 +08:00
    很好奇支撑 3 亿数据库查询用的是什么配置的服务器
    sy20030260
        6
    sy20030260  
       2021-07-10 17:33:05 +08:00
    核心也不是多维度查询的问题了,而是亿级数据 InnoDB 单表存储,完全是个不具备拓展性的方案。
    建议先重新评审下需求,3 亿数据,却没有任何一个字段或元组可以作为主维度来进行查询,合理吗?
    如果不合理,确定一个合理的主维度,做下分表,前端限制或默认带主维度进行查询就好了。
    一般来说,99.9%的情况都是需求不合理,剩下 0.1%才是确实需要用 ES 或其他查询引擎来解决的场景。
    wdlth
        7
    wdlth  
       2021-07-10 18:09:00 +08:00   ❤️ 1
    上 ClickHouse
    joApioVVx4M4X6Rf
        8
    joApioVVx4M4X6Rf  
       2021-07-10 18:47:48 +08:00
    @matrix67 求资源谢谢
    ericbize
        9
    ericbize  
       2021-07-10 18:56:18 +08:00 via iPhone
    主要是看看能不能减少数据, 其次就是选好主键, 多个联合或者排序的话考虑 联合索引,但是要注意顺序。 然后是 搭个从库 buff pool 搞大点, 单跑内存不跑硬盘!
    aaniao002
        10
    aaniao002  
       2021-07-10 21:23:20 +08:00 via Android
    oracle+索引,分布式数据库,redis 都可以秒出
    matrix67
        11
    matrix67  
       2021-07-11 09:41:45 +08:00
    @v2exblog #8 《 Mysql 性能优化教程.doc 》 就是这个啊
    zlowly
        12
    zlowly  
       2021-07-12 08:47:01 +08:00
    换用列式存储的数据库,例如上面提到的阿里开源的 clickhouse,或者国产的南大 gbase 等。
    liprais
        13
    liprais  
       2021-07-12 11:54:33 +08:00
    @zlowly 什么时候 clickhouse 变成阿里开源的了
    阿里的程序员会俄文?
    zhaozs1
        14
    zhaozs1  
       2021-07-12 17:11:29 +08:00
    clickhouse,老毛子的搞出来的
    zhaozs1
        15
    zhaozs1  
       2021-07-12 17:12:56 +08:00
    clickhouse,单机 64 内存,ssd 硬盘 无缝对接 mysql 3 亿数据基本秒查的
    zhaozs1
        16
    zhaozs1  
       2021-07-12 17:32:03 +08:00
    处理器 Intel(R) Core(TM) i5-10400F CPU @ 2.90GHz 2.90 GHz
    机带 RAM 64.0 GB 我自己这个机器做环境模拟 上亿数据单机抗问问的,10 个条件没有问题的,统计个 count 也很快的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2593 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 11:23 · PVG 19:23 · LAX 04:23 · JFK 07:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.