V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
zrp1994
V2EX  ›  服务器

千万条数据级服务器的配置应该是什么样子

  •  
  •   zrp1994 · 2015-10-20 09:40:00 +08:00 · 3467 次点击
    这是一个创建于 3322 天前的主题,其中的信息可能已经有所发展或是发生改变。

    现在有个服务器,每天新增两百万条数据左右,然后总数据已经达到 5000W+,但是 PV 较小,每天 1000+左右吧。请问至少服务器要达到什么样的配置才能不吃力。

    12 条回复    2015-10-20 13:48:46 +08:00
    ryd994
        1
    ryd994  
       2015-10-20 09:50:53 +08:00
    0.现在什么情况?什么配置?为什么吃力查清了么?
    1.是什么数据?旧数据能不能优化走?分库分机
    2.有多少索引?索引多大?内存大小应当参照索引大小配。
    既然请求量不大,那可以忽略缓存部分( memcached/redis 在没有大量重复查询的时候没什么用)
    3.机械硬盘应该是顶的住的,如果你不介意延迟的话
    4.如果软 raid ,考虑软 raid 的计算量
    zrp1994
        2
    zrp1994  
    OP
       2015-10-20 10:17:58 +08:00
    @ryd994
    1. 主要是 8G 内存几乎占满, CPU 和 IO 占用都稍低。主要是 Select 语句查询太慢,现在正在考虑分表,但是感觉按天分是不是太多了
    2. 由于数据量大的部分的表结构是其他人规定的,发现他们没有给索引……而且查询的时候也不按索引查询。
    3.机械硬盘,没有加缓存。
    vibrance
        3
    vibrance  
       2015-10-20 10:21:14 +08:00 via iPhone
    站群? 5000 万多才千访问,为什么不关啦
    zrp1994
        4
    zrp1994  
    OP
       2015-10-20 10:22:25 +08:00
    @vibrance 不是站群
    HentaiMew
        5
    HentaiMew  
       2015-10-20 10:36:00 +08:00
    5000 万的数据量 oracle 应该能驾驭,不过没索引当然慢了…
    newtonisaac
        6
    newtonisaac  
       2015-10-20 10:36:01 +08:00
    索引
    kn007
        7
    kn007  
       2015-10-20 10:40:11 +08:00
    没索引,你怎么换都坑爹
    zrp1994
        8
    zrp1994  
    OP
       2015-10-20 10:45:44 +08:00
    @kn007
    @newtonisaac
    @HentaiMew
    确实是,但是要改也只能等到下一期了,至少还有半个月……坑爹
    ryd994
        9
    ryd994  
       2015-10-20 10:46:10 +08:00 via Android
    必须加索引!没索引你居然也能活到现在……
    没索引除非你内存能放下整个数据库,然而即使那样也比索引慢
    没索引,换什么配置都药丸
    zrp1994
        10
    zrp1994  
    OP
       2015-10-20 10:48:44 +08:00
    @ryd994 好吧……吓得我立马滚去在本地鸡上测试下
    uleh
        11
    uleh  
       2015-10-20 12:06:19 +08:00
    每天才 1000+的 PV ,好一点的 PC 配置都可以承受了吧
    关键还是数据库要索引。。
    oott123
        12
    oott123  
       2015-10-20 13:48:46 +08:00 via Android
    难道每次查询都要扫全表吗…
    为服务器的硬盘感到默哀
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1822 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 35ms · UTC 16:31 · PVG 00:31 · LAX 08:31 · JFK 11:31
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.