V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐工具
RoboMongo
推荐书目
50 Tips and Tricks for MongoDB Developers
Related Blogs
Snail in a Turtleneck
eggegg
V2EX  ›  MongoDB

一个 collection 有 3500 万条数据,我想操作 distinct 某字段,请问正确姿势!

  •  
  •   eggegg · 2015-06-15 15:35:35 +08:00 · 4600 次点击
    这是一个创建于 3481 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题试了下,非常慢,请问下有没有更好的姿势!

    9 条回复    2015-06-15 22:28:51 +08:00
    yangmls
        1
    yangmls  
       2015-06-15 16:39:38 +08:00
    有索引没?如果有,请检查

    1. mongo 版本,升级到 mongo 3.0,版本 2.X 经常有 index 无法命中的问题

    2. 有没有 query,query 是否有 index

    3. explain 一下

    4. log 文件,是否提示 low query

    5. 加 hint,不一定可行,这玩意在 find 之外的行为有点诡异
    yangmls
        2
    yangmls  
       2015-06-15 16:40:05 +08:00
    *slow
    dai269619118
        3
    dai269619118  
       2015-06-15 17:12:51 +08:00
    这问题问的...服
    d0evi1
        4
    d0evi1  
       2015-06-15 20:46:03 +08:00
    条件允许的话,丢到hadoop集群上跑一下.
    Had
        5
    Had  
       2015-06-15 21:32:32 +08:00
    @yangmls 是2.6行为诡异吧,2.4感觉还是挺不错的...
    我遇到实际运行时和explain的index选择不一样... 主动去getPlanCache().clear()还没有办法清除cache.
    yangmls
        6
    yangmls  
       2015-06-15 22:14:02 +08:00
    @Had 2.6 bug 多得逆天,别提了,都是泪

    我们有一个 findAndModify 的玩意,用在队列上,明明 explain 正常,但就是无法命中缓存,结果就是一天能跑出 15个G 的日志文件。。。。。
    yangmls
        7
    yangmls  
       2015-06-15 22:14:44 +08:00
    *命中索引
    Had
        8
    Had  
       2015-06-15 22:22:11 +08:00
    @yangmls
    我和你一样... 但是还是在硬着头皮升级...
    能不能留个啥交流一下,已经折磨了我们许久了,或许能有什么可以参考的...
    yangmls
        9
    yangmls  
       2015-06-15 22:28:51 +08:00
    @Had 我们已经升完 mongo 了

    扣扣 yangmls#live.cn
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3673 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 19ms · UTC 05:06 · PVG 13:06 · LAX 21:06 · JFK 00:06
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.