V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  iamtuzi3333  ›  全部回复第 3 页 / 共 5 页
回复总数  91
1  2  3  4  5  
104 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@yinft 我限制了,但是还是用的很严重。
@AlanBrian 但是现在备用内存疯狂涨,把可用压榨到十几 M 了,我看了内存占用里面,备用内存中全是他的 mapper 映射文件,用量太厉害了。
@jason56 我用的新版本,就是这个引擎,内存设定的是 50 多 G ,
@pangdundun996 已经改了,但是效果不明显。
@GodIsJasonBourne 这个新版已经是这个设置,参数设置的 50 多 G 。
104 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@yinft 羡慕,咱们没人去搞 docker ,项目也是能 run 就行
104 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@wheat0r 原来这样子,那看来还是机器的问题了。
@ShuA1 那看来就是配置的问题了。现在这个问题比较难处理,难顶,现在准备更换存储方式了。
105 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@wheat0r 这个倒不会,同台服务器上面有个 sqlserver ,MySQL ,上面也是存了大量数据,但是未发现有这么吃内存,而且现在发现 mongo 太迟了,他的底层是内存映射( Memory-Mapped Files ) 来处理数据库文件,目的是尽可能将数据库数据加载到内存中以提高读写性能。MongoDB 默认会尽量使用可用的内存来缓存数据文件和索引,因此当数据集较大时,mongod.exe 可能会占用大量内存。
现在这是个无底洞,而且不会自动清除映射文件,全是占用在备用内存中,导致可用内存越来越少。现在我在想找新的数据库来替换了。
105 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
目前项目我停掉了,占用太多了,估计 mongo 就是吃内存,这个似乎是他原本就这么设计的。
105 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@pxllong 复制了一条,大概就是这样
insert query update delete getmore command dirty used flushes vsize res qrw arw net_in net_out conn time
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:06.463
*0 *0 *0 *0 0 1|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 112b 59.9k 6 Sep 19 19:25:07.463
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:08.463
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:09.464
*0 *0 *0 *0 0 1|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 112b 59.9k 6 Sep 19 19:25:10.463
*0 *0 *0 *0 0 4|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 514b 60.8k 6 Sep 19 19:25:11.463
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:12.464
*0 *0 *0 *0 0 0|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 111b 59.8k 6 Sep 19 19:25:13.464
*0 *0 *0 *0 0 1|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 112b 59.9k 6 Sep 19 19:25:14.464
*0 *0 *0 *0 0 2|0 0.0% 0.0% 0 6.49G 255M 0|0 0|0 321b 60.5k 6 Sep 19 19:25:15.464
105 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@pxllong 没法发图片,我打出来部分信息,每秒输出打印 10 条左右,有个 vsize 数据每条都是 6.49G ,
105 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@dejavuwind 不需要频繁查询,但是有时候需要翻查历史某一段时间的数据,我看过时序数据库,但是部分是单个时间单个数据,我的数据是{id:1,data:[1,2,3]}这种,有多个字段,data 是个浮点数数组,有时候会是 200 个数字。而且每个传感器一张表,时序数据库好像不太适合。热数据我都放在了 Redis 的队列中了。
105 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@liprais 有道理,我申请一下多节点服务器,但是这个估计有点难,1 这个我限制了一半内存,明天看看是啥效果,谢谢大佬解答。
105 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@liprais 但是吃的太厉害了,影响其他项目运行了,现在很难受,我不知道怎么改好一点,虽然他确实很好用,在考虑要不要换其他数据库了
105 天前
回复了 iamtuzi3333 创建的主题 MongoDB 大佬们,大问题请教,内存占满
@pxllong 之前修改是 50GB ,但是还是吃的太厉害了,影响其他项目运行了,还有其他办法吗
@pandaidea 大佬,目前查询还好,我加了一个字段就是 unix 时间戳,查询的时候都是单集合查询,根据时间戳范围查询数据,但是现在发现 MongoDB 占内存非常严重,持续压榨可用内存,而且这个进程也是占用了大量的内存,很难受。
@lmq2582609 大佬,我现在发现这个问题了,吃内存非常严重,192GB 的服务器直接把可用内存干到十几 M 了,这个有办法解决吗
今天又是上班的一天,早上摸鱼了一阵,这几天都在排查服务器问题,发现 mongo.exe 把服务器可用内存挤压的很小,基本没法用了,这点目前没有解决,领导又讲了一下要用什么技术解决其他项目的问题,每天混着问题过日子,有点腻了,自己又不想太折腾。
@finolaire 羡慕!
@Jony4Fun 也是,环境太差了,而且这行有时候还是很累的。
@zw1one 感觉啥也没有兴趣,只想躺着。
@theprimone 那你已经是前端大佬了。

现在没啥兴趣,打工纯就是为了生存,唉,难顶,生态不太端正了。

@laminux29 大佬,你懂 MongoDB 进程为什么会提交很多作业吗,我看了一下服务器,提交了 40 多 GB 的作业,很多 mapper 文件,导致服务器可用内存越来越少。
@meilicat 厉害啊,最起码有兴趣去参加。
@awalkingman 上学也是没有怎么认真学,确实得接受自己是个混子,不过有时候还是想奋斗一下哈哈
@tool2dx 竞赛没想法了,工作了都是觉得能用就行,不会再问,搞不了找别人这种心态了。。。
@NessajCN 大佬厉害,我不是学不进去,可能还是动力不够强,刺激不够,学完东西能立马应用解决问题那确实很爽。
@meilicat 大佬强啊,我是废了,只想着偷懒,算法啥的也没去学习过,一直是能用就用的状态。
@Wkj1998 确实没啥太大压力,对象都没,也没有贷款,一人吃饱的状态。。。
@Lemon2ee 很大可能是,虽然想考公,报名了几次,发现人数超多了,就没去了,之前也考过编外合同工,让我去上班,我没去。
106 天前
回复了 majianglin 创建的主题 程序员 关于 MQTT 协议有几个问题想请教
@sagaxu 不是 websocket ,就是普通的 socket 通信; 1 有可能,因为数据是每秒发送一条过来,600 多个可能就有 600 多条同一时间发送过来; 2 的话内存泄漏应该不会,除了入库,它还会一直写入到文件中,此时文件应该一直持续在内存中,很大概率是这个问题; 3 这个项目写的人完全没考虑用缓存去处理数据,来一条数据就入库并且写入文件,这个问题似乎也不存在;现在不是马上占满,就是慢慢爬上,一直让可用内存变少,备用内存持续上涨,最后只剩下十几 M ,服务器运行内存是有 192GB 的,复现就只能 run 项目慢慢等,其中也不会有什么报错消息出来,这个很头疼,谢谢大佬的解答。
1  2  3  4  5  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2654 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 15:31 · PVG 23:31 · LAX 07:31 · JFK 10:31
Developed with CodeLauncher
♥ Do have faith in what you're doing.