V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
veike
V2EX  ›  程序员

有大佬知道 960G 内存的服务器一般都干啥用?一般都怎么用?

  •  
  •   veike · 2021-12-14 20:57:31 +08:00 · 11138 次点击
    这是一个创建于 1073 天前的主题,其中的信息可能已经有所发展或是发生改变。
    如题,网上搜了一下未找到答案。很好奇这么大的内存一般用来做什么,有接触过的吗?
    96 条回复    2021-12-17 15:14:39 +08:00
    Steps
        1
    Steps  
       2021-12-14 20:58:25 +08:00
    开小鸡
    maemual
        2
    maemual  
       2021-12-14 20:59:54 +08:00   ❤️ 9
    Redis 服务器。。。
    Kylin30
        3
    Kylin30  
       2021-12-14 21:02:00 +08:00
    扫雷
    Kipp
        4
    Kipp  
       2021-12-14 21:03:11 +08:00 via iPhone
    做数据库啊,我司是这样的
    SbloodyS
        5
    SbloodyS  
       2021-12-14 21:05:02 +08:00
    hadoop 集群,我司最小的集群 2T 内存
    MHPSY
        6
    MHPSY  
       2021-12-14 21:17:04 +08:00
    老母鸡
    shm7
        7
    shm7  
       2021-12-14 21:31:40 +08:00
    放点缓存?搞点高速数据计算?
    xinbaqiu
        8
    xinbaqiu  
       2021-12-14 21:39:56 +08:00 via iPhone
    组装基因组
    jousca
        9
    jousca  
       2021-12-14 21:45:52 +08:00
    我这边是拿来开虚拟机
    boshok
        10
    boshok  
       2021-12-14 21:46:46 +08:00
    我们大约 2017 年时的服务器主流配置是 1T 内存,到 2019 年基本都是 3T 内存为主了。
    caviar
        11
    caviar  
       2021-12-14 21:52:49 +08:00
    对于数据库,数据分析集群的节点来说,1tb 根本不算大
    另外我前老板的理念是 几条内存远比开发人员时间便宜,所以为了方便我们有服务直接数据全在内存里 😂
    v2gf
        12
    v2gf  
       2021-12-14 21:56:53 +08:00
    母鸡啊
    hallDrawnel
        13
    hallDrawnel  
       2021-12-14 22:04:32 +08:00
    k8s 母鸡咯。厂里内存基本都不要钱,随便用。
    Tumblr
        14
    Tumblr  
       2021-12-14 22:27:11 +08:00
    2015 年的时候,我手底下一堆 1TB 内存的服务器。。。主要用来做 vSphere 主机了。。。
    ericbize
        15
    ericbize  
       2021-12-14 22:38:32 +08:00
    数据库的 缓冲池 , buffer pool 前司 1T 的 mssql 就是开了 700G 的缓冲

    然后是 宿主机, 但是其实一般 300 - 700 G 不会到 1T 这么大 ( 2019 的数据), 因为 物理机死了,虚拟机也会遭殃,之前问过云厂的人,一般都不会放这么大的内存, 免得死一台影响太多客户

    然后大数据那边是怎么玩的,我就不是很清楚了。
    opengps
        16
    opengps  
       2021-12-14 22:39:08 +08:00 via Android
    虚拟化,可以创建大量低配机器集群
    kidonng
        17
    kidonng  
       2021-12-14 22:53:57 +08:00
    不开个 Minecraft 服务器浪费了🐶
    sunmacarenas
        18
    sunmacarenas  
       2021-12-14 23:53:04 +08:00 via Android
    内存数据库吧,可以玩 SAP HANA
    anxxv2
        19
    anxxv2  
       2021-12-15 00:20:03 +08:00 via iPhone
    @caviar 那要突然宕机了咋办
    hljjhb
        20
    hljjhb  
       2021-12-15 00:23:59 +08:00
    @sunmacarenas HANA +1
    Remember
        21
    Remember  
       2021-12-15 00:38:05 +08:00
    如果不知道怎么用,那就别问了,你用不到。
    ys0290
        22
    ys0290  
       2021-12-15 00:40:54 +08:00 via iPhone
    运算服务器,芯片设计仿真用……
    linshenqi
        23
    linshenqi  
       2021-12-15 00:53:46 +08:00
    可能做渲染的吧
    msg7086
        24
    msg7086  
       2021-12-15 02:59:08 +08:00
    前几年我们有个客户买了台 3T 内存的 E7 拿来跑 VMware ESXi 。
    cabbage
        25
    cabbage  
       2021-12-15 03:09:46 +08:00 via iPad
    内存计算可以折腾搞搞 Spark ,Spark stream 之类。不过要是正经用,1TB 不到很可能不够的。
    shika
        26
    shika  
       2021-12-15 07:25:11 +08:00 via Android
    数据库服务器、虚拟化服务器都是几百 G 内存起步
    murmur
        27
    murmur  
       2021-12-15 07:39:59 +08:00
    电磁学仿真,看过别的实验室跑模型,起步 160g 内存占用
    spacezip
        28
    spacezip  
       2021-12-15 08:03:31 +08:00
    傲腾非易 单路接近 6t 四路接近 24t
    levinit
        29
    levinit  
       2021-12-15 08:45:36 +08:00 via iPhone
    那是接触场景不同所以绝对大,6t 都见过了,这种 960t 跑个大点的基因序列也就勉强够用的样子
    caviar
        30
    caviar  
       2021-12-15 08:45:53 +08:00 via iPhone
    @anxxv2 本质上每个程序只是一个 state machine ,完整的 state 在内存里,update 在持久化储存里,而且程序也不止一份。
    KevinBlandy
        31
    KevinBlandy  
       2021-12-15 08:47:05 +08:00
    我们有一台 120GB 的服务器,所有服务都跑上面的。
    HENQIGUAI
        32
    HENQIGUAI  
       2021-12-15 08:49:10 +08:00
    好家伙,楼上都太壕了,我看着我 256G 的硬盘陷入了沉思。。
    Juszoe
        33
    Juszoe  
       2021-12-15 08:58:29 +08:00
    科学计算,有多少用多少
    cpstar
        34
    cpstar  
       2021-12-15 09:00:24 +08:00
    把操作系统装在内存里
    l4ever
        35
    l4ever  
       2021-12-15 09:01:22 +08:00
    看用途, 如果闲置不知道干啥,
    那就安装 esxi 开虚拟机.

    教程在这里: https://zhongce.sina.com.cn/article/view/48441/
    GGMM
        36
    GGMM  
       2021-12-15 09:08:29 +08:00
    渲染、仿真、炼丹( maybe )
    rickiey
        37
    rickiey  
       2021-12-15 09:10:30 +08:00
    挖矿
    AyaseEri
        38
    AyaseEri  
       2021-12-15 09:20:49 +08:00
    前端开发
    Kininaru
        39
    Kininaru  
       2021-12-15 09:21:35 +08:00
    跑 Chrome
    Rico
        40
    Rico  
       2021-12-15 09:21:43 +08:00
    esxi
    wiken
        41
    wiken  
       2021-12-15 09:39:00 +08:00
    我们 4 台 240G 内存的服务器跑的 K8S
    felixcode
        42
    felixcode  
       2021-12-15 09:40:48 +08:00
    众所周知,32G 是人类使用内存的上限了,多出来的都是战未来 /体现优越感 /浪费。
    曾经最先进的火箭制造也只需要 16G 内存。
    w0017
        43
    w0017  
       2021-12-15 09:46:52 +08:00
    spark/impala,还有就是关系型内存数据库来一套。
    p2pCoder
        44
    p2pCoder  
       2021-12-15 09:48:16 +08:00
    parameter server
    LANB0
        45
    LANB0  
       2021-12-15 09:57:06 +08:00
    跑模型训练,比如 KALDI ,example 50G 内存都跑不起来
    misaka19000
        46
    misaka19000  
       2021-12-15 10:08:06 +08:00
    装数据库
    lyhiving
        47
    lyhiving  
       2021-12-15 10:21:26 +08:00
    数据库,数据库……
    YouKnowIt
        48
    YouKnowIt  
       2021-12-15 10:23:59 +08:00
    大数据里 960g 的内存都是小弟弟,我们队列经常 5T ,10T 大的内存。就这样大家一起用的时候还卡卡的
    limbo0
        49
    limbo0  
       2021-12-15 10:42:06 +08:00
    hadoop namenode 节点
    deplivesb
        50
    deplivesb  
       2021-12-15 10:42:32 +08:00
    才 960G ,我司最小的集群内存也有 3T 了
    limbo0
        51
    limbo0  
       2021-12-15 10:42:42 +08:00
    @YouKnowIt #48 我觉得 lz 说的是单机 960G 吧
    yyminmax
        52
    yyminmax  
       2021-12-15 10:51:22 +08:00
    科学计算,动植物的基因组组装,相当消耗内存,1T 起步。
    tyhunter
        53
    tyhunter  
       2021-12-15 10:51:53 +08:00
    基本跑数据库的比较多,看了下公司公共集群是 6000core+30T 内存
    ykk
        54
    ykk  
       2021-12-15 10:53:11 +08:00
    跑训练啊 内存当存储用
    czfy
        55
    czfy  
       2021-12-15 10:53:29 +08:00
    为什么服务器的内存要这么大呢
    因为有些运算是先把数据放到内存里,然后再计算的
    这样的话内存多大都不嫌大

    B 端的事情,就别用 C 端思路来考虑了
    ji39
        56
    ji39  
       2021-12-15 11:10:42 +08:00
    有些人说图片不要放数据库里
    Jione
        57
    Jione  
       2021-12-15 11:12:43 +08:00
    做区块链节点
    ophunter
        58
    ophunter  
       2021-12-15 11:13:43 +08:00
    公司的编译服务器就是这么多内存
    zhusimaji
        59
    zhusimaji  
       2021-12-15 11:20:06 +08:00 via iPhone
    ps 服务需要
    nekoneko
        60
    nekoneko  
       2021-12-15 11:41:15 +08:00
    搞数据库,例如 hana 数据库
    matepi
        61
    matepi  
       2021-12-15 11:43:47 +08:00
    当你的 datanode 到了一定量的时候,这有上限的 namenode 不就得这么玩了么……
    abbottcn
        62
    abbottcn  
       2021-12-15 11:55:45 +08:00 via iPhone
    格林函数方案,计算材料电子结构,中等尺度体系,一上来,就需要 2TB 内存。

    最普通的能量计算,比如 20 个主族元素构成的有机分子,CCSD(T)计算能量,12 核心,搭配 960GB 内存,可能会遭遇内存不足。

    其他没用过,不晓得。
    abbottcn
        63
    abbottcn  
       2021-12-15 11:57:57 +08:00 via iPhone
    补充一下,以上提到的,
    是基于量子力学原理进行的量子化学计算,
    主要涉及电子结构计算。
    电子结构计算,不是计算电子本身的结构。

    以上计算任务,也和量子计算没有关系。
    gt15207
        64
    gt15207  
       2021-12-15 12:21:01 +08:00   ❤️ 1
    前几年上 T 内存的主机还挺少见,但这两年就见过***太多***单机 1024GB 内存的主机跑 Oracle 数据库了
    leiuu
        65
    leiuu  
       2021-12-15 12:43:49 +08:00
    围观一下。这么大的单节点还没见过...
    做数据库听起来可太香了 要啥优化技巧 直接内存计算...
    20015jjw
        66
    20015jjw  
       2021-12-15 13:30:46 +08:00
    大数据跑个 query
    js8510
        67
    js8510  
       2021-12-15 13:33:00 +08:00
    load ML models. 做 cache, in memory DB, in memory indexing etc.

    像这些 usecase ,都是越大越好的。不过 1T 已经很大了,大规模部署还挺贵的。。我最大也就见过用 2TB 的,也不是很大规模部署的那种。
    nyanyamilk
        68
    nyanyamilk  
       2021-12-15 14:12:54 +08:00
    vmware 跑了几百台虚拟机
    gps949
        69
    gps949  
       2021-12-15 14:23:57 +08:00
    永不关机无盘系统?
    diggzhang
        70
    diggzhang  
       2021-12-15 14:40:29 +08:00
    机器学习模型迭代,疯狂收敛疯狂迭代
    tenserG
        71
    tenserG  
       2021-12-15 16:45:08 +08:00
    见过的 hadoop
    strict
        72
    strict  
       2021-12-15 16:50:32 +08:00
    我司跑模型的机器内存 1T 起
    xiaming123
        73
    xiaming123  
       2021-12-15 17:19:14 +08:00
    这都是企业级的应用或者做分布式计算的话,这点内存其实还是杯水车薪的。不过让我这刚薅了腾讯云轻量级羊毛的瞬间卑微了,不过个人如果建站或者学习测试,建议一定薅这波羊毛,2 核 4G80G 三年只要 222 ,比新用户还便宜,老用户也可以薅,速度冲 3.cn/1naWOG-T ,月底应该就么有了。
    tojohnonly
        74
    tojohnonly  
       2021-12-15 17:29:08 +08:00
    @MHPSY 母鸡小鸡是什么梗啊,哈哈哈
    snw
        75
    snw  
       2021-12-15 17:40:00 +08:00 via Android
    @tojohnonly
    母鸡=宿主机
    小鸡=虚拟机

    还有 mjj 、木鸡鸡指的是隔壁某论坛网友
    superchijinpeng
        76
    superchijinpeng  
       2021-12-15 18:30:43 +08:00
    以前主要是 Yarn ,现在是 Kubernetes
    v2000000001ex
        77
    v2000000001ex  
       2021-12-15 18:35:18 +08:00
    有 512g 的。没有显卡,无法挖矿
    zbatman
        78
    zbatman  
       2021-12-15 19:10:40 +08:00
    跑 Spring Boot 吧
    liulongquan
        79
    liulongquan  
       2021-12-15 19:25:45 +08:00
    @murmur 巧了,HFSS CST Feko
    iyaozhen
        80
    iyaozhen  
       2021-12-15 19:28:57 +08:00
    跑数据库吧 这个配置贼强
    WinkeyLin
        81
    WinkeyLin  
       2021-12-15 19:43:46 +08:00
    非相关从业人员表示看了各位大佬的回答之后大受震撼
    eason1874
        82
    eason1874  
       2021-12-15 19:56:40 +08:00
    我连硬盘都没用过这么大的,服务器数据最多时才几十 GB
    YaakovZiv
        83
    YaakovZiv  
       2021-12-15 21:57:29 +08:00
    数据库吧,在医院见过类似的服务器,32GB 一条的,插了 48 条,上面运行了数据库,承载的是数据库,具体内容就不知道了。
    Eymard
        84
    Eymard  
       2021-12-15 23:03:19 +08:00
    跑电磁仿真 HFSS CST Feko 之类的
    来 1T 吃 1T 来几 T 吃几 T
    pengtdyd
        85
    pengtdyd  
       2021-12-15 23:23:23 +08:00   ❤️ 1
    这个性能玩个扫雷都卡,能干啥?
    codingbody
        86
    codingbody  
       2021-12-15 23:48:41 +08:00 via iPhone
    redis 、db 参考 stackoverflow
    https://stackexchange.com/performance
    xnth97
        87
    xnth97  
       2021-12-16 05:14:55 +08:00   ❤️ 1
    把上次问一个矩阵 20GB 怎么做乘法的大哥叫来
    kera0a
        88
    kera0a  
       2021-12-16 09:15:04 +08:00 via iPhone
    看了各位大佬的回答,突然觉得公司的 hadoop 节点 64G 内存是不是有啥问题。
    vincent7245
        89
    vincent7245  
       2021-12-16 10:13:58 +08:00
    上万个节点规模 hadoop 集群中的 Namenode 节点就需要大内存服务器,况且 960G 也不算大啊,大数据领域中 TB 的也很常见
    hananonamida
        90
    hananonamida  
       2021-12-16 11:09:52 +08:00
    @rickiey 所以说内存能挖什么?求推荐
    secsilm
        91
    secsilm  
       2021-12-16 15:05:20 +08:00
    数据 EDA
    Mr54
        92
    Mr54  
       2021-12-16 22:52:10 +08:00
    这让我想到一张图 NASA:我们用 4kb 的 ram 把人类送上了月球 下面是 chrome 吃掉了 8G 内存的一大半,差不多这个意思
    MHPSY
        93
    MHPSY  
       2021-12-17 02:05:50 +08:00
    @tojohnonly 母机就是可以下蛋 下出来的就是小鸡(云服务器)
    SIGEV13
        94
    SIGEV13  
       2021-12-17 07:26:15 +08:00
    搜索引擎索引,kayak 的航班搜索就用了三台 768GB 服务器
    Barnard
        95
    Barnard  
       2021-12-17 09:13:15 +08:00
    Redis 。
    luvroot
        96
    luvroot  
       2021-12-17 15:14:39 +08:00
    小姐姐 link 关键字索引服务
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2740 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 12:37 · PVG 20:37 · LAX 04:37 · JFK 07:37
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.