V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
Distributions
Ubuntu
Fedora
CentOS
中文资源站
网易开源镜像站
plantparknet
V2EX  ›  Linux

平时需要抓取大量数据,想入台刀片机放在家里,求 V 友推荐

  •  1
     
  •   plantparknet · 2017-01-29 13:49:21 +08:00 · 14882 次点击
    这是一个创建于 2885 天前的主题,其中的信息可能已经有所发展或是发生改变。
    云主机已经有两台,国内一台,跑着 wordpress ,香港一台目前闲置,但国内 ssh 连延时比较明显。两台主机都是入门级配置,“ CPU:2 核,内存:2.0 GB ,磁盘类型:普通磁盘,磁盘:20 GB ,带宽:7 Mbps ,操作系统:CentOS 6.4 64 位"

    国内云主机连接方便但跑着 Wordpress ,虽然流量不大,但担心跑的程序或修改的配置对其造成影响,不想花太多精力维护。

    主要是平时数据抓取的需求比较大,高峰期一天几百 G 的流量,目前在 Mac 上跑虚拟机,但程序一运行,风扇就开始疯狂的转,最近还出现过几次虚拟机崩溃的情况,虽然分配了 6G 内存,并没有多少改善。多少有些心疼现在的 Mac 。

    有朋友推荐 Gen3 ,但发现国内新机配置也较一般,价格似乎有些偏高。淘宝发现有许多二手刀片机,是一个不错的选择, cpu 高达 32 核也才两千左右的价格。

    对服务器的需求顺序如下:
    CPU : 16 核以上
    内存: 6G 以上
    硬盘: 500G 以上,最高可到 1T-2T ,现有几块机械的 USB 外接硬盘,不知是否可以使用。

    家里还存有几块树莓派,从一代到二代都有几块,还有几块 Intel Galileo ,但这性能似乎很难满足我的需求吧,懒得折腾了,当然有时间可以搭个小集群玩玩。

    目前淘宝找到如下的服务器

    1.游戏工作室首选 插大显卡 24 核 服务器 静音 HP Proliant DL380 G7
    https://item.taobao.com/item.htm?spm=a1z0k.7385961.1997985097.d4918997.9FV5W0&id=38413656832&_u=t2dmg8j26111

    2.新到货 新款 2011 针 32 核 E5-2670 C2 CPU 32G PK DELL R620 服务器
    https://item.taobao.com/item.htm?spm=a1z2k.6997417.0.0.t6s6WG&scm=12306.1.0.0&id=543998142884

    3.原装 IBM X3650 M3 X5650 X5660*2 24 核 云计算 虚拟化平台 服务器
    https://item.taobao.com/item.htm?spm=a1z2k.6997417.0.0.t6s6WG&scm=12306.1.0.0&id=523720271697

    此外,此类刀片机放在家中,可有好的防尘静音措施么?

    先行谢谢各位 V 友了~~

    祝各位鸡年都有更多的好机机~~
    第 1 条附言  ·  2017-01-30 11:42:19 +08:00
    谢谢各位纠正,此处“刀片机”应为机架式服务器。

    另更新隔音板和防尘网,望有经验的 V 友多多交流

    隔音准备入此类隔音板
    https://s.taobao.com/search?q=%E9%9A%94%E9%9F%B3+%E6%9D%BF&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20170130&ie=utf8

    防尘准备入防尘棉
    https://item.taobao.com/item.htm?spm=a230r.1.14.36.6PNDV7&id=542008061727&ns=1&abbucket=6#detail
    116 条回复    2017-02-04 20:57:22 +08:00
    1  2  
    kslr
        1
    kslr  
       2017-01-29 13:56:21 +08:00
    太吵和费电,静音可以自己更换风扇,但是挺麻烦的。
    cdwyd
        2
    cdwyd  
       2017-01-29 13:59:18 +08:00 via Android
    爬虫不怎么耗 cpu 吧,一个 intel 电脑棒放着抓东西也够用了
    Zzzzzzzzz
        3
    Zzzzzzzzz  
       2017-01-29 13:59:30 +08:00
    这些都是最少服役七八年转手过几次的洋垃圾了, 功耗和寿命都是问题.

    1U 散热主要靠 N 个小风扇, 声音很闷沉刺耳, 你屋里放一台, 你邻居会砸门的.
    plantparknet
        4
    plantparknet  
    OP
       2017-01-29 14:06:45 +08:00
    @kslr @Zzzzzzzzz 太吵确实是个大问题,看链接一有说静音稍有优势,平时卧室床头放一小米净化器,全天 auto 档,偶尔会来个爆转,晚上的噪音还可以接受,不知与之相比会严重到什么程度。

    @cdwyd 可能是我开的线程有点多。。。在 6G 内存的虚拟机跑确实会让 mac 风扇狂转
    29EtwXn6t5wgM3fD
        5
    29EtwXn6t5wgM3fD  
       2017-01-29 14:08:51 +08:00 via iPhone
    双路 x79 ecc 内存随便插
    kslr
        6
    kslr  
       2017-01-29 14:09:57 +08:00
    @plantparknet #4 声音大概和用电钻一样吧,我之前放在一间屋子里面,在里面操作都要带上耳塞要不然吵的头疼。
    kslr
        7
    kslr  
       2017-01-29 14:11:45 +08:00
    @plantparknet #4 商家说的静音是相比较下的,正常人都受不了的。总体来说性价比很低,当然你也可以买回来过过瘾再卖掉。
    Eleutherios
        8
    Eleutherios  
       2017-01-29 14:12:53 +08:00 via iPhone   ❤️ 1
    @plantparknet 我也觉得没必要买刀片,考虑一下小盒子?
    https://item.m.jd.com/product/3959300.html
    cdwyd
        9
    cdwyd  
       2017-01-29 14:15:17 +08:00 via Android
    @plantparknet
    抓取和数据处理分开,只抓取的话不费资源
    JackyBao
        10
    JackyBao  
       2017-01-29 14:22:59 +08:00 via Android
    爬虫用树莓派爬不动?
    plantparknet
        11
    plantparknet  
    OP
       2017-01-29 14:31:43 +08:00
    @cdwyd 100 个线程同时开启,得到的多是 json ,貌似比解析 html 要省些资源,然后存储到 mongodb ,这是平时的主要应用场景。当然,如果硬件配置够强,甚至想把线程数再提升几倍。

    @Eleutherios 貌似这只是一外壳加主板,还需要单配 cpu 内存之类,全套下来与 gen8 相比,似乎并没有多少优势了。

    @shengyu 求推荐套装方案~~

    @kslr 电钻这声音还是蛮恐怖的。。。不过你当时的机子啥型号配置呢?( https://item.taobao.com/item.htm?spm=a1z0k.7385961.1997985097.d4918997.9FV5W0&id=38413656832&_u=t2dmg8j26111 )看这款描述似乎静音效果要稍稍好些
    plantparknet
        12
    plantparknet  
    OP
       2017-01-29 14:34:29 +08:00
    @JackyBao 没尝试过,之前因为虚拟机内存在 2G 左右,开了程序后,直接被 kill 掉,内存增加后这种现象减少了很多,所以结论是树莓派恐怕会很吃力,当然并没有实际测试过。如果可行,我家的那几块都可以好好利用起来了
    supermaxisme
        13
    supermaxisme  
       2017-01-29 14:40:08 +08:00
    在家里面上刀片,
    会存在功耗与噪音两个问题。
    还有家里面的衣服纤维会进去................时间长了散热也是个大问题。
    JackyBao
        14
    JackyBao  
       2017-01-29 14:43:53 +08:00 via Android
    @plantparknet 试试看吧,感觉树莓派性能应该够,而且可以几块一起并行爬。另外推荐一下国产的 orange pi ,配置比树莓派更高,刷 armbian 后真的不错。
    hack
        15
    hack  
       2017-01-29 14:48:47 +08:00   ❤️ 1
    我有 i5+8G 家用常年开机,北京联通家用宽带有外网 IP ,除了存储都能满足的样子。几百 G 如果是 SSD 感觉就哭了
    plantparknet
        16
    plantparknet  
    OP
       2017-01-29 14:50:37 +08:00
    @zyzrichard 确实,因此把除尘也优先考虑进去了,如果购买刀片机的话,估计需要准备不少除尘过滤网

    @JackyBao 嗯,回头返京后试试
    plantparknet
        17
    plantparknet  
    OP
       2017-01-29 14:52:00 +08:00
    @hack 日常都跑哪些服务呢?看众 V 友对刀片的噪音和功耗的担心后,有心想入台一般家用主机了。。。
    hack
        18
    hack  
       2017-01-29 14:53:01 +08:00
    @plantparknet web \ssh \resilio sync \debug
    gouchaoer
        19
    gouchaoer  
       2017-01-29 14:54:45 +08:00 via Android   ❤️ 1
    服务器 cpu 要的是稳定,爬虫不需要稳定的。。。。直接上 pc 就完了。。。。
    cpu 的话 i7 性价比最高,内存 32g 吧,推荐 windows7 操作系统,好用
    gamexg
        20
    gamexg  
       2017-01-29 14:58:17 +08:00
    那种 1u 的小风扇如果没调速功能声音和拖拉机类似。
    我是自己换的 pwn 调速的大风扇外加单片机做的 pwn 调速,秋季时声音可以忍受,冬天声音比台式机还小了,夏天什么情况就不确定了。
    plantparknet
        21
    plantparknet  
    OP
       2017-01-29 15:17:27 +08:00
    @hack 多谢,貌似多是对性能要求不太高的服务

    @gouchaoer 全套下来大概多少钱呢? win 系统就免了,我还是喜欢 Linux

    @gamexg 终于看到点曙光了,你的刀片什么配置呢?和链接中几个相比如何?如果 ok ,可以买个链接一然后换套风扇。风扇可有链接么
    rogerchen
        22
    rogerchen  
       2017-01-29 15:17:58 +08:00
    @gouchaoer 此乃正解
    @plantparknet 既然你 mac 都能稳定的跑,为什么要上服务器,随便一台正常的台式机装上 centos 不就好了。
    Aliencn
        23
    Aliencn  
       2017-01-29 15:22:05 +08:00
    你这几个不叫刀片式服务器,属于机架式服务器。噪音问题比较头疼
    plantparknet
        24
    plantparknet  
    OP
       2017-01-29 15:23:23 +08:00
    @rogerchen 目前的 Mac 中的虚拟机已经明显感觉到瓶颈了,想着换台好点的机子,一步到位,把效率翻个几番。目前手头并没有闲置的台式机,所以会选择两者之间性价比偏高的一款,也并非一定要选用服务器。如果刀片机的功耗和噪音问题迟迟无法解决,台式机也是一个不错的选择。
    plantparknet
        25
    plantparknet  
    OP
       2017-01-29 15:25:24 +08:00   ❤️ 1
    @Aliencn sorry...确实很担心噪音问题,如果能像 @gamexg 一样较为完美的解决,那也不错
    hack
        26
    hack  
       2017-01-29 15:28:42 +08:00
    @plantparknet 对的,家用需求小啊。还有国内独服在机房, 512G 内存,但是硬盘依然无法满足你的需求
    shijingshijing
        27
    shijingshijing  
       2017-01-29 15:36:33 +08:00
    HP 的 Gen 8 ,到手后自己换 CPU ,加内存。还有就是务必上 80 plus 的电源,长期开机,电费不是小数目。
    UnknownR
        28
    UnknownR  
       2017-01-29 15:40:07 +08:00
    DL 380 Gen9 吧,公司用的就是这个:- )
    dxwwym
        29
    dxwwym  
       2017-01-29 15:50:47 +08:00 via iPhone
    机架服务器那声音绝对比个吸尘器带劲, gen8 自己换 cpu 价格不低。不介意空间占用的话就自己配一套呗, cpu 上个 e3 ,应该够你跑东西了吧。
    br00k
        30
    br00k  
       2017-01-29 16:03:04 +08:00
    噪音真心受不鸟。
    gamexg
        31
    gamexg  
       2017-01-29 16:06:59 +08:00
    @plantparknet

    我这里一个配置烂的是直接拔掉了那些小风扇的电源,然后直接把 pwn 调速风扇固定到了 cpu 散热器上面,这么搞弄得上盖盖不上了。记得淘宝上面大部分都是换散热器然后加风扇的方案,基本都会造成盖不上盖子。

    另一个是那种刀片裸板(x5550*2 48G),直接做了个架子,上层放主板下层电源、硬盘、风扇等等东西。下层两侧是滤网进风口,风扇从下层抽风送到主板后侧然后从主板前接口出来。秋天 20 多度时测试满负荷时 cpu 温度 70 ,风扇 8000 转噪音很大;不过一般轻负载没问题,现在负载 8%,楼梯走廊大概 10 度, cpu130 度 cpu2 37 度,风扇 200-300 转。
    轻载功耗是三、四十 W 。
    xyjtou
        32
    xyjtou  
       2017-01-29 16:20:24 +08:00 via Android
    为什么家里要刀片?塔式就可以啦
    jarlyyn
        33
    jarlyyn  
       2017-01-29 16:49:21 +08:00
    塔式家用机就可以了……

    噪音是最大的问题
    03511110
        34
    03511110  
       2017-01-29 17:40:19 +08:00 via iPhone
    家里已经放了一个刀片的表示开着闹心关了浪费,两个万转风扇稳定 50 分贝(-_-)
    zhaoxiting1997
        35
    zhaoxiting1997  
       2017-01-29 17:46:10 +08:00
    X5650 有点太老了, E5 v1 那一代稍微新一点,性价比挺高的。
    我出一套双路, supermicro x9drd-if 主板+2 个 E5-2650 C2+2 个双热管散热+400W 双 8pin 电源 总共 1800 元左右,楼主有兴趣吗,不要电源和散热 1700 。单个 cpu 满载 95W ,我觉得功耗可以接受。
    zhaoxiting1997
        36
    zhaoxiting1997  
       2017-01-29 17:49:37 +08:00
    这个板子内存能上 DDR3 ECC REG 的服务器内存,也很便宜, 4GB 30 元左右。还带很多 pci-e 和 bmc 管理模块。
    主板的详细信息请见 http://www.supermicro.com/products/motherboard/Xeon/C600/X9DRD-iF.cfm
    baoguok
        37
    baoguok  
       2017-01-29 17:52:40 +08:00
    买二手的就可以了
    ryd994
        38
    ryd994  
       2017-01-29 18:05:57 +08:00
    "淘宝发现有许多二手刀片机,是一个不错的选择"
    要真是那么好,人家怎么还卖出来?小公司不抢着要?
    zktz
        39
    zktz  
       2017-01-29 18:18:07 +08:00
    @ryd994 小公司,一般不在这个上面省钱。直接租 vps 。
    不过一直不明白个人抓数据有啥用,卖钱么?
    zmj1316
        40
    zmj1316  
       2017-01-29 18:31:41 +08:00
    @ryd994 我边上的机房放的就是这种洋垃圾,便宜量足好用,对于非生产环境还是挺好的,一般是过了保修的机器。需求不大就是了...不改装或者不放机房肯定受不了

    lz 的需求为什么不考虑塔式的呢,也可以买二手的,就是主板贵。 lsss 出的我觉得还行
    WildCat
        41
    WildCat  
       2017-01-29 18:58:56 +08:00
    我要在我家搞这玩意就搞个噪音大的直接扔车库。。。车库收家里 WiFi 信号挺好
    WildCat
        42
    WildCat  
       2017-01-29 19:00:48 +08:00
    能问问楼主这样大流量爬虫用什么语言 /框架写的吗?交流下心得

    代理池用的免费还是收费的? 最近想做开源代理 IP 爬虫、管理系统
    realpg
        43
    realpg  
       2017-01-29 19:04:23 +08:00
    刀片……楼主知道啥叫刀片么
    mazyi
        44
    mazyi  
       2017-01-29 19:32:52 +08:00
    只求代理池可靠来源 ~
    ytmsdy
        45
    ytmsdy  
       2017-01-29 19:43:38 +08:00
    刀片机器放在家里最大的问题是噪音,电费,网络费用什么都是小头。
    自己曾经也在家里有一台刀片,但是后来实在吃不消他的噪声,果断关掉。然后丢垃圾堆了。
    weizhiyao008
        46
    weizhiyao008  
       2017-01-29 19:47:10 +08:00
    噪音太感人了,可以考虑 x79 和 x99 平台
    lan894734188
        47
    lan894734188  
       2017-01-29 20:20:21 +08:00 via Android
    刀片机是为了机房的计算密度 家用没必要上刀片机 上瘦客户机就行
    fxxkgw
        48
    fxxkgw  
       2017-01-29 20:52:24 +08:00
    你确定能受的了噪音么?
    xiaocsl
        49
    xiaocsl  
       2017-01-29 20:53:31 +08:00
    感觉走歪了,你一定要确认自己确实需要那么高的性能.

    说一下我自己的, N3150 + 8G 内存,自己淘汰下来的 SSD . 因为完全没有任何机械部件.基本"0"噪音,功耗还超低,超级省电.

    除了夏天,其他时间完全不需要用到风扇,
    夏天的时候,我的解决方案:拆下来的普通的 12CM 风扇,剪开线连到 USB 公口上,放到铁皮上面,温度没超过 50 度过.

    强烈建议你认真考虑一下,有没有用到那么高性能的需求,毕竟 7*24 开着,真正需要优先考虑的还是噪音,功耗问题.
    j2001588
        50
    j2001588  
       2017-01-29 20:53:49 +08:00   ❤️ 1
    @realpg 运维狗路过,我看也是,楼主说的 这些全是机架服务器,机架服务器的噪音 远比 刀片机低,机架服务器 无非就是噪音相当于 公版游戏显卡的噪音,刀片机的噪音就是飞机场(两人面对面说话基本靠吼 )
    xiaocsl
        51
    xiaocsl  
       2017-01-29 20:55:02 +08:00
    我也是跑爬虫, 250M 下行 完全占满, 7*24 小时跑着.
    huntzhan
        52
    huntzhan  
       2017-01-29 21:02:06 +08:00
    我觉得是不是直接上 VM 比较好
    realpg
        53
    realpg  
       2017-01-29 21:13:08 +08:00
    @j2001588 #50
    1U 机架噪音一样飞机场 受限于高度,只能 4cm 暴力扇
    JackyBao
        54
    JackyBao  
       2017-01-29 21:33:34 +08:00 via iPad
    @xiaocsl 很好奇,你们都在爬哪方面的数据?
    xmoiduts
        55
    xmoiduts  
       2017-01-29 21:38:05 +08:00 via Android
    @realpg 去年玩 pwm 风扇实验,学校只有 avc 的 4cm 1.88a 风扇。噪音的确相当暴力:开启一个,全实验室的人就别想睡觉了。
    然而挺佩服在那里常住的前辈,他把铺盖都搬到实验室了。
    plantparknet
        56
    plantparknet  
    OP
       2017-01-29 22:36:52 +08:00   ❤️ 1
    @UnknownR 貌似和链接的 G7 是一个系列么

    @zhaoxiting1997 详细配置可有么?方便的话可以邮件交流, plantpark.net#Gmail

    @03511110 求详细配置

    @gamexg 赞!防尘怎么做呢?


    @baoguok 确实是想先入个二手的玩玩,也就是大家所说的“洋垃圾”

    @ryd994 我知道的有家做数据相关的公司也是购买这类二手服务器放在办公室,不要求上行速度的话,性价比相比各种云要合适一些

    @zmj1316 塔式的在淘宝没找到多少家卖二手的,而刀片却以二手居多,所以这样简单粗暴的比较了,如果有好的二手塔式,也欢迎推荐哈~~


    @mazyi @WildCat 网上有很多开源的工具收集网上免费的 IP ,但实效和稳定性较差,也有不少付费服务,看自己需求。


    @ytmsdy 嗯,确实,因此考虑刀片的第一标准就是噪音的问题,静音当是首选,如果有静音的话。


    @realpg @j2001588 sorry ,确实非专业人员,看介绍以及以往认知以为这就是刀片机,谢谢纠正。


    @xiaocsl 这貌似很有诱惑力,可有推荐的购买链接么?对主流操作系统 ubuntu centos 支持如何,如果能把下行 250 完全占满看来性能足够了


    @huntzhan 我目前用的就是虚拟机,但程序一运行, Mac 风扇便狂转。


    @JackyBao low 点的各种资源集合站, B 格高点的一些咨询公司需求的各种数据。全球(或全国)排名前百的互联网公司大部分网络公开数据都是有很大价值的。
    zhaoxiting1997
        57
    zhaoxiting1997  
       2017-01-29 23:24:32 +08:00
    @plantparknet 已发邮件
    huntzhan
        58
    huntzhan  
       2017-01-30 00:26:41 +08:00
    sorry ,我的意思是租个 cloud VM
    irockytan
        59
    irockytan  
       2017-01-30 00:28:40 +08:00 via Android
    @zhaoxiting1997 你哪里?我有点兴趣
    Reficul
        60
    Reficul  
       2017-01-30 00:51:08 +08:00 via Android
    开机的时候和满负载的时候比吸尘器响多了,每个风扇都是开到最大档的电吹风一样。当然空载还是很安静的
    crazycen
        61
    crazycen  
       2017-01-30 00:54:50 +08:00 via iPhone
    楼主,你发的都是机架式服务器,并不是刀片服务器!
    wohenyingyu02
        62
    wohenyingyu02  
       2017-01-30 01:15:15 +08:00
    不太明白为啥爬虫需要在虚拟机里跑,怕被👮抓证据?
    deyu260
        63
    deyu260  
       2017-01-30 01:28:11 +08:00
    mark
    likuku
        64
    likuku  
       2017-01-30 01:35:10 +08:00
    Dell R610 开始就很安静了,也就初次安装插电时会瞬间风扇全速吵一下,其次第一次按主机电源开关时加电启动瞬间会吵一下, OS booting 阶段就极速安静下来,载入 OS 完毕时,几乎就无声了。

    普通负载 /正常室温 时,机器几乎没有声音。
    likuku
        65
    likuku  
       2017-01-30 01:40:24 +08:00
    十年前发布的 Dell PE1950 那代机器的确是任何时候都很吵+很烫。
    stabc
        66
    stabc  
       2017-01-30 01:40:38 +08:00
    这种需求适合低频率多线程 CPU ,推荐 E5V3 洋垃圾系列。
    likuku
        67
    likuku  
       2017-01-30 01:42:57 +08:00
    假若收益的确不错,换成成熟云端平台也很好,可以灵活的根据负载 /需求伸缩集群规模。
    ioriwong
        68
    ioriwong  
       2017-01-30 01:51:12 +08:00 via iPhone
    自己装一台,用华硕主板上 2683*2 就好了
    zhaoxiting1997
        69
    zhaoxiting1997  
       2017-01-30 08:52:27 +08:00 via Android
    @irockytan 上海
    plantparknet
        70
    plantparknet  
    OP
       2017-01-30 09:16:48 +08:00
    @huntzhan 我已经有两台云主机,一台 Wordpress ,一台在香港,香港 ssh 延时有点大。相较于云主机,本地机一来性价较高(选用二手设备),二来不需要暴露在公网,三来可以充分利用已有的几块硬盘。

    @wohenyingyu02 主要考虑还是环境隔离和方便切换,可以随便造。

    @likuku 貌似链接二种的 R620 是其升级版,一和二中的两款机子如何呢。目前还比较前期,想先入手台二手机子先玩玩。

    @stabc 淘宝搜了一番貌似没有找到二手机,该用什么关键词搜索呢?谢谢! https://s.taobao.com/search?q=E5V3+%E6%9C%8D%E5%8A%A1%E5%99%A8&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20170130&ie=utf8

    @ioriwong 先买台二手的玩玩,等顺了再攒机。
    realpg
        71
    realpg  
       2017-01-30 09:29:12 +08:00
    @xmoiduts #55
    LENOVO 曾经出一款 2U ,顶盖侧边密封, CPU 不用风扇被动散热,然后十二个 4CM 2A(2U 两层,塑料盖板风道引导盖板压到 1U 高度风道)从硬盘侧向主板侧吹风,开起来整个世界都崩塌了……
    Terenc3
        72
    Terenc3  
       2017-01-30 10:46:31 +08:00
    HP Proliant DL380 G7 应该不错,我家里有一台 HP Proliant DL380 G6 。完全没有任何防尘和恒温措施,不过我那位置通风良好,平常打开门之后的风是嗖嗖的。

    你可以到这里看看我写的关于我的 DL380 G6 的介绍:

    1. https://enginx.cn/2016/05/25/%E6%88%91%E7%9A%84hp-proliant-dl380-g6.html
    2. https://enginx.cn/2016/11/24/%E4%BB%8Exeon-l5630%E5%8D%87%E7%BA%A7%E5%88%B0xeon-x5675%E5%B9%B6%E5%8A%A0%E8%A3%85apc-ups.html

    我这 DL380 G6 的配置如下:

    CPU : X5675 x2 (共 32 线程,单颗为 500 元)
    内存: 4GB x18 (共 72G ,单根 50 元)
    硬盘: 300G x4 & 1TB x4 ( 300G 单个为 300 元, 1TB 单个为 500 元,支持热插拔的 SATA 硬盘。)

    我这服务器价格已经超过 4000 元了。

    我服务器装的是 centos ,使用 KVM 虚拟化,虚拟机如下:

    [root@server ~]# virsh list --all
    Id 名称 状态
    ----------------------------------------------------
    28 pfsense running
    29 freenas running
    30 sql running
    31 web running
    32 node2 running
    33 node3 running
    34 win10 running
    35 server2012 running
    36 plex running
    38 front running

    这里面最耗运算力的是 freenas ,然后是 ELK 套件,最后是 pfsense 。闲时的 CPU 使用率维持在 15 以下,凌晨时分因为有分析任务,所以 CPU 使用率维持在 50 左右并维持大概 1 个半小时,这时候的温度很高,散热风扇也呼呼响,我从房间里都能听到。因为是运行虚拟机,所以内存使用率目前维持在 54%。

    我看了一下 zabbix 的记录, 1 月 28 日 10 点到 1 月 30 日 10 点, PSU 的最小功耗是 125W ,最大 245W ,平均 163.11W 。

    我尝试过用烧鸡软件长时间让 CPU 和内存处于高负载,功率一般在 300W 以下,大概是 280W 左右,还是挺省电的。

    我这里并没有 IO 密集型的需求,但硬盘组建的是 RAID 10 ,写入速度可达 200M+,读取会更高。噢,对了,我还给 RAID 卡加装了缓存。

    总的来说,家里放个二手服务器,位置要好,不能热,要隔音。想配置高,费用大概在 400 ~ 5000 ,电费每个月 100 是保底。但好处多多,前提是你要懂服务器。
    blabla
        73
    blabla  
       2017-01-30 10:48:31 +08:00
    刀片机是刀片机,机架式服务器是机架式服务器,不要搞混淆了。
    http://baike.baidu.com/item/刀片服务器
    gamexg
        74
    gamexg  
       2017-01-30 10:49:47 +08:00
    直接改风扇盖子都合不上的基本别想防尘了。
    自己做得架子是第二层两测全部是无纺布进风口,软磁条固定,方便定期更换。
    gamexg
        75
    gamexg  
       2017-01-30 10:55:00 +08:00
    @gamexg 也不确定是不是无纺布,是类似的东西。
    irockytan
        76
    irockytan  
       2017-01-30 10:57:56 +08:00 via Android
    @zhaoxiting1997 如果还没出的话,麻烦配置和价格给我发个邮件? v2id # outlook.com ,我也是上海
    plantparknet
        77
    plantparknet  
    OP
       2017-01-30 11:43:12 +08:00
    @Terenc3 非常详细,博客其他文章也非常赞,已订阅。有个小问题,看文中介绍好像没有涉及到噪音的细节,如果放在卧室,满负载和平均负载时噪音如何,晚上声音是否明显,在客厅和一堵墙之隔的次卧能否听到声音呢?

    @blabla 谢谢,非常感谢纠正,已增加附言更新。

    @gamexg


    隔音准备入此类隔音板,防尘
    https://s.taobao.com/search?q=%E9%9A%94%E9%9F%B3+%E6%9D%BF&imgfile=&js=1&stats_click=search_radio_all%3A1&initiative_id=staobaoz_20170130&ie=utf8

    防尘准备入防尘棉

    https://item.taobao.com/item.htm?spm=a230r.1.14.36.6PNDV7&id=542008061727&ns=1&abbucket=6#detail
    03511110
        78
    03511110  
       2017-01-30 11:59:32 +08:00 via iPhone
    @plantparknet dell r710 主要是硬盘盘位多通风好方便挂种,论配置随便拉出一个电脑都能秒杀它(´・_・`)
    gamexg
        79
    gamexg  
       2017-01-30 12:03:27 +08:00
    @plantparknet 那种厚度怀疑阻力可能会很大。
    另外这个 x 个月需要换一次,不然灰尘太多阻力大造成风扇噪音大。
    Terenc3
        80
    Terenc3  
       2017-01-30 12:12:00 +08:00
    @plantparknet 噪音在低负载的时候还能接受,类似微波炉运转时候的声音,我刚买的时候有一段时间是放在书桌下面的,但是一直听着低频的嗡嗡声会觉得有点烦躁。高负载的时候会和吹风机一样啊!晚上完全睡不着觉,所以我还是搬离房间了。

    另外放在书桌下的话,那热气一阵一阵地涌上来,哈哈,烟熏一样的感觉。

    有墙相隔的话,声音不会很明显,完全可以接受。

    我现在是放在门口的鞋柜上,满负载的时候在大厅里会听到类似 MacBook Air 风扇全速运转的声音,不仔细听的话不会擦觉到。一般家里只有一两台问题不大,要是多了,要对散热和供电下手,尤其是刀片机那种大型的机器,我现在说的只是 2U 的服务器。

    要是资金允许,推荐配置一台带管理功能的 UPS 和一个机柜。
    Terenc3
        81
    Terenc3  
       2017-01-30 12:17:20 +08:00
    @plantparknet 我倒不担心灰尘的问题,用了将近一年半,灰尘是有,但很难被吸到里面。

    我最近拆开服务器维护的时候发现散热风扇并没有很明显的灰尘,因为 DL380 G6 的面板结构,绝大部分的灰尘都被硬盘和前面板给挡下了。

    在风扇后面的 CPU 、内存部分基本看不到灰尘,而再后面的拓展区几乎和买回来一样,灰尘少之又少。

    我比较担心家里来了熊孩子或一些好奇心大的人把我硬盘拔出来或按了电源键,我下一台服务器会选择戴尔的服务器,因为它带有前面的挡板,把硬盘和按键都锁在里面了。
    laoyuan
        82
    laoyuan  
       2017-01-30 12:24:49 +08:00
    几百个 G 的 json 爬下来不费多少 CPU ,主要费在解析上,不知道 LZ 用的什么语言,最近不是出了个狠快狠快的 json 库么
    Shazoo
        83
    Shazoo  
       2017-01-30 12:50:25 +08:00
    这个我有心得~~:)

    Dell R410 : E5645 *2 8G*4 1T*2(raid1) , 2600 左右。开机的时候很吵,不过进入 os 后,大概相当于国产电风扇的 2~3 档音量。放到阁楼,完全没有影响。

    celery 全负载运行 imagemagick 图片处理 task 和 phantomjs 的话,大概和开机的时候一样,爆吵。不过,这个和电钻是有很大区别的,这个没有震动,所以,隔音 OK 即可。

    (不过,爬虫理论上如果没有附带索引任务,没啥开销的……)

    介意声音,建议使用塔式水冷。


    防尘是浮云,这种价位的主机,谈不上如何保养了。家庭那点灰尘,还真是没啥关系。半年清理清理就好了。
    plantparknet
        84
    plantparknet  
    OP
       2017-01-30 12:50:53 +08:00
    @03511110 soga ,原来是第一个链接对比的产品

    @gamexg 家里空净基本全天 24 小时开机,几个月一换成本还算比较低了。

    @Terenc3 目前条件只能放在卧室了,想着玩顺了,再购置一台放在老家,然后配置好 DDNS 。 UPS 暂时没想到用处,北京住处除了偶尔忘记电费充值断电外,相对还是稳定的。如果只有一台机子,机柜必要性还大么?还有 RAID5 和 10 的区别大么?相比 10 似乎要稳定些。
    plantparknet
        85
    plantparknet  
    OP
       2017-01-30 13:01:21 +08:00
    @laoyuan python ,一直使用自带的 json 库。
    @Shazoo 几乎不用 phantomjs ,能用自带库搞定的尽量用,也就是抓包分析稍微花些时间。感觉比用 phantomjs 速度会快些,当然没做细致分析,只是想当然认为。隔音想用附言中的泡沫或隔音板处理,但和散热似乎冲突,通风口之类的位置可有好的处理方式么。 考虑过塔式,但没找到二手机,第一台主要考虑到性价比,先尝试一番,入个二手。当然如果有合适的也非常感谢推荐。等玩顺了,把散热、防尘、隔音之类的好好考虑下。有样本了也好下手分析。

    在北京,空净 24 小时开机,但一周左右桌面还是多少有一层灰,多少有些担心。那如果不大影响寿命,定期清理也可。
    billwang
        86
    billwang  
       2017-01-30 13:05:55 +08:00
    这种的服务器是机架服务器吧。不建议楼主放家里,我们办公室放了一台 h3c 的交换机,那声音酸爽的很。
    Terenc3
        87
    Terenc3  
       2017-01-30 13:18:14 +08:00
    @plantparknet 要是有两台以上的服务器,就买个机柜吧,我也打算买一个,总觉得竖着放在鞋柜上好别扭。

    RAID 5 的硬盘使用率要高,而 RAID 10 会少一半容量用于镜像。但是 RAID 10 的读写速度稍高于 RAID 5 。

    整列配置看个人和数据敏感度,但我觉得任何数据对于运维来说都是无比珍贵的,所以我选择 RAID 10 。

    但是我的服务器有个问题,我的硬盘笼的 1 号盘接口有点松,有时候碰到会使硬盘掉线。掉线之后我很怕另一块镜像也掉线,那我的数据就完了。

    为了应对硬盘掉线的问题,我最近要在下面两个解决方案中选出一个可靠的方案:
    1. 计划多买一个硬盘笼和整列卡,配置为 RAID 5
    2. 计划多买一台服务器用于存储

    另外给你推荐一个 YouTube 频道,我大学是先进制造系的,就是看了这个频道才决定走服务器运维这条路:

    My PlayHouse : https://www.youtube.com/user/SirNetrom1

    我从这个频道建立之初就关注了,他的服务器虽然有点旧,但视频都是精华。
    zhaoxiting1997
        88
    zhaoxiting1997  
       2017-01-30 13:22:47 +08:00
    @plantparknet 楼主我建议你先选好平台,是选双路 1366 还是选双路 2011 ,这两个平台性能,价格,新旧都差蛮多的。选好以后买对应平台的主板或者准系统,准系统淘宝上有刀片的也有二手工作站。如果对静音要求高,就不要上刀片或者机架,这些服务器在设计上就没有考虑家用的噪音。。。
    外面包隔音板或者防尘棉其实不是一个好主意,特别是对于冷却要求高的服务器来说,很多刀片和机架服务器 cpu 都是被动散热,靠一排暴力扇提供一个方向的冷缺气流,外面包一层会影响风量然后影响散热的。。。
    plantparknet
        89
    plantparknet  
    OP
       2017-01-30 14:07:11 +08:00
    @zhaoxiting1997 服务器小白,暂时没有太明白两套平台之间的区别。从目前现有情况来看,使用场景和需求与 @Terenc3 最为相似,因此目前较为可行的方案是参照 @Terenc3 的配置。

    @Terenc3 目前来看,对数据的敏感不太高,一半容量用于镜像确实蛮高。目前 RAID5 似乎已经满足我的需求。甚至想把现有的各种 USB 硬盘挂载服务器上做数据存储或备份使用,不知是否可行。

    已关注这个频道,没想到做视频处理居然需要这么多服务器!

    另博客中有关于 kibana 的文章,甚是惊喜,居然有如此之棒的数据可视化工具,多多向您学习~~
    zhaoxiting1997
        90
    zhaoxiting1997  
       2017-01-30 14:35:54 +08:00
    @plantparknet LGA1366 是 xeon 5500 和 5600 那一代的平台,相对较老, 10 年左右的, cpu 和主板便宜,但是未来没有升级空间,功耗较大,单个 cpu 最高 6 核 12 线程。
    LGA2011 是 E5 v1 和 v2 的平台,现在主板较贵,相对新一点, 13 年左右的, E5 v1 cpu 现在比较便宜, E5 v2 二手的还没有淘汰下来,未来等 E5 v2 便宜了还有一定升级空间,单个 cpu 最高 10 核 20 线程。

    如果你选择双路 1366 的平台, xeon 5500 那一代的 cpu 不值钱, 50 元以下,但是是 45nm 的完全不建议选择,只建议考虑 5600 那一代。
    如果你选择双路 2011 的平台,现在 E5 2660 以上的 cpu 价格被炒的很高了,不建议选择。 E5 v2 现在只有工程测试版的 cpu 便宜,也不建议选择。

    然后选择服务器主板,自己搭台式机,使用台式机 cpu 风扇,主动散热噪音比较小,就是要选对应的机箱。实际上你帖子中选的机架式服务器全部是 cpu 被动散热的,静音就不要指望了。

    另外不建议 USB 硬盘挂载服务器上做数据存储或备份使用,要也是把外面的硬盘壳拆了,把里面的 sata 硬盘直接挂上去。组建 raid ,需要多块大小相等的硬盘(最好读写速度也差不多),不建议用大小混杂的硬盘组建。
    Terenc3
        91
    Terenc3  
       2017-01-30 14:52:29 +08:00
    @plantparknet 哈哈,互相学习,我也是刚入门,哈哈。

    其实购买服务器,先定一个预算,根据预算去买机子就好了。

    淘宝上买的时候要注意配置,商家写的价格并不是最终的价格,更换 CPU 、增加内存和硬盘都是要增加费用的哦。

    备份的话,我推荐你安装 freenas ,把 USB 硬盘映射到 freenas 中,通过脚本或定时任务建立快照或同步即可。我网站中没有相关的信息,你要自己找找资料了。另外使用 freenas 还能创建各种各样的共享盘,还可以建立 time machine (我家里用 Mac 系列产品)。

    你可以在服务器上装个 vSphere 、 KVM 或其他虚拟化程序(我用 KVM ),这样可以让服务器展现他的实用性。

    下面是我对于存储的实践:

    因为我没有独立服务器用于存储,只能另找办法。

    我通过 freenas 建立共享服务, KVM 虚拟机再挂载这个共享文件夹,然后将重要的数据都写到这个文件夹中。这样一来,就算虚拟机挂了,数据还在,只需要重建虚拟机和相关服务即可恢复。

    因为 freenas 的磁盘具有可移植性,拓展和紧缩磁盘也非常方便( web-base GUI )。

    也正因为如此,当凌晨各种定时任务启动的时候, freenas 的 CPU 使用率和 IO 会非常高。
    plantparknet
        92
    plantparknet  
    OP
       2017-01-30 16:02:41 +08:00
    @zhaoxiting1997 学习了,非常详细。目前计划是采用链接一中的配置, CPU 选 X5675 ,算是清单中的顶配,价格貌似一块 450 ,不知是否合适。关于你邮件中的服务器,一大担心是没有外壳,主板暴露在外,如果做防护恐怕比较困难,还需另购机箱,但目前第一台服务器的主要目的是在有比较高的性价比同时尽快解决已有需求,待后续升级或购买时再行考虑自主攒机的可能性。非常感谢你的详细解答。

    @Terenc3 并没有一个很明晰的预算,按链接一中和博客中服务器的描述, 2000 左右实现即可,上限到 5000 。家里有台小米路由器,做过一段时间的 time machine , 500G 的 Mac ,平时空间占用也就 200G 左右,而 Time machine 很快便把 1T 的小米路由空间占满。已经停用好长时间了。几个 USB 硬盘也是若干年前购买,当时是有收集各种资料的癖好,到今天已经吃灰好几年。想着再重新利用下,发挥点预热,即使不常挂机,偶尔接在服务器,手动备份下也可以接受。

    KVM 等入了服务器后好好研究一番。
    Shazoo
        93
    Shazoo  
       2017-01-30 16:56:33 +08:00
    @plantparknet 你如果放卧室,我觉得还是算了。噪音无可避免的,影响休息。隔音 OK ,代表散热完戏;散热好,隔音就不太可行。

    ps : phantomjs+imagemagick 不是爬虫应用哦。
    Arcus
        94
    Arcus  
       2017-01-30 17:18:55 +08:00 via Android
    羡慕这么快的网速
    plantparknet
        95
    plantparknet  
    OP
       2017-01-30 20:42:39 +08:00
    @Shazoo 那就考虑放在厨房的阳台,可以把窗户打开,辅助降温。 phantomjs+imagemagick 不是爬虫应用那是什么呢 /好奇
    eDeeraiD0thei6Oh
        96
    eDeeraiD0thei6Oh  
       2017-01-30 21:49:44 +08:00
    买得起刀片服务器,楼主的收入颇丰啊!
    https://item.jd.com/11257370206.html
    hadoop
        97
    hadoop  
       2017-01-30 22:17:30 +08:00
    @plantparknet imagemagic 在爬虫上有啥用?
    20015jjw
        98
    20015jjw  
       2017-01-31 01:32:42 +08:00 via Android
    x99+e5 ?
    msg7086
        99
    msg7086  
       2017-01-31 01:50:19 +08:00
    看了标题和楼上一票人的回答我就慌了。

    售价十几万几十万的刀片柜都已经到了随便买了扔家里的程度了吗?

    想想隔壁 C7000 的刀片箱子,放上 128 核心 256 线程的 E5 和 4TB 内存以后,开起来功耗就要 6000W 了,你们电表受得了嘛 →_→
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3187 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 34ms · UTC 12:42 · PVG 20:42 · LAX 04:42 · JFK 07:42
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.