V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
imbushuo
V2EX  ›  NAS

买了一台 HPE ProLiant ML30 Gen10 当 NAS

  •  2
     
  •   imbushuo · 2020-06-10 14:28:43 +08:00 · 4859 次点击
    这是一个创建于 1387 天前的主题,其中的信息可能已经有所发展或是发生改变。

    实习的工资和 Relocation 补贴感觉有点不大用的完,最近又下了一张新信用卡,于是就打算把 NAS 买了。一开始打算买群晖,后来看了一眼价格,立即点击关闭网页。然后再看了看 MicroServer Gen10 Plus,发现主要问题是 PCIe 的可扩展性不够,于是选择了同等价位的 ML30 Gen10 。

    Image from iOS.jpg

    概况

    我家里大概的情况是:

    • 因为我毕业之后要搬一次家,所以我目前暂时不购买 Rack mount 的产品
    • 我对 SMB Direct (RDMA) 有需求,家里已经有 10GbE 的网
    • 我还需要开一些虚拟机(大概 12 个),网卡如果有 SR-IOV 是最好的
    • 暂时对噪音有一些要求
    • 我家里有 Active Directory 域,所以身份认证集成很方便

    硬件

    这个机器有很多的 SKU,最便宜的大概 500 多刀样子,默认硬盘不可热插拔,走主板自带的 SATA 控制器。乞丐版的 PCIe 风扇也是默认没装需要另买的,不过一些散热量不高的卡不装也没事(虽然 iLO 会警告你); iLO 5 的独立网口和 License 也是需要加钱的(虽然 iLO Advanced 免费到 2021 )。实际上把硬盘改热插拔是可行的(但是你需要买其他型号的 Backplane + 笼子 + HBA ),如果觉得热插拔是硬需求的话可以加点钱上有热插拔的版本,大概 800 刀。我的硬盘还在陆续到达中,所以目前的硬件配置是这样的:

    Hardware Inventory.png

    • 这台机器的 SR-IOV 是全的,默认能用
    • 自带网卡是 Intel I350,两个口,有 SR-IOV 支持(默认每个口 6 个 VF )
    • 我再加了一块 I350-T4 然后直接把 PF 通进了某个虚拟机里(特殊需要),和上面那个卡一样,也是每个口默认六个 VF
    • 加了一块 Mellanox ConnectX-4 Lx,一个 PF 通进存储虚拟机里跑 RDMA,另一个口暂时留空
    • 硬盘买的都是 WD/HGST UltraStar (从三个 supplier 买了不同批次的硬盘,还有一些盘在路上),系统盘就用了一块普通的 M2 NVMe SSD
    • 内存插满了 64GB UDIMM ECC

    噪音情况的话,把它丢在单独的一个房间里,关上门声音就不见了。放在客厅的话它的噪音跟我的空调近似,然后稍微轻那么一点。

    SMB Direct

    存储机跑的是 Windows Server 2019 Datacenter,然后直接 JBOD 跑 Storage Space Mirror 然后打开了数据去重。由于一些 concern,我在 Storage Space 上使用了 NTFS 而不是 ReFS 。默认情况下 Windows 检测到支持的卡会自动打开 SMB Direct,可以用命令检查一下:

    PS C:\Users\redacted> Get-NetAdapterRdma
    
    Name                      InterfaceDescription                     Enabled     PFC        ETS
    ----                      --------------------                     -------     ---        ---
    vEthernet (Internal LO... Hyper-V Virtual Ethernet Adapter         False       NA         NA
    PCIe Slot 3 Port 2        Mellanox ConnectX-4 Lx Ethernet Adapt... True        ...
    
    
    PS C:\Users\redacted> Set-NetOffloadGlobalSetting -NetworkDirect Enabled
    

    创建了 SMB 共享,然后创建了一个家庭 NAS RW 访问的 SG,把自己的域用户加了进去,直接不输入凭据访问。然后随便跑了几个 smoke test:

    Throughput.png

    客户端和 NAS 都支持 SMB Direct 的情况下,基本上速度能打满 link (写进 SSD )或者盘(写进 Storage Space 的 HDD )。往 Storage Space 里写的情况下大概稳定 200MB/s 样子,比较符合 UltraStar 这个盘的样子。

    然后是 SMB Direct 看番。注意没有什么 TCP/IP 流量( RDMA 网络正常现象):

    Smoke Test.png

    对于不支持 SMB Direct 的设备,我另外有一块 I350 VF 通给了虚拟机用来承载这些流量。大概 802.11ac 的情况下稳定跑个 500Mbps 问题还是不大的。

    Misc

    • 记得调整 WU 设置以避免意外重启,我是加入了域然后从组策略分发的
    • 在虚拟机里直通磁盘开 Storage Space 的时候,把 Host 上的 Microsoft Storage Spaces SMPStorage Tiering 服务禁用掉,然后再禁用 SpacePort 驱动 (i.e. Start = 4) 以避免不必要的麻烦
    19 条回复    2020-06-18 05:59:25 +08:00
    DarkKowalski
        1
    DarkKowalski  
       2020-06-10 14:31:35 +08:00
    劳群观光团
    hjc4869
        2
    hjc4869  
       2020-06-10 14:33:21 +08:00
    劳群观光团
    xiashali
        3
    xiashali  
       2020-06-10 14:34:10 +08:00
    劳群观光团
    chouch0u
        4
    chouch0u  
       2020-06-10 14:39:52 +08:00
    劳群观光团
    yvbbrjdr
        5
    yvbbrjdr  
       2020-06-10 16:11:27 +08:00
    劳群观光团
    lty1993
        6
    lty1993  
       2020-06-10 17:12:36 +08:00
    劳群观光团
    kotomei
        7
    kotomei  
       2020-06-10 17:43:06 +08:00
    劳群观光团
    Xusually
        8
    Xusually  
       2020-06-10 17:51:54 +08:00
    这个不错。
    家里主力仍然是 CU 德淘的 HP MicroServer Gen8,4x10TB DELL OEM HGST 氦气盘
    CPU 换成了默认被动散热能压住的最大可能:Xeon E3-1265V2
    内存 16GB 插满
    P222 raid adapter with cache & battery unit,自己加了个猫扇,四盘 raid5
    原始主板上带的辣鸡软 raid 卡被我用来接了个光驱位的老旧 mlc ssd 做系统盘
    系统是 ESXi,跑了黑群晖和 OpenWrt

    白群晖 918+,四盘 8TB 氦气盘 /ssd raid 1 cache/8GB RAM,出掉了 摊手.jpg
    Xusually
        9
    Xusually  
       2020-06-10 17:53:23 +08:00
    接上条,一直看着新出来的各种 GEN9 和 GEN10,MicroServer 也好,ML30 也好,都忍住没剁手,不知道能忍多久
    peyppicp
        10
    peyppicp  
       2020-06-10 18:52:06 +08:00
    gen8 16g 内存,永远的痛
    demoxu
        11
    demoxu  
       2020-06-12 14:38:04 +08:00
    @peyppicp 16G 跑 nas 应该是足够了,硬件限制,再大也上不去了
    shizhengj
        12
    shizhengj  
       2020-06-15 05:27:23 +08:00
    我最近也买了 ml30 gen10, 为什么我自带的网卡是 HP NC332i,而你的是 Intel I350 ?
    imbushuo
        13
    imbushuo  
    OP
       2020-06-15 12:11:34 +08:00
    @shizhengj 332i 是 I350 的 OEM brand,本质上是一个玩意(
    imbushuo
        14
    imbushuo  
    OP
       2020-06-15 12:12:17 +08:00
    @shizhengj 啊不对,你那个是 BCM5720,那感觉就是 SKU 差异了
    shizhengj
        15
    shizhengj  
       2020-06-16 06:07:48 +08:00 via iPhone
    @imbushuo 我的型号是 P06785-S01,比乞丐版高一个级别,带热插拔硬盘笼子的版本。你的 sku 是什么?还有第一次玩服务器不懂,发现装自己的硬盘还需要 caddy tray, 这玩意儿好像也不太好买,都是拆机配件吧?
    shizhengj
        16
    shizhengj  
       2020-06-16 07:06:14 +08:00
    @imbushuo 好像 e-2224 cpu 版本的都自带 i350 网卡,我的是 e-2124 。都怪自己没做好功课,现在网卡都没法开 SR-IOV 。
    imbushuo
        17
    imbushuo  
    OP
       2020-06-16 14:46:03 +08:00 via iPhone
    @shizhengj HPE 的 Caddy 大部分都是兼容的,可以买官方的,也可以买拆机的,也有第三方兼容货

    另外自己插个支持的 PCIe 网卡上去是能开 SR-IOV 的
    shizhengj
        18
    shizhengj  
       2020-06-16 23:53:25 +08:00
    @imbushuo 不同代的比如说 gen8, gen9 的也可以么?我看网上买的都有些支持哪一代哪一个型号的服务器。我有一块 x540-at2 的网卡,sr-ivo 在 esxi 6.7 或 7.0 上死活开不了。状况是可以打勾开启,但是虚拟网卡数量永远是 0,就算改成其他数字后重启后还是显示 0 。没折了,我试试 PVE,不行只能换网卡了。
    imbushuo
        19
    imbushuo  
    OP
       2020-06-18 05:59:25 +08:00
    @shizhengj SR-IOV 被明确文档里描述支持是从 Gen8 开始,我这里有一台 DL380p Gen8 装 X520-DA2 是可以直接开的;另外也要看卡的文档,有一些卡可能要额外配置 VF,具体要看而定

    可以先试试 PVE 上情况怎么样
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5521 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 40ms · UTC 09:03 · PVG 17:03 · LAX 02:03 · JFK 05:03
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.