臭运维的 Homelab/NAS

[Emiya1208]

用永擎 C236 WSI4-85 （ 64G ECC ）+ OWC U2 Shuttle + CyberPower 的 UPS 组了全闪的 Homelab/NAS 。

5 X 2T 的 SATA （其中一个在主板的 m.2 上）组 RAIDZ2 存放数据，4 X 512G 的 NVMe (m.2) 也是组 RAIDZ2 做系统盘。由于实际上是个 PLX 设备，内部数据交换不会走到主机上，所以性能挺不错。

NVMe 用了一根中上等的牌子，一根一般的牌子，两根垃圾的牌子（现在固态好便宜，可以考虑升级一波）。

另外通过 4 个千兆口 bonding 把 Garage (一个开源的 S3 对象存储)里面的东西通过 Rclone 备份到局域网内的 4 x 4T HDD （ 15mm ） 组的 RAIDZ2 里面，这东西拿 Riverbed 的机器做的。

至于 Riverbed 还连了个二手的磁带机做冷备份（虽然我从来没从里面取过数据）...

平时的话就是使用 C236 WSI4-85 这个 AIO ，万一有需求了使用 Riverbed （虽然感觉这备份几乎也用不到）

总的来说，C236 WSI4-85 这个 AIO 已经足够我用了，能塞到 15 寸笔记本放不进去的包里面，由于是全闪，重量也不是很重。

有些东西就是纯为了研究和折腾的时候捎带捡的垃圾，有些东西倒也真的算是好东西。

PS: 关于容量，因为确实没有那么多需要值得保存的数据（还是有一些的），做 RAIDZ2 只是懒得在硬盘坏了之后重装系统或是恢复备份。关于全闪，主要为了轻量化可以适应随搬随走。

[zhlxsh]

机器多少钱？每个月电费多少钱😂

[Emiya1208]

@zhlxsh 还好，AIO 机器 + 那个盒子 3000 吧，反正 RAIDZ2 硬盘大部分都是捡的垃圾。功耗嘛，这堆 SSD 可能还不如两块 HDD 。整机功耗在 50w-75w 这样。

[uncleroot]

方案不错。
之前跟风搞了几个 16T 的硬盘 + HPE GEN10 总成本快上万了，还没 Nvme 盘位。

[lemonsz14]

原来如此

[9544]

好奇跑什么服务

[ryd994]

系统盘没必要搞 raidz 啊，CPU 消耗大而且随机读写性能差。
系统盘用 raid10 足矣。如果系统盘严格只存软件不存数据，而且配置文件有备份的话，raid0 都 OK 。
定期备份系统的话，直接从备份恢复很快的。

“由于实际上是个 PLX 设备，内部数据交换不会走到主机上”
plx 并不能复制数据。zfs 是纯软件实现。有几份副本就要写多少数据，并没有内部交换的功能。何况你用的是 raidz2 ，plx 没有算力，不可能创造校验数据。

plx 的作用是在 CPU pcie lane 不够的时候，增加额外的 plx pcie lane ，带宽共享，只要不是同时跑满就没事。

显卡 SLI 的情况，显卡自身能产生数据，和其他显卡交换数据。这时候用 plx ，确实能让交换数据在显卡间交换而不经过 CPU 。

[ltkun]

四个盘搞 z2 合适吗 空间利用率和 raid1 一样了都 性能不知道 OK 不 系统盘我懒得重新安装 一开始一根 2t 的 nvme 今年乘着国产雄起又加了一根做了软 raid1 现在这个行情感觉全固态是完全 OK 的 毕竟 4t 都 999 了

[Emiya1208]

@ryd994 拆解为三部分回复

1. 在我的场景 RAIDZ2 是有必要的，这个会在 3 里面再解释，尽管 RAID10 也是可以的，但是我不喜欢同时管理两种东西。

2. 如果是向 NVMe 组成的 RAIDZ2 外搬迁数据，确实会造成一些 CPU 消耗。但是当我在使用 NVMe 阵列的若干个虚拟机之间传输数据时，我没有看到这样的情况，并且测试数据的表明 PLX 应该是工作的，他们之间的传输速度能够达到 8000MB/S(由于在下面 3 里面的设计，这部分我不再方便截图)，然后在其中一台虚拟机内部测试的结果如下


3. 我将每个使用 SATA RAIDZ2 阵列的虚拟磁盘每个都搭配了 1/16 的 NVMe RAIDZ2 阵列的虚拟磁盘，他们组成了 Bcache ，用来提高我日常 80% 的使用时的性能，RAID10 运气不太好的时候虽然不会导致我的数据丢失，但是由于我的目标是尽可能，尽最大可能不使用机械盘的备份甚至是磁带机的冷存储。所以我还是坚持使用 RAIDZ2 ，并且由于 2 部分的性能表现足够我使用了。

[Emiya1208]

@ltkun 数据盘是 5 盘，提高机箱厚度可以上 6 盘，超过 4T 的空间由于不是我的硬需求（当前是 6T ），我更关注拷贝数据的速度。因此性能方面，我的使用经验看下来是 OK 的。

[Emiya1208]

@9544 除了常见的一些东西（ dns s3 tun2socks webdav samba jellyfin ），还有一些测试的东西，想法验证。他们分为若干台一直使用的东西，和若干台随时摧毁的东西。由于显卡支持虚拟化，使用 Parsec 远程 windows 虚拟机也可以给我在特定的时候使用（这样我就不需要在笔记本上装 windows 虚拟机了，windows 在特定的时候依旧是唯一选项）

[hunono]

数据备份方面做了啥计划、配置？

[hezhile]

弱问，系统盘为什么不是两个 u 盘 raid 1 的？

[zycode277]

老哥牛的， 看你后续提到“显卡支持虚拟化，使用 Parsec 远程”，具体用了哪款？

[Emiya1208]

@hunono 基础设施使用 Infrastructure as code 管理，数据都在 DB 和 S3 ，DB 每天备份到 S3 ，S3 Rclone 每天全量备份到 Riverbed ，每周清理。后面可能考虑更换增量备份的方案，但是我现在没有上 100G 的数据需要备份... 暂时没有动力...

@hezhile 理论上实际上当然都是可以的，两块 SSD 同时坏的可能性是存在的，我就选择了用 RAIDZ2 减少我需要手动恢复备份的可能性。

@zycode277 主板上的那个 CPU 的集显就支持，可以虚拟出来两张 1080P + 一张 720P 。一张给 Jellyfin 硬解，一张给 windows 另一张暂时没用。

[leang521]

@Emiya1208 主板都不止 3000 吧

[Emiya1208]

@leang521 海鲜市场 1750