前段时间脑袋一热,买了一台小米的万兆路由,然后对其它设备也进行了一并更新,NAS 加了万兆光口,又买了台 Mac mini 也选配了万兆网口,改装完成后,在 mac mini 上用 iperf3 测速也能跑到 9.4Gbps ,用 SMB 共享文件读写也能到 900 MB/s 左右。
因为 mac mini 硬盘只有 256G ,所以想通过 ISCSI 把 NAS 硬盘挂载到 Mac 上,但是配置好之后速度却只有 50MB/s ,我以为是 unraid 的问题,所以把 NAS 系统又换成了 TrueNAS ,但在 ISCSI 下速度也只有 200MB 左右,跟 SMB 速度差距非常大。
后来我又推测是路由器问题,买了 Qnap 的万兆交换机,问题依旧。
有没有大佬帮忙分析一下问题出在哪了,iperf3 与 SMB 速度都是正常的,只有 ISCSI 速度有问题。
我的 NAS 系统是 Unraid 。
1
steveshi 2023-07-19 23:10:14 +08:00
macOS 的 iSCSI ?用 daemon tools 挂载的吗?性能挺糟的。现在 macOS 上没有什么好的 iSCSI 软件
|
2
GHvyuR7N 2023-07-19 23:31:07 +08:00 via iPhone
之前折腾的时候发现,macOS 上 iscsi 便宜那个性能叫 globalsan 的只有这么点儿,要买那个很贵 Xtend 的才行。不过为啥一定要 iscsi 哇...
|
3
dode 2023-07-20 00:00:10 +08:00 via Android
觉得 nfs 比较好
|
4
hahiru 2023-07-20 00:33:38 +08:00
群晖的 iscsi 还行。性能比较达标用好久了。
启用巨型帧。MTU 设为 9000 。 |
5
documentzhangx66 2023-07-20 00:47:31 +08:00
都是 Linux ,干嘛要用 iscsi ?直接 SSHFS 一步到位不是更好嘛?
|
6
xiamx 2023-07-20 01:20:50 +08:00
@documentzhangx66 OP 都说了要 iSCSI 了 肯定不能接受 userspace sshfs 的速度
|
7
sNullp 2023-07-20 03:44:35 +08:00 via iPhone
是什么给了你们 iscsi 性能好的错觉…iSCSI 的特点是暴露了一个 raw block device ,不需要这个特性只需要文件层面操作的话 nfs 最快。
|
8
Jirajine 2023-07-20 06:00:53 +08:00
@sNullp block device 应该是更简化的,samba/nfs 等共享文件系统需要考虑多端读写锁、文件权限等问题,如果性能更好的话那应该是文件系统实现没有考虑通过网络信道开销过大导致的。
如果 iSCSI 性能不行的话,可以试试 nbd ,只在 qemu 虚拟机本机通过,局域网性能如何需要实际测试。 |
9
sNullp 2023-07-20 06:06:33 +08:00 via iPhone
@Jirajine block api 肯定比 file api 要慢。简单!=快。商业存储都需要专门的 iscsi 调参。
|
10
Jirajine 2023-07-20 06:18:19 +08:00
@sNullp 那应该是文件系统的问题,不过好像没有专门为通过网络使用的 block device 优化的文件系统?
如果同时要性能和避免复杂度的话,不如直接起个 ftp 服务,并且测试一下传输速度,应该不会比 samba 慢,然后再用 rclone 挂载。 |
13
Jirajine 2023-07-20 07:21:05 +08:00
@sNullp
> ftp 不可能比 smb 快 这可不一定的,理论上限不等于实际表现,实际如何需要实际测试。smb 太复杂了,参数太多,而且对客户端也有要求。 以我自己的场景为例,在 Android 上访问 smb 共享,在支持版本受限、且参数也不能调的情况下,smb 的速度非常不理想,反而 ftp 不需要任何配置就能直接跑满 IO 瓶颈。nfs 客户端支持的很少,有高效实现的客户端就更少。 |
14
litguy 2023-07-20 08:20:16 +08:00
fio 测测 iSCSI 呢
是不是 iscsi 的延迟大了 而你用的 io 并发度又不够 把 fio 的 njobs ,iodepth 加大看看 |
17
BeliefanX OP @documentzhangx66 我学习一下,SSHFS 之前没了解过~
|
20
fuis 2023-07-20 10:00:38 +08:00
iSCSI initiator 能换成 Linux 下面的 open-iscsi 吗?然后测一下速度,怀疑问题出在客户端
|
21
vopsoft 2023-07-20 10:01:49 +08:00
smb
支持多通道 传输压缩 rdma QUIC 协议 |
23
litguy 2023-07-20 12:44:34 +08:00
@BeliefanX https://fio.readthedocs.io/en/latest/fio_doc.html 参考参考官网
网上的文章也有很多,照猫画虎就能测了 https://formulae.brew.sh/formula/fio 看这个网页,有苹果 M 系列的版本 |
25
documentzhangx66 2023-07-20 19:33:40 +08:00 2
@xiamx
Network FS 的性能瓶颈,并不在内核态与用户态这里,而是网络性能、存储介质性能,与处理器加解密性能。 而且 SSHFS 是 Network FS 里各方面都强的选手。 1.支持 fstab 。 2.只暴露 TCP 22 端口,可以同时支持局域网与 Inernet ,而且方便改端口映射。这个特性秒了 SMB 。 3.基于 SSH ,天生安全与加密。 4.4k 随机 IO 性能不低。 另外你肯定没去看性能评测,iSCSI 在某些评测里,连 SMB 都比不过。 https://blog.joeplaa.com/iscsi-vs-nfs-vs-smb-2/ |
26
Champa9ne 2023-07-21 09:35:30 +08:00
我记得 MacOS 原生不支持 iSCSI 吧,要不你试试网线拔了插在 windows 下连个 iSCSI 测测速?感觉不一定是链路问题,搞不好使 Mac 的软件自己性能不行。
|
28
BeliefanX OP @documentzhangx66 SSHFS 能挂载成本地硬盘一样么? 比如我想开启 mac 的内容缓存,就只能在本地硬盘中开启,类似 SMB 挂载的网络硬盘都不能用~
|
29
documentzhangx66 2023-07-21 20:24:39 +08:00
@BeliefanX SSHFS 连 fstab 都支持,你把内容缓存的路径改为 SSHFS 不就行了。
|
30
xiamx 2023-08-31 09:28:03 +08:00
@documentzhangx66 sshfs 已经被作者抛弃了 https://github.com/libfuse/sshfs ,这无脑推真很无语
|