iops 性能很差,是不是选错方案了? 本来想优化下的,搜了不少关于小文件+gluster 和 zfs 的关键字,发现小文件不适合。 遂对选型产生了质疑。
一开始只是想简单的组个软 raid,集个群做存储后端而已。 没太在意应用场景。感觉方向错了。。。。
文件基本在 256k,最大 1m,用于 ipfs 存储。
1
catror 2021-01-23 09:55:48 +08:00 via Android
glusterfs 确实不太适合,可以试试 ceph
|
2
isnullstring 2021-01-23 10:52:16 +08:00
同问,我现在用 ZFS,还没上集群,就已经开始有点点慢
|
3
siknet 2021-01-23 11:35:32 +08:00 via Android
借问一下,WIN10 下有什么性能强于 ntfs 且易于读写的文件系统吗?
|
4
ohao 2021-01-23 11:43:27 +08:00 via iPhone
这个要看使用场景
是密集型读 还是密集型写 还是均衡读写 还有数据增长速度 确定了在做个各种文件系统的性能对比 如果在 200T 内 一般的 sata + hw raid 6+ ssd cached 架构绰绰有余 一组 3 台 200T 上下的 满足大部分使用场景需求了 对应调整下 raid 的读写缓存策略 文件系统使用 xfs,小文件存储 块那个设置小点节省空间 |
5
ferock 2021-01-23 12:09:17 +08:00 via iPhone
zfs 性能不行
|
6
ferock 2021-01-23 12:09:38 +08:00 via iPhone
小文件场景
|
7
siknet 2021-01-23 12:30:34 +08:00 via Android
@ohao 单个项目 500-1000G,6 台机器同时读写,将近 100 万个文件,现在是放在 PM981 2T 里面跑,之前临时放在机械盘里面跑,感觉慢了一倍都不止。。。。
|
8
mushokumunou OP @ohao 均衡读写
主要是小文件,看见 zfs 是动态调整 inode 的,感觉无限用不完,就上了 zfs,还有快照,send/receive 比 rsync 舒服多了。等 ubuntu 支持 zfs2.0 了,就更爽了。汗,就是冲动。 glusterfs 纯粹图个简单易上手,没想太多。而且初期两个存储机集群下,做个分布卷,效率还是很高的。后期不够也不用损毁数据,直接分布+复制可以改型,光看优点了。 |