请教关于 k8s 存储方案的问题

[Legman]

针对私有化部署的场景，生产环境的 k8s 存储方案一般用哪种？ 之前有项目用过 nfs ，但效果不太好，受网络、磁盘影响比较大。 另外，各位项目上的生产环境一般用哪个版本？

[choury]

你这个具体是什么场景？我能想到的需要落地还不能丢的，只有数据库了，私有化部署直接本地盘，老老实实用 local pv ，其他的容器，落地的数据交给数据库，不重要的日志啥的，直接 overlayfs 就行了

[zhenjiachen]

我们测试环境用的 nfs ，生产环境不建议用自己搭建存储，因为不稳定，只要存储挂了整个项目基本是都挂了，直接买 k8s 服务吧。

[mirrornighth]

用对象存储

[xinmans]

nfs 可以的，对象存储性能很垃圾。
我是用 zfs 搭建了一套存储，然后 nfs 挂载到 k8s 。目前来看 k8s 里部署 emby/jellfin 都可以丝滑播放 nfs 里的视频。

[mightybruce]

k8s 存储都是分场景来选的， 另外 k8s 最近几个版本都有存储驱动的弃用和移除，移除云服务厂商的 in-tree 卷驱动，都是让存储厂商来提供 csi 。

[mightybruce]

未来存储肯定是 csi 驱动方式为主， 也减少了 k8s 的 bug 和 代码耦合。对性能和可靠性要求比较高的场景，NFS 就不适合。

[cloud107202]

哪个好用不清楚，能给你排除一个 gluster-fs ，它的 csi-driver 只能搜出两个，活跃的十分不成熟，另一个很早被弃坑

[lrh3321]

自建的话，一定要保证存储崩了以后，团队里有人能把数据恢复回来。自用还好说，一旦私有化部署给别人用，一出事，所有数据都和你说是重要数据。

[GeekGao]

"前有项目用过 nfs ，但效果不太好，受网络、磁盘影响比较大。" 你不会是搞成公网访问了吧 ？

[Ayanokouji]

顺路问下，有人用群晖的 csi 吗。有没有坑。
https://github.com/SynologyOpenSource/synology-csi

[Legman]

@choury localpv 确实安全，开发测试环境用的 rook-ceph

[asmile]

遇到同样的问题。目前准备用 iSCSI 磁盘阵列。

[snipking]

要看你具体的使用场景，高频访问还是低频访问，大量小文件还是少数大文件，对延迟要求是否苛刻，高可用和故障恢复有什么要求等等。比如低频附件就适合用对象存储或者 nfs ，数据库就适合直接用 local pv

[qaz999]

我们用的 IBM Spectrum Scale

[yuezhiyuan]

云厂商提供的 pv 、和 nfs

[NevadaLi]

如果是国内，要不试试 xsky ？他家的 ceph 不错，相当于出事了有厂商兜底

[crazycen]

1.存储有控制器和网络冗余机制。不然存储升级，网络维护等会很痛苦，需要停机窗口。
2.分布式存储或者传统存储用 nfs 或者 s3 或者 CSI 都 OK 。主流的硬件厂商都有，HPE/HUAWEI/DELL/Lenovo 等等。备份也比较方便。
3.自己搭建 ceph ，minio （高可用架构的）都 OK
3.群晖这种单体 nas 测试环境 OK 。生产环境比较头疼，升级重启等。

[superchijinpeng]

local pv

[DefoliationM]

看你应用内部怎么用了，文件就 storage class+nfs ，也可以直接用 s3 。

[zsj1029]

cephfs

[zwt9407]

如果性能要求不高，推荐 ceph 或者 nfs ，如果是数据库，需要用到本地存储，可以了解下 https://github.com/topolvm/topolvm/blob/main/docs/design.md

[Jasperzz]

普通业务 ceph block/fs
高性能 lvm local storage

[yang59324]

私有化用过 openebs

[dann73580]

用的 juciefs

[brookq]

没有人用 longhorn 吗

[Cola98]

这是之前相关帖子：
https://www.v2ex.com/t/923699#reply39

我们之前生产环境用的是存储厂商提供的 CSI ，配合存储一块使用，如果你想要性能好，就需要本地的，但是一般需要考虑漂移问题。