V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
PeiXyJ
V2EX  ›  Kubernetes

Kubernetes 该用什么开源存储

  •  1
     
  •   PeiXyJ · 17 天前 · 2338 次点击

    目前,我们公司正在使用青云的 KES ,不过尚未购买存储服务。目前采用 NFS 方案,但其性能似乎已不能满足我们的需求。因此,我们考虑进行更换,选择了 Ceph 。然而,根据一些反馈,Ceph 的运维难度较大。

    因此,我想请教各位专家,是否有其他推荐的分布式存储方案?(最好是免费的,因为我们公司的预算有限。感谢大家的建议和帮助!)

    第 1 条附言  ·  16 天前
    买的是青云的 KES,本地许可.部署在集团的 VM 机器上
    28 条回复    2024-11-26 17:56:33 +08:00
    mightybruce
        1
    mightybruce  
       17 天前
    提供的信息太少, 分布式存储多的很, 免费还想好用,性能还不错没有这个可能性。
    GeekGao
        2
    GeekGao  
       17 天前
    试试 juicyfs ?
    defunct9
        3
    defunct9  
       17 天前   ❤️ 1
    GlusterFS
    PeiXyJ
        4
    PeiXyJ  
    OP
       17 天前
    @GeekGao 大佬有在生产环节上用过吗?
    PeiXyJ
        5
    PeiXyJ  
    OP
       17 天前
    @mightybruce 您说的很有道理,其实就是在免费里面找一个最好的而已...
    GeekGao
        6
    GeekGao  
       17 天前
    @PeiXyJ 没有,我都是用公有云上的。只是之前调研过它
    thet
        7
    thet  
       17 天前
    GlusterFS+1
    tap91624
        8
    tap91624  
       17 天前
    用过 hdfs 魔改的,估计和 hdfs 差不多
    joyoyao
        9
    joyoyao  
       17 天前   ❤️ 1
    分布式存储最好不要上 k8s ,数据库之类的可以搞主备方案。分布式存储中网络是最大的瓶颈,如果不是自建物理集群,单独对网络进行优化,性能都不太行, 而且网络优化这一块难度比较大,设备也比较贵。如果用分布式存储的话推荐 ceph 。不过要单独搞个 10G 以上的网口给 ceph 用。主备方案可以考虑 kubeblocks 或者各种数据库 operator 。
    perfectlife
        10
    perfectlife  
       17 天前
    云上不是可以直接挂在云盘作为 pv 么 ,简单省事
    hutoer
        11
    hutoer  
       17 天前
    开源里面最好的估计也就 Ceph 了。GlusterFS 小文件性能极差,不适合 k8s 中使用。
    hutoer
        12
    hutoer  
       17 天前
    我们线上 10 多台存储服务器,跑 Ceph ,还行吧,平常也没啥需要运维的
    COW
        13
    COW  
       17 天前   ❤️ 1
    我建议先从硬盘规格、网络带宽、共享协议这几个方面进行优化,然后再考虑分布式存储方案,Ceph 已经是个比较理想的选择了,运维上确实有一定门槛,而且硬件差的话运维起来会很难受。
    zed1018
        14
    zed1018  
       16 天前
    mark 一下这个帖子,我们现在在用 nfs ,作为 client 的那个 node 性能指标确实很难看。
    CCIEliu
        15
    CCIEliu  
       16 天前   ❤️ 1
    如果你想方便易用,强推 Longhorn ,甚至有 web 管理页面,全量备份,增量备份,离线备份到 S3 ,多副本,热升级,都行。 用了都说好。
    https://longhorn.io/


    当然如果你想功能完善健壮,那还是要用 ceph+rook
    sunziren
        16
    sunziren  
       16 天前
    ipfs
    pckillers
        17
    pckillers  
       16 天前
    目前用腾讯云的 K8s 。 貌似叫 TKE 吧。 储存原来是 nfs 协议的 CFS 服务。 后来跑 ai 就上了个不知啥协议的腾讯自己封装的 cfs-turbo 服务。 插件里点一下,就装好对应的 storage-class 了。 很方便。
    COW
        18
    COW  
       16 天前
    @CCIEliu longhorn 是块存储设计,如果 k8s 上利用 RWX 共享卷给团队用,相当于走了 nfs + 块存储两层,而 NAS 直接走 nfs 只要走一层,同样的硬件下,性能说不定更慢了
    CCIEliu
        19
    CCIEliu  
       16 天前   ❤️ 1
    @COW
    0. Longhorn 当然是快存储设计,楼主正在寻找分布式存储,Longhorn 即为分布式快存储。
    1. 楼主没说要 RWX ,目前只是已经在用 NFS 的方式提供持久化方案。
    2. 楼主明确说 NFS 已经不满足读写性能, 如果切换 longhorn ,楼主不至于用已经存在性能问题的 NFS 当后端。过两遍存储逻辑。
    3. 也有没在回复中推荐将 NFS 作为 longhorn 的底层存储。
    4. 没明白你单独拎出来这种"如果"想表达什么。
    CCIEliu
        20
    CCIEliu  
       16 天前
    @CCIEliu *块存储
    COW
        21
    COW  
       16 天前 via Android
    @CCIEliu 我的意思是 op 可能就不需要块存储的需求,NAS 本身主要就是用于文件共享和备份,是基于 nfs smb 这种文件级协议设计的,如果想找替代品的话,应该是倾向于类似 cephfs 这种文件级的存储方案。
    yuhr123
        22
    yuhr123  
       16 天前
    试试 juicefs 吧,先用开源版,数据规模大了换商业版。
    kd9yYw2RyhQwAwzn
        23
    kd9yYw2RyhQwAwzn  
       16 天前
    mark 下 我们也用了 nfs 方案 性能确实差
    PeiXyJ
        24
    PeiXyJ  
    OP
       16 天前
    @perfectlife 是本地私有化部署的
    d0m2o08
        25
    d0m2o08  
       16 天前
    ceph-rook 集成到 k8s 集群里
    PeiXyJ
        26
    PeiXyJ  
    OP
       16 天前
    @d0m2o08 大佬知道 ceph-rook 和 ceph 单独部署在别的服务器哪个稳定性更高. 硬件稳定性不考虑.
    vopsoft
        27
    vopsoft  
       16 天前
    fastCFS 据说性能不错 就是案例少
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2772 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 13:19 · PVG 21:19 · LAX 05:19 · JFK 08:19
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.