V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
taofoo
V2EX  ›  程序员

毕业设计-分布式存储?

  •  
  •   taofoo · 2021-12-08 18:21:09 +08:00 · 3454 次点击
    这是一个创建于 842 天前的主题,其中的信息可能已经有所发展或是发生改变。

    又到了一年一度的毕业设计时间了。此次是本科毕业设计,想做一个系统涉及到文件存储(10MB 以内)。想上一个分布式的文件系统,直接用库感觉不大好,想自己实现一个简单的分布式文件系统作为支撑。各位怎么看?

    28 条回复    2021-12-09 23:52:42 +08:00
    taofoo
        1
    taofoo  
    OP
       2021-12-08 18:23:06 +08:00
    有啥难点或坑点吗?要是自己实现的话就做一个比较简单的分布式文件系统,忽略很多东西。
    XiLingHost
        2
    XiLingHost  
       2021-12-08 18:28:43 +08:00
    CAP 打算选那两个的抉择
    raaaaaar
        3
    raaaaaar  
       2021-12-08 18:51:04 +08:00
    mark ,我明年也准备写分布式相关的
    fuis
        4
    fuis  
       2021-12-08 19:00:18 +08:00   ❤️ 2
    复杂程度取决于:
    1. 丢数据是不是可以容忍的?如果可以容忍,那 journal 就不用了,奇怪的 case 也可以不测了
    2. 支不支持多读多写?
    3. 支持多少 POSIX 语义?
    4. 元数据怎么组织,怎么存储?比如文件在哪个节点上,有几个 block ?
    5. 怎么组织 block ?是直接写在盘上?还是用一下单机的文件系统?
    6. 你需要一个 zk/etcd 之类的东西来帮助你做一个 ocfs DLM 类似物,还是用现成的 raft+leveldb 实现?还是说自己搓一个 raft ?
    Akiya
        5
    Akiya  
       2021-12-08 19:18:15 +08:00   ❤️ 2
    10M 也要做成分布式。。。?没什么,就是有点离谱
    lbp0200
        6
    lbp0200  
       2021-12-08 19:21:25 +08:00
    学校更看重和国家政策相关的技术,比如实现一套 MATLAB ,解决卡脖子的问题。
    taofoo
        7
    taofoo  
    OP
       2021-12-08 19:31:09 +08:00
    @Akiya 不知道写啥,不想写管理系统了,吃力不讨好
    Akiya
        8
    Akiya  
       2021-12-08 19:34:50 +08:00
    @taofoo 分布式存储的代码会比管理系统的 CURD 简单吗,如果是带着做分布式存储比较轻松的想法那还是别做了,光实现一个稳定的 Raft 都够吃力了
    taofoo
        9
    taofoo  
    OP
       2021-12-08 19:45:47 +08:00
    @Akiya 不是说简单,而是说做了很多工作但都是很基础的虽然有一些亮点的地方。但是老师已经审美疲劳了
    taofoo
        10
    taofoo  
    OP
       2021-12-08 19:47:57 +08:00
    @Akiya 确实单机也可以,不过也就是毕设而已。但是也就因为是毕设,想做个亮点吧。
    taofoo
        11
    taofoo  
    OP
       2021-12-08 19:49:30 +08:00
    @fuis 目前还在看,如果难度大了,可能直接用现成的。还在和老师商量,说不定直接换题了😂
    realrojeralone
        12
    realrojeralone  
       2021-12-08 20:45:27 +08:00
    《基于分布式文件存储和分布式 KV 存储的对象存储系统设计与实现》
    dongcidaci
        13
    dongcidaci  
       2021-12-08 20:47:53 +08:00 via Android
    把 gfs 论文里的点实现一边就可以了
    zxCoder
        14
    zxCoder  
       2021-12-08 20:52:28 +08:00   ❤️ 1
    《基于深度学习的分布式系统管理系统》
    bz5314520
        15
    bz5314520  
       2021-12-08 21:59:16 +08:00
    data mesh
    agdhole
        16
    agdhole  
       2021-12-08 22:08:47 +08:00 via iPhone
    《去中心化存储》
    LeeReamond
        17
    LeeReamond  
       2021-12-08 22:34:11 +08:00
    《分布式存储---在每个设备上都存一份》
    DiamondYuan
        18
    DiamondYuan  
       2021-12-08 23:15:48 +08:00
    可以看看 CRDT
    aheadlead
        19
    aheadlead  
       2021-12-08 23:39:20 +08:00   ❤️ 3
    你弄这么 fancy 对你没啥好处,毕业设计弄个套路点的让老师也减轻点负担吧。
    随便弄个图书管理系统,赶紧通过毕设,这不香吗…

    万一到后期玩崩了,没做出来还有可能延毕,影响就大了。
    想折腾啥自己空余时间慢慢折腾呗。
    dayeye2006199
        20
    dayeye2006199  
       2021-12-09 08:13:05 +08:00
    这玩意儿自己可以成为一个项目了,如果做的精细点的化;
    建议评估一下这个功能是不是会喧宾夺主,让 LZ 忘了自己原来要做的系统
    wellsc
        21
    wellsc  
       2021-12-09 09:46:25 +08:00
    @Akiya 10M 怎么就不能分布式了?
    Juszoe
        22
    Juszoe  
       2021-12-09 09:46:58 +08:00
    要不就直接专心做分布式存储。为了亮点而强行使用有些本末倒置了,答辩老师灵魂问题“你的系统为什么要使用分布式存储?”,如果答不上来这个“亮点”会被认作是无关痛痒的小功能。
    zhengxiaowai
        23
    zhengxiaowai  
       2021-12-09 11:43:38 +08:00
    不如做分布式 kv 存储还简单,只需要找一个 raft lib 和 leveldb/rocksdb ,一天就能撸完
    vincent7245
        24
    vincent7245  
       2021-12-09 14:40:24 +08:00
    hdfs 源码研究透了,你就可以直接去找大数据的工作了,去 TM 的毕业设计
    cs419
        25
    cs419  
       2021-12-09 17:30:03 +08:00
    工作中通常是 先把东西做出来, 然后再调优 。
    先用现成的,功能实现后,再考虑换成自研的。
    Kasumi20
        26
    Kasumi20  
       2021-12-09 17:30:49 +08:00
    10MB ,何不直接做成 NFT ,存储在区块链上
    Akiya
        27
    Akiya  
       2021-12-09 21:03:30 +08:00 via iPhone
    @wellsc 10M 的数据拆成 3 份放三台机器是吧,说实话开个网盘备份都比这个有意义
    wellsc
        28
    wellsc  
       2021-12-09 23:52:42 +08:00 via iPhone
    @Akiya 您得看这是什么数据呢
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2869 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 29ms · UTC 13:01 · PVG 21:01 · LAX 06:01 · JFK 09:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.