V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
MakeItGreat
V2EX  ›  问与答

如何确保自己网盘的文件是没有损坏的?

  •  
  •   MakeItGreat · 58 天前 via Android · 1590 次点击
    这是一个创建于 58 天前的主题,其中的信息可能已经有所发展或是发生改变。
    背景:Dropbox 付费,一万到十万个文件
    如何确保一个文件在很久之后没有损坏或者丢失
    损坏的可能来源:某个软件或者脚本修改了某个文件,物理损坏
    损坏的后果:在 Dropbox 提供的回滚过期之后,文件彻底损坏
    目前的思路?
    1.定时备份,扔到不同 oss 保存一年以及更久
    2.定期对全部文件 hash 计算,进行核对

    虚心请教各位还有没有更好的办法?
    如果这个问题是杞人忧天,也请大家指出
    谢谢各位!
    21 条回复    2021-07-31 16:03:54 +08:00
    delectate
        1
    delectate   58 天前   ❤️ 1
    文件列表核查+md5 定期抽检+重点文件异地容灾多重备份
    akira
        2
    akira   57 天前
    你不动他也是有概率损坏的。
    找另外一家存储服务也备份一份 基本上就没问题了
    ynyounuo
        3
    ynyounuo   57 天前 via iPhone
    买一个远古 Dropbox 付费账号,享受无限文件回滚
    ruixue
        4
    ruixue   57 天前   ❤️ 1
    愿意牺牲方便性(如在线预览、同步修改)的话,WinRAR 打包并添加恢复记录

    压缩包自带所有文件的 hash,解压时会校验,不一致会报错

    恢复记录使用 Reed-Solomon 纠错码,可以在损坏不严重的情况下重建数据

    https://documentation.help/WinRAR-zh/HELPArcRecovery.htm
    MaverickLee
        5
    MaverickLee   57 天前
    用 MlutiPar 创建 Par2 恢复档
    Kagari
        6
    Kagari   57 天前 via Android
    用 rclone 的 hash 校验
    sagaxu
        7
    sagaxu   57 天前 via Android
    阿里云 OSS 三副本,加上跨区域备份,除非自己误操作,损坏的概率极低
    3dwelcome
        8
    3dwelcome   57 天前
    @ruixue WinRar 加恢复卷打包,是国内特色,早期百度网盘有下载错误搞起来的。

    但是国外的网盘,正常都不存 SSD,都是存大容量机械硬盘,要坏就是一大片资料丢失,很少会存在只损坏个别字节的现象。

    加 hash 完全够了,加 RS 纠错码就是心理安慰。
    matrix67
        9
    matrix67   57 天前
    备份的时候记录 hash
    存 2 份(或者 3 份)
    SuperMild
        10
    SuperMild   57 天前
    如果文件不多,定期备份到 OSS 就蛮好的,OSS 有多副本。我自己不信任云服务商,所以自己做本地备份,备份到另一个硬盘,定期校验 hash 。
    745839
        11
    745839   57 天前
    你们都备份些啥这么多文件
    yinxiangbiji
        12
    yinxiangbiji   57 天前
    损坏就坏了呗
    efaun
        13
    efaun   57 天前
    @yinxiangbiji #11 +1,传到网上坏了就坏了,真要保险自己组 RAID
    learningman
        14
    learningman   57 天前 via Android   ❤️ 1
    @745839 node_modules (不是)
    koor
        15
    koor   57 天前   ❤️ 1
    几年前传到百度网盘的照片,已经有好几张打不开了
    zxCoder
        16
    zxCoder   57 天前
    备份
    msg7086
        17
    msg7086   57 天前
    RAR 5% 恢复记录。
    neteroster
        18
    neteroster   57 天前
    你方法没啥问题,就是备份 + hash
    Kagari
        19
    Kagari   56 天前
    重新看了主楼,原来还没到这一步
    但是系统该如何判断这个操作是否为正常操作呢?就像加密勒索软件那样
    lz 可以用额外带增量备份的软件来备份,比如 restic 、duplicati
    然后才会遇到下一个问题:文件在上传的过程中损坏了怎么办
    wanguorui123
        20
    wanguorui123   56 天前 via iPhone
    定期 HASH
    Ariver
        21
    Ariver   56 天前 via iPhone
    goodsync ?
    关于   ·   帮助文档   ·   FAQ   ·   API   ·   我们的愿景   ·   广告投放   ·   感谢   ·   实用小工具   ·   2295 人在线   最高记录 5497   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 13:29 · PVG 21:29 · LAX 06:29 · JFK 09:29
    ♥ Do have faith in what you're doing.