V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
lingaolc
V2EX  ›  问与答

请问如何方便地避免:大文件夹拷贝后,部分文件损坏

  •  
  •   lingaolc · 2022-09-24 12:30:36 +08:00 · 2020 次点击
    这是一个创建于 799 天前的主题,其中的信息可能已经有所发展或是发生改变。

    问题:通过 Microsoft Remote Desktop 传输大文件夹( 1TB 至 10TB 量级),或者电脑外接硬盘盒、经过电脑复制粘贴大文件夹,都分别试过文件夹里的部分文件损坏,想请教(1)如何避免这种情况发生?(2)为什么会发生这种情况?

    背景:单纯家用,暂时数据量 20TB 左右,现有设备均是普通 DIY 台式机,存在异地数据同步的需求。我个人遇到这种文件损坏情况的频率大概是 5 年内 1 至 2 次,虽然频率低,但是因为刚开始没发现,导致备份副本也只保存了损坏后的数据,部分家庭旅游照片找不回来了,觉得挺可惜,因此想彻底解决这个问题。

    暂时考虑的解决方法:

    1. 先压缩再传输、解压,这样可以第一时间发现压缩包损坏,不至于一两年后才发现文件夹中的部分文件出现问题(对于定期增量备份而言略麻烦);
    2. 每次传输完,手动与源文件夹做一次文件一致性比较(也稍稍有点麻烦);
    3. 用 ECC 内存(不知道能不能彻底解决以上问题,如果可以的话,相对前两种方法更简便一些)。
    14 条回复    2022-09-25 09:33:57 +08:00
    processzzp
        1
    processzzp  
       2022-09-24 12:48:18 +08:00 via iPhone   ❤️ 2
    使用 FastCopy 复制,勾选“校验”
    (最好去设置里把校验算法改成 xxHash ,速度更快)

    https://mapaler.github.io/FastCopy-M/
    https://fastcopy.jp/
    7zlid
        2
    7zlid  
       2022-09-24 12:48:33 +08:00 via Android   ❤️ 1
    用 resilio sync 和 good sync 这种软件同步?

    硬件方面 Ecc 有很小的作用吧,比较重要的硬盘得有好几个,避免相互污染
    wxf666
        3
    wxf666  
       2022-09-24 12:52:24 +08:00   ❤️ 1
    感觉 WinRAR 的恢复记录功能,会对你有帮助(如果不想压缩一遍再添加恢复记录,可用类似的独立功能软件,如 MultiPar )

    如,设定生成 3% 的恢复记录,允许你出错最多不超过 3% 的情况下,恢复原文件

    既能帮你验证文件,又能修补你说的复制出错,还能一定程度预防存储出错(当然,肯定多份备份更好)
    lingaolc
        4
    lingaolc  
    OP
       2022-09-24 12:59:29 +08:00
    @processzzp 谢谢!自带校验确实方便一些,我看看有没有跨平台的类似软件
    lingaolc
        5
    lingaolc  
    OP
       2022-09-24 13:02:52 +08:00
    @7zlid 谢谢!同步软件主要担心出 bug 把原始文件也干掉了,我看看单向同步会不会安全些
    lingaolc
        6
    lingaolc  
    OP
       2022-09-24 13:04:02 +08:00
    @wxf666 谢谢!我才知道 WinRAR 有这样的功能!!我试试
    szzhiyang
        7
    szzhiyang  
       2022-09-24 14:50:07 +08:00   ❤️ 1
    rclone sync
    systemcall
        8
    systemcall  
       2022-09-24 15:03:06 +08:00 via Android   ❤️ 1
    rsync 之类的方法
    要是不怕运营商偷隐私,并且至少一边 nat1 或者都有 ipv6 ,可以用 bt 软件来传输文件
    选择要传输的文件,选择生成 torrent ,再在另一边下载这个 torrent 。传输过程中间遇到来嗅探数据的用户直接屏蔽掉
    makelove
        9
    makelove  
       2022-09-24 15:25:32 +08:00   ❤️ 1
    防止备份文件因为硬件原因坏了些字节不能用的方法就是加恢复记录,上面说的 rar 当然可以,也有些开源软件可以干,比如 https://www.thanassis.space/rsbep.html
    610915518
        10
    610915518  
       2022-09-24 15:41:15 +08:00   ❤️ 1
    rsync ,不仅可以 copy ,还可以增量同步。

    windows 安装教程 https://acbetter.com/posts/use-rsync-by-git-bash-on-windows/
    Xusually
        11
    Xusually  
       2022-09-24 17:14:32 +08:00 via iPhone   ❤️ 1
    rsync 简单好用
    totoro625
        12
    totoro625  
       2022-09-24 17:23:03 +08:00   ❤️ 1
    推荐用 TeraCopy ,免费软件: https://codesector.com/downloads

    可以快捷生成选中文件的 md5 值,并自动生成一个 checksum.md5 文件,需要校验的时候双击这个文件就会自动校验上次生成 md5 的文件有没有更改 /删除
    flynaj
        13
    flynaj  
       2022-09-25 01:16:06 +08:00 via Android   ❤️ 1
    我用的 totalcmd,直接生成校验文件,也可以用同步软件 syncthing 这类的, 还有避开 USB 传输可以大幅降低出差概率
    lingaolc
        14
    lingaolc  
    OP
       2022-09-25 09:33:57 +08:00
    @szzhiyang
    @systemcall
    @makelove
    @610915518
    @Xusually
    @totoro625
    @flynaj

    谢谢各位~我逐个试试,我才知道原来有这么多种方法
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   935 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 20ms · UTC 19:54 · PVG 03:54 · LAX 11:54 · JFK 14:54
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.