百万数量级小文件迁移怎么做?

[FenixVu]

服务器上有 3 个 t 的数据大概由百万级别数量的小文件构成,现在挂了一个 5 个 t 的硬盘想把 3 个 t 的数据备份到硬盘上有啥好方法么 cp mv rsync tar 都试过了 不太好使

[wtfcworld]

dd ?

[AoEiuV020]

ghost?
或者整个硬盘 dd 过去再 resize 分区,

[liprais]

tar

[doyel]

dd 最快

[hulala1021]

rsync 应该没问题诶，我现在同步上百万的文件，没啥问题
不过我是从无到有增量同步的，不是一下字有上百万文件

[westoy]

dd 到新硬盘， 再 resize2fs 扩容

[lerry]

硬盘快照，具体要看是什么文件系统

[mingl0280]

partclone 好。

[liuguangxuan]

rsync 会碰到什么问题？

[kokutou]

先看看你的 5t 硬盘是不是叠瓦。。。

挂着不管放机房拷几天也就拷完了。

[FenixVu]

@kokutou 是个希捷的移动硬盘
我刚才才想到 需不需要 重新格式化成 ext4 在挂载拷贝
默认的应该是 ntfs

[kokutou]

@FenixVu #11
十有八九是叠瓦

[aloxaf]

@FenixVu #11
建议格式化，ntfs-3g 是基于 fuse 的，性能不是很高，而你这有 3T 数据……、
虽然有公司开源了一个 ntfs 的内核模块，但没有刚需的话还是建议格式化省事儿

[heguangyu5]

机械硬盘的话试试这个 https://github.com/heguangyu5/qtar

原理就是先给要 copy 的文件排序,让接下来 tar 读取文件时尽可能少地移动磁头什么的,时间有点久记不清楚了.

我们用这个工具迁移了千万数量级小文件,比简单的 cp 什么地快很多.

[Variazioni]

@wtfcworld 不懂就问。。dd 是什么。。。

[Pythondr]

@Variazioni https://en.wikipedia.org/wiki/Dd_(Unix)

[MarkLeeyun]

rm -rf .* 最快，哈哈。

[wangkun025]

dd: Copy and convert (called dd because cc is already in use by C compiler)

[wangkun025]

@MarkLeeyun 差评

[iphoneXr]

只要是涉及到大量文件迁移备份和同步的 统一推荐使用开源软件 rclone 自带校验比对和状态输出。
上面很多人回复都是没实践过，瞎扯淡。

[AoEiuV020]

@iphoneXr 本来就很慢了，再校验一下岂不是更慢了，一般硬盘对拷也不会出错，不需要这种东西吧，
而且看了下官网也没提 dd 之类的，竞品只是 rsync, cp，怎么到你这里好像都能吊打 dd 了似的，

[X0ray]

请问下楼主 cp / mv 哪里不好了

[wzq001]

@MarkLeeyun

[wzq001]

[sudo] password for root:

@MarkLeeyun

[newmlp]

当然是硬盘对拷最快

[msg7086]

叠瓦盘拷 3T 小文件可以拷一年……

[FenixVu]

@X0ray 我预估了下我这边估计 3000w 左右的文件个数 刚开始还好后面就夯死了,考一会歇半天

[maxbon]

试试 unison，之前百万级别的文件用这个效率还行

[FenixVu]

@heguangyu5 谢谢老哥用你推荐的方法 成功了