V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
shiji
V2EX  ›  问与答

服务器磁盘有限,怎么打包传输零散文件

  •  
  •   shiji · 2018-05-09 06:12:27 +08:00 · 1869 次点击
    这是一个创建于 2394 天前的主题,其中的信息可能已经有所发展或是发生改变。
    同一个目录下,都是图片文件,数量庞大。想打包传输到另外一个服务器。
    但是剩余空间不足,请问有什么方法解决这个问题?
    希望速度比 SCP 快,SCP 传零散文件速度感人。


    谢谢。
    11 条回复    2018-05-09 14:01:39 +08:00
    Trim21
        1
    Trim21  
       2018-05-09 06:14:47 +08:00 via Android
    干过一次类似的事情,起了个 http server,在另一台服务器上用多线程爬虫爬下来
    billlee
        2
    billlee  
       2018-05-09 06:18:19 +08:00
    tar -c | ssh tar -x
    clino
        3
    clino  
       2018-05-09 06:23:24 +08:00 via Android
    应该用楼上 tar 的方法,没有实际 tar 文件生成
    vibbow
        4
    vibbow  
       2018-05-09 06:26:55 +08:00
    移动硬盘...
    luban
        5
    luban  
       2018-05-09 06:59:27 +08:00 via iPhone
    磁盘空间不足,那就部分打包,传输完成删除
    opengps
        6
    opengps  
       2018-05-09 07:14:52 +08:00 via Android
    千兆内网共享,用自己电脑或者配合移动硬盘
    Mutoo
        7
    Mutoo  
       2018-05-09 08:09:29 +08:00
    rsync over ssh 了解一下,支持打包传送。
    stiekel
        8
    stiekel  
       2018-05-09 09:19:40 +08:00
    这种情况,rsync 应该是最好的解决方案了。
    alvinbone88
        9
    alvinbone88  
       2018-05-09 13:03:47 +08:00
    tar 打包,lz4 压缩,ssh 传输
    详细可以看 http://www.orczhou.com/index.php/2013/11/tranfer-data-faster-on-the-fly/
    据博主自己测试,传输速率可以达到 249MB/s
    Qzier
        10
    Qzier  
       2018-05-09 13:34:01 +08:00 via iPhone
    tar 打包,然后 xz 压缩
    shiji
        11
    shiji  
    OP
       2018-05-09 14:01:39 +08:00
    @Qzier
    @alvinbone88
    磁盘空间有限,打包不到四分之一磁盘就满了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3104 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 14:23 · PVG 22:23 · LAX 06:23 · JFK 09:23
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.