V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
liupengpeng
V2EX  ›  Amazon Web Services

如何将 S3 上 1TB 的压缩文件下载到本地?

  •  
  •   liupengpeng · 247 天前 · 2815 次点击
    这是一个创建于 247 天前的主题,其中的信息可能已经有所发展或是发生改变。
    我尝试了下,下载速度在 1MB/s ,这个速度下要好几天,还不能断点续传...
    17 条回复    2023-08-25 10:44:50 +08:00
    qweruiop
        1
    qweruiop  
       247 天前
    你配置个 cloudfront ,然后多线程下,会快很多。
    richangfan
        2
    richangfan  
       247 天前
    找个网盘中转
    Kinnice
        3
    Kinnice  
       247 天前
    换个好一点的梯子
    tmtstudio
        4
    tmtstudio  
       247 天前
    用鹅厂的对象存储,文档里有 linux 的上传命令,上传到存储桶再下载
    lidongyx
        5
    lidongyx  
       247 天前
    可以用 aws 的 cli 工具,这个是支持并行下载的;也可以用 S3 Transfer Acceleration 的服务
    lidongyx
        6
    lidongyx  
       247 天前
    一般的 FTP 工具也都有断点续传的功能吧,你肯定不能用 HTTP 这种方式来下载啊
    wph95
        7
    wph95  
       247 天前
    Maboroshii
        8
    Maboroshii  
       247 天前 via Android
    让他们拷出来快递给你。。。
    nuII
        9
    nuII  
       247 天前
    用 awscli 来下,配置 token 就行,和 scp 用法差不多,aws s3 cp s3://xxx ./
    vfs
        10
    vfs  
       247 天前
    s3 协议层面是支持断点续传的,而且也可以多线程下载。这种需求多吗? 多的话,个人可以快速写一个:)
    qwerthhusn
        11
    qwerthhusn  
       247 天前
    用迅雷就行
    先 presign 一个时间长一点的带签名的下载链接,然后交给迅雷就行了
    oxromantic
        12
    oxromantic  
       247 天前
    不差钱的话地址发出来,让大伙帮你迅雷加速 [Doge]
    dann73580
        13
    dann73580  
       247 天前
    配个 rclone ,开个多线程拉就完事了……
    2MO
        15
    2MO  
       247 天前
    https://www.multcloud.com/cn/
    之前我用的方案,用他们的服务转存到百度云,也试过开阿里的服务器按量使用挂载 webdav 转存到阿里云盘
    clouddd
        16
    clouddd  
       246 天前 via iPhone
    我去年也有类似需求,需要将 eu-west-1 上的 1T 多数据库备份下载到本地,隔离酒店的网络慢到不行。最后是用了阿里云的欧洲节点先拉完 S3 ,再转到阿里云杭州节点,什么加速之类的全开满,最后再下载,一阵折腾最后花掉差不多人民币 7-800 ,耗时两三天🥹
    lff0305
        17
    lff0305  
       246 天前
    开个 EC2 ,mount S3 到 EC2 的文件, 然后办法就多了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   891 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 22:10 · PVG 06:10 · LAX 15:10 · JFK 18:10
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.