V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
eluotao
V2EX  ›  Google Cloud

10T 视频源文件, 1T 项目文件, 4T 网络资料,如何快速上传 GoogleDrive,求正确方式

  •  
  •   eluotao · 2020-09-01 08:32:45 +08:00 · 3633 次点击
    这是一个创建于 1551 天前的主题,其中的信息可能已经有所发展或是发生改变。

    上述资料都在两个百度网盘,1 个 OneDrive 中,最近想把资料放进 GoogleDrive 做冷备份,有什么办法快速同步上去吗?

    本地只有 50M 的上传,比较慢。

    想知道 vps 上传的话,是怎么一个操作?购买哪里的 vps 会比较快些,能满足需求。

    第 1 条附言  ·  2020-09-04 08:59:20 +08:00
    尝试了以下方案:
    multcloud 直接 百度网盘 导入 GoogleDrive 结论:太慢,还不如手动来得快。
    安装宝塔面板 中的百度网盘插件 只能文件下载,不能整个网盘 整个文件夹下载。
    各种 github 开源尝试,都失败了。

    最后撸了 10 台 GCP
    系统配置如下:
    台湾 10 台
    香港 5 台
    新加坡 5 台
    2H8G 1T 硬盘 月租 150$
    装 debian 系统 然后 dd windows (镜像文件 1G 的 windows)
    效果:
    每台能跑 15-23MB 速度 查看网卡是 10G 不知道为什么只能跑 15-23MB 知道的可以告诉我一下.

    目前 2 天 一共传了 5T 预计 一星期完工...速度算最快了.
    第 2 条附言  ·  2020-09-04 09:21:03 +08:00
    可能和 CPU 有关系.
    11 条回复    2020-09-01 17:01:32 +08:00
    xmumiffy
        1
    xmumiffy  
       2020-09-01 08:43:18 +08:00 via Android
    在 gcp 上建 vm,OneDrive 可以用 rclone 流式上传,百度就要先下载再上传了
    datoujiejie221
        2
    datoujiejie221  
       2020-09-01 09:15:19 +08:00
    从流量费用的角度来说 gcp 是最好的选择 毕竟入站流量免费 出站到 Googledrive 也是免费
    aec4d
        3
    aec4d  
       2020-09-01 09:20:06 +08:00 via iPhone
    第一步,从百度云上下载下来,即使是超级 vip,每天下载也是限制流量的,15T 不知道要下载多久
    alect
        4
    alect  
       2020-09-01 09:32:30 +08:00
    这么大的文件传上去并不能保证文件的完整性
    cmdOptionKana
        5
    cmdOptionKana  
       2020-09-01 09:34:28 +08:00
    GoogleDrive 可以直接转冷储存吗?如果用 Google Cloud Storage,10T 级别的数据价格不是一般的贵啊,还是说你有便宜的方式?
    xmumiffy
        6
    xmumiffy  
       2020-09-01 09:52:35 +08:00
    @cmdOptionKana Google Drive 不是 Google Cloud Storage,是面向消费者的那个. GSuit 可以 12 usd/mo 无限储存
    xmumiffy
        7
    xmumiffy  
       2020-09-01 09:55:30 +08:00
    当然网上还有很多 GSuit 教育号和共享盘
    ohao
        8
    ohao  
       2020-09-01 09:57:26 +08:00 via iPhone
    准备一台美国大存储机器
    28T 硬盘 1G 端口的 600 人民币一个月

    百度的 vip,下载速度 10M,onedrive 满速

    上传到 gd 的速度是 750G/天硬性限制,可以 team 多 service account 绕过
    上传速度 G 口跑满,大部分都有 peer 到 google,所以速度没瓶颈
    matrix67
        9
    matrix67  
       2020-09-01 10:02:23 +08:00
    15T 的流量费都要好多钱啊
    eluotao
        10
    eluotao  
    OP
       2020-09-01 13:17:51 +08:00
    计划 60-90 天上传完.
    eluotao
        11
    eluotao  
    OP
       2020-09-01 17:01:32 +08:00 via iPhone
    @ohao 你这个 vps 推荐吗
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2821 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 24ms · UTC 07:39 · PVG 15:39 · LAX 23:39 · JFK 02:39
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.