V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
j0ck1e
V2EX  ›  宽带症候群

如何将加拿大服务器上总计 200T 的文件传输到国内?

  •  2
     
  •   j0ck1e · 2022-06-08 14:03:16 +08:00 · 16904 次点击
    这是一个创建于 660 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网络环境

    加拿大服务器公网 10G 带宽 国内服务器公网 5G 带宽

    遇到的问题

    由于链路距离过长,直接下载速度只能达到 100Mbps

    以了解过的解决方法

    1. 购买阿里云 OSS ,通过闪电立方将数据传输到阿里云 OSS 美国节点上,然后数据内部同步到国内的 OSS 节点,最后用国内服务器下国内 OSS 节点上的数据,这个方案价格太高,需要支付存储包流量包费用近 20W
    2. 购买阿里云 CDN 服务,这个方案能否实现还不清楚
    第 1 条附言  ·  2022-06-10 10:26:18 +08:00

    感谢各位的解答。首先200T的数据是确有其事并非杜撰,其次最新进展是已经联系香港电信运营商开通一台1Gbps带宽的服务器进行测试,加拿大到香港最大带宽能达到多少还需测试,如果能跑满1Gbps就将国内服务器寄过去下载好再托人带回国内,最后说明一下我的测试方法

    1. 用speedtest测试线路带宽是否达标
    2. 从香港节点用axel多线程下载加拿大的数据

    第二点应该用iperf3测试香港到加拿大节点带宽,但是加拿大运营商负责人没有同意使用iperf3测试

    各位除网络链路之外可能会提到的瓶颈

    1. cpu是48核心的处理器,所以cpu性能是够的
    2. 磁盘做了阵列,写入速度能达到16Gbps/s(注意是小b,换算成大B是2GB/s)
    174 条回复    2022-06-20 17:49:31 +08:00
    1  2  
    wy315700
        1
    wy315700  
       2022-06-08 14:04:36 +08:00 via iPhone   ❤️ 21
    买硬盘存进去然后找个人坐飞机带回来
    throns
        2
    throns  
       2022-06-08 14:06:19 +08:00
    @wy315700 现在回国的成本也很高,机票都要大几万
    mosfet
        3
    mosfet  
       2022-06-08 14:08:17 +08:00
    固态硬盘,快递回去
    shanghai1998
        4
    shanghai1998  
       2022-06-08 14:08:51 +08:00
    买硬盘,加密数据,然后快递寄回来
    lower
        5
    lower  
       2022-06-08 14:09:42 +08:00
    @wy315700 机票得估计 6w+,买硬盘也得 2w+,算下来也得小十万了……🤣
    j0ck1e
        6
    j0ck1e  
    OP
       2022-06-08 14:10:44 +08:00   ❤️ 1
    @shanghai1998
    @mosfet
    硬盘里面有数据过国内海关可能不让过,而且这次传输完后以后可能还会传输一点数据
    8520ccc
        7
    8520ccc  
       2022-06-08 14:10:49 +08:00
    预算多少?外包吗? 我可以承接这个服务 需要可以联系我
    lxr760
        8
    lxr760  
       2022-06-08 14:12:18 +08:00
    感觉装硬盘里快递回来反而比走网络传输要来的快
    hoythan
        9
    hoythan  
       2022-06-08 14:17:25 +08:00
    把文件拆分成 1gb/份 分批上传下载。
    GeorgeGalway
        10
    GeorgeGalway  
       2022-06-08 14:20:09 +08:00
    你好移民考虑一下
    hoythan
        11
    hoythan  
       2022-06-08 14:21:31 +08:00   ❤️ 2
    购买 10 个 1tb 不限速网盘账号 VIP 。文件拆分成 1gb/ 份上传到网盘,国内下载。下载完毕清空网盘循环往复。
    docx
        12
    docx  
       2022-06-08 14:25:47 +08:00 via iPhone
    找个速度快的服务器中转?
    huaes
        13
    huaes  
       2022-06-08 14:30:57 +08:00
    去江浙找个机房下,内地机房就有这个毛病速度就是不如出海口速度快
    hoythan
        14
    hoythan  
       2022-06-08 14:34:06 +08:00
    我家 1000mb 宽带,试过网盘下载 1tb 文件要 4 个小时。写了个小工具下载完毕就删除网盘内容。

    用的是企业版百度网盘,免费版容量只有 50gb 。但是优势是不限速。写了个小工具自动删除下载完毕的文件,然后另外一边排队上传。

    你 200tb 不算上传时间光下载得一个月。 优势是基本上不花钱。
    hoythan
        15
    hoythan  
       2022-06-08 14:36:17 +08:00
    @hoythan 哦 5g 能跑满的话一周就够了。
    pxiphx891
        16
    pxiphx891  
       2022-06-08 14:40:37 +08:00   ❤️ 5
    第一步,把 200T 的文件切割成 1MB 的片段,共计 2 亿片
    第二步,号召 2 亿网友,每人帮你从加拿大机器下载 1MB ,然后上传到国内服务器
    第三步,合并 2 亿切片
    如果你能免费号召到 2 亿网友,我可以号召 2 个 v 友免费给你编写转发软件。
    按照你 10G 的公网下载带宽,预计需要 44 小时。
    BingoXuan
        17
    BingoXuan  
       2022-06-08 14:41:47 +08:00
    刻录在空白的蓝光光盘里面,然后重新打包一下,当成普通空白蓝光光盘发快递就行
    pxiphx891
        18
    pxiphx891  
       2022-06-08 14:42:56 +08:00
    或者数据加密后装磁带里呢?海关检查磁带吗?
    huaes
        19
    huaes  
       2022-06-08 14:44:13 +08:00

    你看全国各地机房速度天差地别,哪怕电信专线它也是过 163 汇聚,速度上不去的,CN2 倒是可以做到全国速度差不多,但是得加钱加钱加钱
    paopjian
        20
    paopjian  
       2022-06-08 14:46:07 +08:00
    巨量数据还是空运比较方便,或者找个人去香港下好再入境?
    junas7
        21
    junas7  
       2022-06-08 14:46:15 +08:00
    @pxiphx891 哈哈哈把大象装到冰箱里有需要几步呢
    superchrisliu
        22
    superchrisliu  
       2022-06-08 14:46:25 +08:00
    @pxiphx891 开发转发软件 我也要参加!!
    makelove
        23
    makelove  
       2022-06-08 14:53:05 +08:00
    国内的云服务下载似乎是不用流量钱的吧,在云上建一堆轻量机子一起下载占满 10G 应该很轻松
    j0ck1e
        24
    j0ck1e  
    OP
       2022-06-08 15:01:57 +08:00
    @huaes 国内服务器在江苏
    j0ck1e
        25
    j0ck1e  
    OP
       2022-06-08 15:03:19 +08:00
    @hoythan 从加拿大上传到网盘估计够呛,国内国外通用的网盘几乎没有
    mingl0280
        26
    mingl0280  
       2022-06-08 15:06:22 +08:00
    买固态,快递。这是最便宜的方案了。
    i0error
        27
    i0error  
       2022-06-08 15:10:03 +08:00
    周经问题。。。要不提问前先搜索一下?
    huaes
        28
    huaes  
       2022-06-08 15:10:19 +08:00
    @j0ck1e 去上海机房,要么就联系电信直接去电信机房下,线路问题他们会给你解决的,费用绝对比其他方案小
    xgfan
        29
    xgfan  
       2022-06-08 15:12:42 +08:00
    试试澳门 /香港中转?
    加拿大-光纤-澳门 /香港-人肉-国内
    vocaloid
        30
    vocaloid  
       2022-06-08 15:14:20 +08:00
    搞个短期 iplc 不过价格估计也要小几万
    zhs227
        31
    zhs227  
       2022-06-08 15:17:11 +08:00
    上次那个哥只有 30T ,这回 200T 了。传送大量数据确实是成本非常高。还是能寄就寄。
    Titzanyic
        32
    Titzanyic  
       2022-06-08 15:20:16 +08:00
    - 搭建 Aspera 可以点对点高带宽利用率,解决传输效率的问题;
    - 200T 存储也是个问题;
    - 普通的千兆宽带总时间也很长,还需要千兆以上的带宽;
    huaes
        33
    huaes  
       2022-06-08 15:20:53 +08:00
    反正国内机房都要过 163 汇聚,接入线路也是分国内外优化的,这是机房跟运营商谈的你解决不了,去香港也是一样的,不如直接找运营商,跳过中间商
    huaes
        34
    huaes  
       2022-06-08 15:22:24 +08:00
    @Titzanyic 这是出海啥技术方案都没用的,宽带再大也给你 QOS
    bxb100
        35
    bxb100  
       2022-06-08 15:26:40 +08:00
    好像往国内单 IP 传输流量过大有可能直接被黑洞
    hyrepo
        36
    hyrepo  
       2022-06-08 15:34:25 +08:00   ❤️ 1
    可以看看 AWS Snowball ,适用于 10TB-10PB 级别的数据迁移,AWS 会直接给你寄个硬件过来,你传完数据给他们寄回去,然后他们帮你同步进 AWS 里,没记错的话他们也支持云上的数据往线下迁移。
    ymmud
        37
    ymmud  
       2022-06-08 15:38:40 +08:00
    国内多弄点机器 bt 下载
    ayukas
        38
    ayukas  
       2022-06-08 15:44:01 +08:00
    我看还是买个 SSD 然后复原包装标签冒充新品再附个 invoice 最便宜
    txydhr
        39
    txydhr  
       2022-06-08 15:44:25 +08:00 via iPhone   ❤️ 7
    任何网络都跑不过装满硬盘的卡车
    zanzhz1101
        40
    zanzhz1101  
       2022-06-08 15:44:51 +08:00   ❤️ 3
    我觉得直接上 bt 吧,自己搭个 tracker ,开几个服务器作为中转,问题应该不大
    leavic
        41
    leavic  
       2022-06-08 15:50:46 +08:00
    加密分包压缩成 2000 份,找几百个网友众包下载然后上传拼接
    zanzhz1101
        42
    zanzhz1101  
       2022-06-08 16:02:27 +08:00
    @txydhr 他这个可能得上船或者飞机哈哈
    zanzhz1101
        43
    zanzhz1101  
       2022-06-08 16:05:29 +08:00
    @j0ck1e 上 bt 吧,开几个 ovh 和 do 的机器,几个大盘鸡 10T 的也没多少钱,分片下载,自建个 tracker ,国内也整几台设备分片,会快不少
    hichinaman
        44
    hichinaman  
       2022-06-08 16:08:23 +08:00 via iPhone
    我在香港使用宽频光纤可否帮到你?
    zanzhz1101
        45
    zanzhz1101  
       2022-06-08 16:09:14 +08:00
    @hichinaman 往国内的速度估计一般吧,流量大了容易被 q
    cmdOptionKana
        46
    cmdOptionKana  
       2022-06-08 16:11:28 +08:00
    空运贵也许可以考虑船运?
    cloudsigma2022
        47
    cloudsigma2022  
       2022-06-08 16:13:31 +08:00 via iPhone   ❤️ 5
    就没人关心,200t 是个什么数据,视频吗? sex?
    libook
        48
    libook  
       2022-06-08 16:13:48 +08:00
    可以咨询一下海关,如果邮寄这种存有业务数据的硬盘入境的话,需要走哪些手续,这块能搞定的话,也就十几块硬盘的事情了。

    实在想要用网络传输,估计就得找运营商谈了,跑满带宽也得三天左右才能传完。
    zengguibo
        49
    zengguibo  
       2022-06-08 16:25:57 +08:00
    20T 的硬盘一个 4000 块,只需要 10 块*4000= 4 万块,再加上运费,拷完再将硬盘卖掉,估计费用可以接受
    www5070504
        50
    www5070504  
       2022-06-08 16:26:49 +08:00
    所以更想要的速度还是价格便宜
    lslqtz
        51
    lslqtz  
       2022-06-08 16:27:11 +08:00
    多线程跑啊……
    lslqtz
        52
    lslqtz  
       2022-06-08 16:27:53 +08:00
    @zanzhz1101 BT 其实比多线程拉慢。
    liprais
        53
    liprais  
       2022-06-08 16:28:20 +08:00
    寄个硬盘是最快的
    infuse
        54
    infuse  
       2022-06-08 16:28:26 +08:00 via iPhone
    @zengguibo #49 硬盘不允许国际快递
    zanzhz1101
        55
    zanzhz1101  
       2022-06-08 16:28:26 +08:00
    @lslqtz 但其实可以多设备跑满呀,快速拉出来
    lslqtz
        56
    lslqtz  
       2022-06-08 16:29:06 +08:00
    @zanzhz1101 点对点不会存在多设备,这不是点对多点的需求
    abc0123xyz
        57
    abc0123xyz  
       2022-06-08 16:29:36 +08:00
    @pxiphx891 #16 都能号召 2 亿网友了,还差这点钱,直接割 2 亿韭菜
    zanzhz1101
        58
    zanzhz1101  
       2022-06-08 16:31:31 +08:00
    @lslqtz 单链路多线程不一定跑的满
    lslqtz
        59
    lslqtz  
       2022-06-08 16:32:33 +08:00
    @zanzhz1101 我德国服务器到国内轻松跑满 100MB/s 。
    sampeng
        60
    sampeng  
       2022-06-08 16:33:43 +08:00
    任何国家的数据,原则上是不允许你跨国家直接人肉带。
    所以只有下载这一条路。。。
    sbrdfewxf
        61
    sbrdfewxf  
       2022-06-08 16:35:05 +08:00
    Resilio
    datou
        62
    datou  
       2022-06-08 16:35:28 +08:00
    200T 还是打包分卷多线程直连慢慢往回拖吧
    zanzhz1101
        63
    zanzhz1101  
       2022-06-08 16:42:26 +08:00
    @lslqtz 本地单设备能跑满 5G 吗,不太现实
    infuse
        64
    infuse  
       2022-06-08 16:46:09 +08:00 via iPhone
    在加拿大、美国等地区找 10 台服务器。最好买高带宽保障的。然后这些数据分批次、先在四台机器之间来回打。等出种之后、用大陆的服务器 Peer 他们。
    Ashore
        65
    Ashore  
       2022-06-08 17:07:24 +08:00
    好奇是什么数据
    lchynn
        66
    lchynn  
       2022-06-08 17:07:48 +08:00
    @pxiphx891 不用 2 亿网友, 哪怕有 200 万网友愿意用这个转发软件帮助下载,期间能插入广告的话, 应该有 2000 个公司肯做这个软件。
    SenLief
        67
    SenLief  
       2022-06-08 17:10:30 +08:00
    我们这边的带宽有大带宽的嘛?没有的话可以去澳门那边啊,现在过去又容易。
    fregie
        68
    fregie  
       2022-06-08 17:46:10 +08:00
    把数据存进一堆蓝光光盘或者大容量硬盘中作为 OLD_DATA ,然后在硬盘中放一个 inscryption 游戏,伪装成游戏运回国内
    ShuA1
        69
    ShuA1  
       2022-06-08 17:55:41 +08:00
    顺丰在北美有业务,考虑一下吧
    c0xt30a
        70
    c0xt30a  
       2022-06-08 17:57:35 +08:00
    可以考虑:
    1. 在国外机器上开几(十?)个 syncthing 把文件分开扔进去。
    2. 在国内多台机器上开 syncthing ,每台机器同步一个 repo 。
    AlphaTauriHonda
        71
    AlphaTauriHonda  
       2022-06-08 17:58:34 +08:00 via iPhone
    在比赛数据量吗?都到 200T 了,分明是超英赶美,放传输卫星。

    邮寄硬盘吧,这个最快。
    rrZ2C
        72
    rrZ2C  
       2022-06-08 18:00:02 +08:00
    我 X..... 就算是买硬盘都得好多钱
    louisxxx
        73
    louisxxx  
       2022-06-08 18:04:10 +08:00
    GIA 宽带能跑几 Gbps 一秒;
    louisxxx
        74
    louisxxx  
       2022-06-08 18:08:18 +08:00
    GIA 宽带能跑几 Gbps 一秒 1Gbps GIA 宽带要 5K 刀 /月。还得传半个月。即使用硬盘存了寄回来,你也要考虑数据往硬盘里写和从硬盘里读取出数据,也需要非常久的。
    数据传到 XG 然后人 带硬盘回来应该不错
    louisxxx
        75
    louisxxx  
       2022-06-08 18:10:26 +08:00
    @sampeng 可以发快递,批量订购硬盘一次都是上百块跨国发货的。但是数据你得加密,不然有很大地风险
    lower
        76
    lower  
       2022-06-08 18:10:29 +08:00
    @pxiphx891 发布一种私有的种子和种子专门下载器,骗大家就说全是珍藏的小电影,吸引人来下载;然后下载器偷偷来搞分布式转发。。
    sampeng
        77
    sampeng  
       2022-06-08 18:22:38 +08:00
    @louisxxx 200T 数据通过硬盘运回来难得不是怎么运,可以发快递也是要看对应国家的相应政策,有些国家连服务器都不让出来。另一方面。。你要把 200T 数据弄出来,硬盘不可能就准备 200T 的硬盘。压缩问题?加密问题?怎么冗余存储。但凡中途有一块硬盘出因为运输出故障,这 200T 就白瞎。还要校验 200T 数据的有效性,不可能完全不校验的。。。。

    数据传输的商业服务真不是白收你这份钱的。
    rayn32
        78
    rayn32  
       2022-06-08 18:25:14 +08:00
    直接在这服务商买台服务器,这个流量便宜些
    https://www.maxihost.com/
    zeusho871
        79
    zeusho871  
       2022-06-08 18:28:06 +08:00 via Android
    说个方案,买腾讯云轻量云中转到你服务器,100 块钱一个月我记得是 6mbps 带宽 1000g 流量,通过腾讯云中转到国内服务器,只需要 200 台这种轻量就可以达到 1200mbps 带宽,传输 200*1000g 数据(轻量服务器貌似是出流量计费),找代理买可能还可以打折,就是不知道会不会是假带宽。具体细节可能还要优化下。楼主可以看看....
    louisxxx
        80
    louisxxx  
       2022-06-08 18:41:12 +08:00
    @zeusho871 腾讯云那机器 1 天里有半天连接国外就几十 KB/s
    Xusually
        81
    Xusually  
       2022-06-08 18:42:46 +08:00
    @infuse 怎么可能?我手里海淘的硬盘是怎么来的呢?
    每年美亚、德亚大容量硬盘都算镇店之宝了
    zeusho871
        82
    zeusho871  
       2022-06-08 18:45:09 +08:00 via Android
    @louisxxx 不至于,买深圳或者香港的速度跑满没问题。。。主要没国外机器给我测,现在手里就有几十台。。。。
    NoahNye
        83
    NoahNye  
       2022-06-08 18:46:17 +08:00 via iPhone
    ipfs 可以试试
    huaes
        84
    huaes  
       2022-06-08 18:50:09 +08:00
    @zeusho871 不提香港大口子机器贵的要死, 走不走港深还是个问题,绕上海还是被 QOS 的死死的,哪怕移动这种直连的跑到 1G 也不错了,说真的不如直接找运营商在他们机房下
    teasick
        85
    teasick  
       2022-06-08 18:59:31 +08:00
    每个 G 10 块钱众包给网友帮忙下载,也就 200 万块钱
    msaionyc
        86
    msaionyc  
       2022-06-08 19:04:10 +08:00 via iPhone
    两百个 one drive 账号应该就可以了
    kxjhlele
        87
    kxjhlele  
       2022-06-08 19:23:57 +08:00 via Android
    私聊我,给你开个国内 ftp ,你测试一下速度。感觉合适在继续讨论
    ToBeHacker
        88
    ToBeHacker  
       2022-06-08 19:25:37 +08:00
    优化 TCP 的参数 5g 的带宽多跑跑就可以了
    winglight2016
        89
    winglight2016  
       2022-06-08 19:58:29 +08:00
    lz 去 tb 搜一下代下载服务就知道这事儿多简单了
    spacezip
        90
    spacezip  
       2022-06-08 20:07:12 +08:00
    踏实找个物流公司 正经报关进来
    12101111
        91
    12101111  
       2022-06-08 20:14:40 +08:00   ❤️ 1
    硬盘不抗震, 买磁带, LTO8 不压缩能存 12T, 压缩之后更大, 十几卷磁带就能带回来.
    不过海关如果知道这是存储设备可能会检查内容
    acupnocup
        92
    acupnocup  
       2022-06-08 20:40:35 +08:00
    磁带机,飞机或者海运带回来。
    xuchenkai
        93
    xuchenkai  
       2022-06-08 20:58:10 +08:00
    200T ,大也不算大,几个网盘帐号即可
    aru
        94
    aru  
       2022-06-08 21:03:15 +08:00
    申请几条联通宽带,直接下载就行了
    服务器记得开启 bbr
    bullfrog
        95
    bullfrog  
       2022-06-08 21:04:41 +08:00
    两个服务器直接连,用 lftp , 开几十个线程,就跑满了
    Buges
        96
    Buges  
       2022-06-08 21:06:48 +08:00 via Android
    1. 很多存储提供提供商提供邮寄硬盘服务,你可以把硬盘寄到他们的数据中心然后从他们服务器上拉下来。
    2. (两边在线存储都够的情况下)直接开个支持分片、校验、多线程传输的协议慢慢拉回来就是了,bt 、bt sync 等都可以。你还可以在其他有更多出国口宽带的服务器上辅种加速。
    cxytz01
        97
    cxytz01  
       2022-06-08 21:13:11 +08:00
    如果你愿意花时间研究的话,推荐你看看 filecoin ,目前有免费的存储提供商: https://plus.fil.org/

    这只是我的小小建议,价格可能会便宜过中心化的存储服务商,但是速度嘛,可能你得找存储提供商聊聊。
    wsycqyz
        98
    wsycqyz  
       2022-06-08 21:17:14 +08:00
    欢迎使用 Azure 导入 /导出服务
    可将磁盘驱动器寄送到 Azure 数据中心,从而安全地将大量数据导出到 Azure Blob 存储和 Azure 文件。 此外,还可以使用此服务将数据从 Azure Blob 存储传输到磁盘驱动器,然后再寄送到本地站点。
    存储价格参考: https://azure.microsoft.com/en-us/pricing/details/storage/blobs/,目测 200T 不到 500$
    另,一块磁盘收取 80$处理费。
    cxytz01
        99
    cxytz01  
       2022-06-08 21:17:31 +08:00
    目前还不清楚你文中提到:由于链路距离过长,直接下载速度只能达到 100Mbps 。这个所谓的直接下载是使用什么方式进行直接下载?如果是 ftp ,http 这种,都是单线程的,不知道是否可以吃满本地亦或者 server 二者中最小的那个 IO ,如果吃不满,需要考虑多线程下载。
    fs418082760
        100
    fs418082760  
       2022-06-08 21:23:18 +08:00
    做成种子发到 P 站,然后通过 P2P 回传...
    1  2  
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2765 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 12:12 · PVG 20:12 · LAX 05:12 · JFK 08:12
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.