V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
solider245
V2EX  ›  Python

不懂就问:我有一个文件同时存放在 5 个地方,怎么下载速度最快?

  •  
  •   solider245 · 2021-01-20 10:26:56 +08:00 · 3122 次点击
    这是一个创建于 1163 天前的主题,其中的信息可能已经有所发展或是发生改变。

    如题,假如我要下载一个 python 文件,但是我发现这个文件同时存放在华为,腾讯,阿里,亚马逊,豆瓣等地址.

    想问下,代码怎么写,可以保证下载速度最快?

    因为文件都是一样的,所以,可以同时从 5 个地方一起拉取,然后在本地拼合还是怎么解决呢?

    19 条回复    2021-01-25 09:12:40 +08:00
    bzj
        1
    bzj  
       2021-01-20 10:35:03 +08:00
    2 种思路

    1.客户端发请求 ping5 个地址获取响应时间,找到最快的。
    2.记录客户端的 ip 获取位置,跟 5 个地址比较,选择最近的。
    takemeaway
        2
    takemeaway  
       2021-01-20 10:37:50 +08:00
    python 能有多大??
    用视频做例子吧,实际上下载跟你本地网速还有服务器网速相关,光谈一边没意义。
    如果你的网速小于或等于服务器网速,那么直接从一个地方下载就行了。
    如果你的网速大于服务器网速,那么根据比例来加服务器,服务器文件做切片,分开下载,完了拼接起来。
    要保证速度最快就是让自己的电脑速度跑满即可。
    imdong
        3
    imdong  
       2021-01-20 10:41:35 +08:00
    如果支持断点续传,则获取文件大小后,本地分成若干小块。

    然后每个源下载不同的块,这就类似 BT 下载了。
    zictos
        4
    zictos  
       2021-01-20 10:45:35 +08:00
    文件都是一样的,为何又要拼合
    zictos
        5
    zictos  
       2021-01-20 10:49:03 +08:00
    如果每个地方下一部分也无法超过你的最大网速,直接一个地方多线程下载就行,除非有限速
    snowhunter
        6
    snowhunter  
       2021-01-20 10:56:35 +08:00
    距离最近就差不多了、比如中国就从阿里下,美国就从 aws 下。
    或者电信从电信机房,联通从联通机房。
    真的要考虑下载问题适合把文件配置在 CDN 上面,CDN 自动把你做这些分类
    HeiXiaoBai
        7
    HeiXiaoBai  
       2021-01-20 10:57:57 +08:00
    laumm1314
        8
    laumm1314  
       2021-01-20 11:05:35 +08:00
    根据 http 断点续传协议按照文件大小分为五个部分,分别从五个地方下载,最后写个 python 脚本合并
    x66
        9
    x66  
       2021-01-20 11:15:03 +08:00
    如果都支持断点续传。
    1.大多数情况下服务器带宽大于本地带宽,选一个最快的服务器多线程下载就好了
    2.如果服务器带宽小于本地带宽,那才有必要从多个服务器分块下载
    DeeCheung
        10
    DeeCheung  
       2021-01-20 11:48:40 +08:00 via Android
    子进程 aria2c 多源
    deorth
        11
    deorth  
       2021-01-20 12:11:26 +08:00
    libaria2
    q197
        12
    q197  
       2021-01-20 13:47:25 +08:00
    aria2 支持多个来源一起下
    v2tudnew
        13
    v2tudnew  
       2021-01-20 14:47:36 +08:00   ❤️ 1
    其实就是迅雷的镜像加速,但是缺点是只要一个源的文件损坏你最终下载的必定是损坏文件,你还排查不出哪个源有问题。(我就用这招恶心迅雷盗链 v🤣
    ik
        14
    ik  
       2021-01-20 15:13:47 +08:00 via iPhone
    没错,就是 aria2
    felixcode
        15
    felixcode  
       2021-01-20 15:30:28 +08:00 via Android
    p2p 下载,做个 bt 种子,关闭 dht
    msg7086
        16
    msg7086  
       2021-01-21 09:44:23 +08:00 via Android
    一个 Python 文件要搞那么复杂嘛,又不是小片片。
    tankren
        17
    tankren  
       2021-01-21 10:12:17 +08:00
    这是什么神奇需求?几个 G 的 python 文件?
    no1xsyzy
        18
    no1xsyzy  
       2021-01-21 11:23:21 +08:00
    aria2 多源
    如果担心 #13 的问题,考虑下把下载信息写成 meta4 文件,可以进行块级校验。
    当然,BT 也行,添加 HTTP 上游,也能块级校验。
    xiaoqiao24
        19
    xiaoqiao24  
       2021-01-25 09:12:40 +08:00
    1. 本地带宽<服务器带宽(华为,腾讯,阿里,亚马逊,豆瓣等地址),随便找个服务器下载。因为这些服务器我认为大多都会做最近节点匹配,让你下载最快。
    2. 本地带宽>>服务器带宽,那就将文件切割,然后分开下载,最后拼接。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   1176 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 18:20 · PVG 02:20 · LAX 11:20 · JFK 14:20
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.