yangguoshuai
V2EX  ›  问与答

Windows 平台下载近 10w 个视频文件选择什么下载工具?而且有定时增量需求。

  •  
  •   yangguoshuai · May 21, 2018 · 1812 views
    This topic created in 2916 days ago, the information mentioned may be changed or developed.
    用爬虫抓来若干下载地址,爬虫写在 osx 上,数据存在 mysql。

    现在用的是 fdm(free download manager),每次同步 500,1000,2000,4000 个这样的视频地址,
    然后 fdm 批量添加下载。

    缺点:
    1 同步文件列表比较麻烦
    2 下载速度很不稳定,开一批下载还行,多了就很慢

    需求:

    1 一次大批量下载( 10k+,预计几百 G 吧,一个几十兆不等),性能稳定
    2 支持远程管理(类似于 utorrent 的远程管理页面)
    3 能和其他平台方便对接(爬虫增量自动下载)

    不知道大家常用的 idm/aria2 在这方面如何,谢谢。

    另,现在 4T 硬盘性价比不错了,刚下单了一块。。。
    6 replies    2018-05-22 07:48:39 +08:00
    Aoang
        1
    Aoang  
       May 21, 2018 via Android
    直接用同步工具
    yangguoshuai
        2
    yangguoshuai  
    OP
       May 21, 2018
    @Aoang 但是跑脚本的机器是平时的开发机,吃饭什么的就关了。。也不能走开发机的流量下载
    下载的机器是长时间不关机的 nas。。。
    同步工具有能直接同步网址的?
    Aoang
        3
    Aoang  
       May 21, 2018 via Android   ❤️ 1
    同步工具同步网址,aria2 下载。
    aria2 有下载管理器,如果不想管下载的机器,你可以安装好之后。直接在开发机上远程下载。
    当然,你开发机关机了,下载机没任务了就没办法了。
    yangguoshuai
        4
    yangguoshuai  
    OP
       May 21, 2018
    @Aoang ok,Aria2 我去了解下。。。
    msg7086
        5
    msg7086  
       May 21, 2018
    「吃饭什么的就关了」
    这都 8012 年了……
    yangguoshuai
        6
    yangguoshuai  
    OP
       May 22, 2018 via Android
    @msg7086 讲真我真不知道 osx 怎么能 24 小时不待机。。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2902 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 48ms · UTC 13:39 · PVG 21:39 · LAX 06:39 · JFK 09:39
    ♥ Do have faith in what you're doing.