V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
wyan453351466
V2EX  ›  程序员

有什么靠谱的代理池开源项目推荐?免费获取大量可用的 ip 靠谱吗

  •  
  •   wyan453351466 · 2019-09-25 15:16:26 +08:00 · 3649 次点击
    这是一个创建于 1646 天前的主题,其中的信息可能已经有所发展或是发生改变。

    楼主最近需要采集一些数据。然后看了下 GitHub 上的一些 star 数较高的代理池项目,好像能很好地 work 的不多。 有什么好的开源项目推荐的吗?

    19 条回复    2019-09-26 08:33:46 +08:00
    cwz88
        1
    cwz88  
       2019-09-25 15:28:37 +08:00
    掏点钱不好么?
    wyan453351466
        2
    wyan453351466  
    OP
       2019-09-25 15:32:08 +08:00
    @cwz88 好呀。有免费得更好呀。没有的话我就直接掏钱买了。
    主要是采集的数据量大。如果长期付费是一笔不小的开支,能省则省嘛(手动狗头)
    cwz88
        3
    cwz88  
       2019-09-25 15:32:55 +08:00   ❤️ 1
    我研究过这个,免费的都不靠谱
    andylsr
        4
    andylsr  
       2019-09-25 15:34:48 +08:00 via Android
    基本都是那几个网站的代理,结论是并没什么可以用的
    scukmh
        5
    scukmh  
       2019-09-25 15:37:13 +08:00
    haipproxy, 其实 GitHub 上的此类项目都差不多,大家爬取的代理网站无非就那么几个,这样看来还不如选择一个简单易用的。
    wafm
        6
    wafm  
       2019-09-25 15:37:29 +08:00
    即使是付费的也一堆雷,免费的就别想了,有动手能力可以自己扫
    itsjoke
        7
    itsjoke  
       2019-09-25 16:09:22 +08:00
    动态 XXX 了解一下
    kingfalse
        8
    kingfalse  
       2019-09-25 16:11:37 +08:00
    直接花钱买吧,试那些就是浪费时间
    wyan453351466
        9
    wyan453351466  
    OP
       2019-09-25 16:24:23 +08:00
    @kingfalse 嗯,我觉得也是。即使写出来一个代理池爬虫,维护这个代理池爬虫还有服务器成本其实也是一项开支
    nullboy
        10
    nullboy  
       2019-09-25 16:55:52 +08:00
    收费的也是垃圾
    lxghost
        11
    lxghost  
       2019-09-25 17:12:24 +08:00
    http://www.zhimaruanjian.com/ 每天可以领免费的
    hanyu586
        12
    hanyu586  
       2019-09-25 17:13:43 +08:00
    铜球
    zsy979
        13
    zsy979  
       2019-09-25 17:58:50 +08:00
    免费的你短时间内发两次请求状态都可能一个成功一个失败 233
    snxq1995
        14
    snxq1995  
       2019-09-25 18:00:33 +08:00 via Android
    拨号上网了解一下
    HuberyPang
        15
    HuberyPang  
       2019-09-25 18:06:24 +08:00
    https://github.com/pangxiaobin/proxy_ip_pool 我之前写了一个 不过也是爬取那几个免费代理网站 可以自己在找一些添加到项目中
    sadfQED2
        16
    sadfQED2  
       2019-09-25 18:07:04 +08:00
    github 上免费的我基本上都试过,另外我也自己去各种地方收集过免费的,总结下来一句话就是:浪费时间

    然后我又用了给钱的,最后总结下来是:给钱也不咋地(每年 5 万,可能是我钱没给够)
    jetpy
        17
    jetpy  
       2019-09-25 18:57:54 +08:00
    即使是自己做着玩耍的项目也建议付费的,免费的根本就是浪费时间,90%以上都不能用, 公司项目的话直接就不用考虑免费的,安心付费吧。
    killlakilllike
        18
    killlakilllike  
       2019-09-25 19:40:38 +08:00
    https://www.zdaye.com/ 这个,有免费的
    luckbbs
        19
    luckbbs  
       2019-09-26 08:33:46 +08:00
    付费的,也很多爬的免费网站。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5137 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 31ms · UTC 09:43 · PVG 17:43 · LAX 02:43 · JFK 05:43
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.