V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
python30
V2EX  ›  问与答

那些网盘搜索网站,是怎么爬去网盘资源的?

  •  
  •   python30 · Aug 8, 2025 · 1732 views
    This topic created in 265 days ago, the information mentioned may be changed or developed.

    那些网盘搜索网站,是怎么爬去网盘资源的? 是通过各网盘的 api 接口吗? 还是真有技术可以便利网盘的数据? 还是别的方法? 有知道内情的朋友们吗?

    4 replies    2025-08-21 02:08:39 +08:00
    MIH
        1
    MIH  
       Aug 9, 2025
    各种论坛 和 搜索引擎结果 url 匹配啊。。。分享 url 都是固定格式
    uuundefined
        2
    uuundefined  
       Aug 9, 2025
    只知道以前有些盘的网页入口, 有一些推荐的链接, 和爬虫原理一样爬就行
    像腾讯已经不怎么用的微云, 太纯净了, 也没人分享,压根就没搜他的引擎就知道, 不太可能有遍历的接口
    python30
        3
    python30  
    OP
       Aug 10, 2025
    @uuundefined pansoso.com 这个速度好快。好像不是遍历网盘吧。那得多久才能返回结果。不知道是不是用的 api 或者只返回几百条数据?
    uuundefined
        4
    uuundefined  
       Aug 21, 2025
    爬了后存自己数据库了啊, 再用 Elasticsearch 之类的搜索引擎方案 。网盘数据还没磁力站数据条目多, 相当于厂商帮就下载后去重了,没什么压力
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   2509 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 12:20 · PVG 20:20 · LAX 05:20 · JFK 08:20
    ♥ Do have faith in what you're doing.