V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
yh7gdiaYW
V2EX  ›  程序员

一个简单的爬虫:网易的菜单,有兴趣的可以拿来练手

  •  
  •   yh7gdiaYW · 2015-10-09 17:52:11 +08:00 · 3703 次点击
    这是一个创建于 3326 天前的主题,其中的信息可能已经有所发展或是发生改变。

    网易杭州的菜单,公网的, ip 属于杭州电信。
    目测没有什么防爬虫措施。
    侵删(虽然应该不用保密)

    url 格式为:
    http://numenplus.yixin.im/singleNewsWap.do?materialId=14905

    规律:
    每周末或节假日末,集中更新下一周(到周日)的菜单, materialId 一般是连续的。
    比如这次是 10.7 日更新了 14903,14904,14905,14906 ;

    然后会更新一堆新闻之类的,比如 14920 ;
    可能有一串 id 都是同一篇文章,比如 14800-14810 ;
    有些 id 、过大的 id 对应的页面提示无内容。

    8 条回复    2015-10-10 14:06:02 +08:00
    kendetrics
        1
    kendetrics  
       2015-10-09 17:59:44 +08:00   ❤️ 1
    饿了。。
    tomine
        2
    tomine  
       2015-10-09 18:13:39 +08:00
    哪里体现出了爬虫?
    k1995
        3
    k1995  
       2015-10-09 18:16:56 +08:00
    百度云爬虫路过, http://pan.whatsoo.com
    yh7gdiaYW
        4
    yh7gdiaYW  
    OP
       2015-10-09 18:34:22 +08:00
    @tomine
    id 会跳跃,中间夹杂一堆无用内容
    vivisidea
        5
    vivisidea  
       2015-10-09 18:52:47 +08:00
    菜单都是骗人的。。。。
    bozong
        6
    bozong  
       2015-10-09 19:00:26 +08:00
    @k1995 这网站不错
    Marfal
        7
    Marfal  
       2015-10-09 19:05:19 +08:00
    sandyfog
        8
    sandyfog  
       2015-10-10 14:06:02 +08:00
    @k1995 不错,有好多资源都是可以的
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   942 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 21:32 · PVG 05:32 · LAX 13:32 · JFK 16:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.