V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
liangxuzhai
V2EX  ›  问与答

请教如何爬这个网页中的内容

  •  1
     
  •   liangxuzhai · 2016-03-30 16:37:37 +08:00 · 1659 次点击
    这是一个创建于 3194 天前的主题,其中的信息可能已经有所发展或是发生改变。

    打算爬取的网址为: https://www.wunderground.com/q/zmw:00000.1.54511

    目标: 爬取页面中 “ 10-Day Weather Forecast ” 下方 ->Table ->"星期五(或者随便某一天,需要点开)" -> 抓取 "时间 气温 感觉好像 露点 湿度 状况 Precip. Liquid Precip. 风 云量 气压" 这个表格中的所有内容。

    麻烦知道的给个思路,谢谢!

    PS :常规的爬取网页源代码貌似不行(爬取不完全),源码中没有这个表格的数据,可能是我没有找对爬取方法。望各位赐教。

    8 条回复    2016-03-31 09:16:13 +08:00
    qwjhb
        1
    qwjhb  
       2016-03-30 16:49:46 +08:00   ❤️ 1
    //*[@id="horizontal-day-89"]/div[3]/table

    不就是这个 table 吗?
    jugelizi
        2
    jugelizi  
       2016-03-30 17:03:22 +08:00
    异步加载 f12 看一下呗
    liangxuzhai
        3
    liangxuzhai  
    OP
       2016-03-30 17:15:18 +08:00
    @qwjhb 请问这个源代码如何通过程序获得?我通过 chrome 浏览器的 F12 也是可以分析到的,但是我想通过程序自动获取每一天的天气等状况。但是我通过程序( c#或者 python )没法抓取到这部分的数据,烦请指教,谢谢!
    qwjhb
        4
    qwjhb  
       2016-03-30 17:18:40 +08:00
    用无头浏览器
    taurenshaman
        6
    taurenshaman  
       2016-03-30 21:53:34 +08:00   ❤️ 1
    liangxuzhai
        7
    liangxuzhai  
    OP
       2016-03-31 09:15:57 +08:00
    @hjq98765 谢谢!
    liangxuzhai
        8
    liangxuzhai  
    OP
       2016-03-31 09:16:13 +08:00
    @taurenshaman 顿悟,谢谢!
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5503 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 30ms · UTC 08:55 · PVG 16:55 · LAX 00:55 · JFK 03:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.