V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
kevin1234
V2EX  ›  Python

各位大神来打擂台了

  •  
  •   kevin1234 · 2018-12-14 20:55:50 +08:00 · 2852 次点击
    这是一个创建于 1931 天前的主题,其中的信息可能已经有所发展或是发生改变。

    http://app.baiyug.cn:2019/vip/index.php?url=https://v.qq.com/x/cover/6n89qmcgox3zflm.html

    大家能用 python 爬虫去爬这个页面上面的 video 标签内容

    不能去获取 iframe 每个 url 然后去访问获取 这个肯定是不行的 有没有什么更优雅的方式啊

    17 条回复    2018-12-15 11:50:36 +08:00
    xiangyuecn
        2
    xiangyuecn  
       2018-12-14 21:51:46 +08:00
    从来没搞过爬虫的都知道怎么一次就抓取到这个 video 标签的 src,还要打擂台?不会分析第一页源码构造出第二页 url ?请求需要什么你就带上什么,抓不死他
    kevin1234
        3
    kevin1234  
    OP
       2018-12-14 21:59:10 +08:00
    @xiangyuecn 这样不行 如果你解析 url 再去 解析 解析不了
    kevin1234
        4
    kevin1234  
    OP
       2018-12-14 21:59:25 +08:00
    @zsdroid 大神指点下
    xiangyuecn
        5
    xiangyuecn  
       2018-12-14 22:04:12 +08:00
    啧,我看到 video 的 url 就在 n0022u9uhyx.html 这个源码里面,就差怎么得到 n0022u9uhyx.html 这 url 来了,这破笔 cookie 都省了,只有个 Referer 有点用
    kevin1234
        6
    kevin1234  
    OP
       2018-12-14 22:06:35 +08:00
    @xiangyuecn 哈哈 我刚刚也试了 有点蛋疼
    zsdroid
        7
    zsdroid  
       2018-12-14 22:48:39 +08:00
    擦,这货这么神奇,我要解析腾讯视频,出来的却是 qq 音乐的 mv
    zsdroid
        8
    zsdroid  
       2018-12-14 22:53:09 +08:00
    换成其他腾讯视频没问题,这是 bug 吧
    kevin1234
        9
    kevin1234  
    OP
       2018-12-14 23:14:40 +08:00
    @zsdroid 这不是 bug 这个网站就是这么神奇
    kevin1234
        10
    kevin1234  
    OP
       2018-12-14 23:17:53 +08:00
    @zsdroid 给我们看看你的脚本呢
    kevin1234
        12
    kevin1234  
    OP
       2018-12-14 23:38:12 +08:00
    @zsdroid 我以为是个 python 大神 却是一个 php 大神
    kevin1234
        14
    kevin1234  
    OP
       2018-12-15 11:31:00 +08:00
    @zsdroid 大神 222.187.224.181:4466 这个地址是你去肉眼看到的把
    zsdroid
        15
    zsdroid  
       2018-12-15 11:32:41 +08:00
    @kevin1234 #14 他接口就是调用的这个
    kevin1234
        16
    kevin1234  
    OP
       2018-12-15 11:38:16 +08:00
    @zsdroid 这个我刚刚看了 确实 但是奇怪 我怎么找 都没找到他在哪里调用的这个接口
    kevin1234
        17
    kevin1234  
    OP
       2018-12-15 11:50:36 +08:00
    @zsdroid 我能通过最后一个 iframe 去取到 video 地址 但是感觉不优雅
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   3090 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 26ms · UTC 14:32 · PVG 22:32 · LAX 07:32 · JFK 10:32
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.