V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
推荐学习书目
Learn Python the Hard Way
Python Sites
PyPI - Python Package Index
http://diveintopython.org/toc/index.html
Pocoo
值得关注的项目
PyPy
Celery
Jinja2
Read the Docs
gevent
pyenv
virtualenv
Stackless Python
Beautiful Soup
结巴中文分词
Green Unicorn
Sentry
Shovel
Pyflakes
pytest
Python 编程
pep8 Checker
Styles
PEP 8
Google Python Style Guide
Code Style from The Hitchhiker's Guide
tumbzzc
V2EX  ›  Python

当爬虫遇到防火墙

  •  
  •   tumbzzc · 2016-11-26 08:52:26 +08:00 · 4379 次点击
    这是一个创建于 2950 天前的主题,其中的信息可能已经有所发展或是发生改变。

    之前每天定时爬的网站,加上了金盾防火墙,然后首次访问会有,http://www.xxx.com/?jdfwkey=yyyyyy 就是会有 jdfwkey 这个参数。。。不知道大家爬虫有没有遇到这种情况?怎么解决。。。

    23 条回复    2016-11-28 09:20:02 +08:00
    tumbzzc
        1
    tumbzzc  
    OP
       2016-11-26 08:56:40 +08:00
    啊!!!找到办法了!!!没有动手直接问果然不好!!!
    Troevil
        2
    Troevil  
       2016-11-26 08:57:10 +08:00
    卧槽,我就这么打开了
    czk1997
        3
    czk1997  
       2016-11-26 09:07:59 +08:00
    @Livid NSFW 以及这车有点快……
    wjm2038
        4
    wjm2038  
       2016-11-26 09:24:48 +08:00 via Android
    @czk1997 为啥我感觉只是他随便发的网站
    annielong
        5
    annielong  
       2016-11-26 09:27:12 +08:00
    记得不是一直有 key ,或者和其他网站记混了,反正我是连可以一起抓
    tumbzzc
        6
    tumbzzc  
    OP
       2016-11-26 10:18:21 +08:00
    ?????
    @czk1997
    随便写的 xxx 能打开???
    tumbzzc
        7
    tumbzzc  
    OP
       2016-11-26 10:19:34 +08:00
    我曹,还真的能打开!!!我只是作为示例写的网站地址
    wdlth
        8
    wdlth  
       2016-11-26 10:40:49 +08:00
    @tumbzzc 经典域名,上学时我们学校刚接入 ADSL ,然后某领导为了试试怎么上网就输入了这个域名,然后……
    Arnie97
        9
    Arnie97  
       2016-11-26 11:19:42 +08:00 via Android
    @wdlth 笑死,居然真能打开
    还是用 example.com 比较稳妥
    czk1997
        10
    czk1997  
       2016-11-26 11:20:47 +08:00
    @wjm2038 看出来是瞎打的,可惜一不小心玩脱了……
    merrygreek
        11
    merrygreek  
       2016-11-26 11:49:09 +08:00 via Android
    老司机。
    lixingcong
        12
    lixingcong  
       2016-11-26 12:56:27 +08:00 via Android
    钓鱼贴 活捉老司机
    razrlele
        13
    razrlele  
       2016-11-26 13:01:16 +08:00
    笑出声
    nadoo
        14
    nadoo  
       2016-11-26 13:16:11 +08:00
    话说还经常在一些示例里面写 xxx.com ,看样子以后得小心了。。。
    jalena
        15
    jalena  
       2016-11-26 13:20:45 +08:00
    貌似必须开代理才能打开..
    feather12315
        16
    feather12315  
       2016-11-26 13:30:26 +08:00 via Android
    笑…
    Chappako
        17
    Chappako  
       2016-11-26 13:35:30 +08:00
    厉害了
    sunulin
        18
    sunulin  
       2016-11-26 13:38:43 +08:00 via iPhone
    不小心点开了,,哥别闹可以不😣
    DesignerSkyline
        19
    DesignerSkyline  
       2016-11-26 13:40:52 +08:00
    所以示例这种网址应该养成习惯,用 www.example.com
    hard2reg
        20
    hard2reg  
       2016-11-26 16:53:36 +08:00
    @tumbzzc 我曹打开了居然!
    billie
        21
    billie  
       2016-11-26 19:04:19 +08:00 via Android
    😂😂
    jy02201949
        22
    jy02201949  
       2016-11-27 01:39:57 +08:00 via iPhone
    然后到底是什么网站谁告诉我一下手机打不开
    eggacher
        23
    eggacher  
       2016-11-28 09:20:02 +08:00
    33333333
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1812 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 16:24 · PVG 00:24 · LAX 08:24 · JFK 11:24
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.