V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX 提问指南
pual
V2EX  ›  问与答

请求各位怎么解决 https 爬虫登录

  •  
  •   pual · 2017-05-08 16:23:05 +08:00 · 1619 次点击
    这是一个创建于 2559 天前的主题,其中的信息可能已经有所发展或是发生改变。

    楼主目前爬虫调试网站的 https 的 post 请求 , 从 chrome 上获取到了证书,但是请求还是 acess deny,请问各位有好的 https 请求调试工具么

    8 条回复    2017-05-08 17:03:28 +08:00
    ss098
        1
    ss098  
       2017-05-08 16:26:59 +08:00   ❤️ 1
    我推测这和 HTTPS 无关,是对方的反爬虫策略所致,你可以试试检查所发出请求的特征和正常浏览器有什么区别。
    welkinzh
        2
    welkinzh  
       2017-05-08 16:28:57 +08:00 via Android   ❤️ 1
    应该和 https 没关系 我猜 同楼上
    pual
        3
    pual  
    OP
       2017-05-08 16:33:44 +08:00
    post 内容基本没问题和浏览器一致,request header 部分没有添加,爬取网站 login 的时候用到了 https, 浏览器显示调用 login 接口后重定向了
    gouchaoer
        4
    gouchaoer  
       2017-05-08 16:35:51 +08:00
    浏览器信任 fiddler 证书,然后设置 fiddler 抓包,那就可以看到发送内容了
    gouchaoer
        5
    gouchaoer  
       2017-05-08 16:36:41 +08:00   ❤️ 1
    程序请求 https 也可以通过 fiddler 抓包,比较一下区别就 ok 了
    pual
        6
    pual  
    OP
       2017-05-08 16:40:47 +08:00
    @gouchaoer 问题是我不知道这种非对称加密方式,同样的明文加密后每次都是一样的,aes-256-cfb 这种就是不一样的每次
    gouchaoer
        7
    gouchaoer  
       2017-05-08 16:53:56 +08:00
    @pual 你把 sockets 代理和 https 搞混了,简单地说就是 https 的浏览器网站 fiddler 直接搞
    我是高级爬虫开发工程师
    pual
        8
    pual  
    OP
       2017-05-08 17:03:28 +08:00
    @gouchaoer 多谢了
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3184 人在线   最高记录 6543   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 13:55 · PVG 21:55 · LAX 06:55 · JFK 09:55
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.