V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  locoz  ›  全部回复第 285 页 / 共 314 页
回复总数  6266
1 ... 281  282  283  284  285  286  287  288  289  290 ... 314  
2019-03-15 22:09:26 +08:00
回复了 a017001 创建的主题 2019 各位大神都用树莓派来干嘛了?
吃灰
@smyle #28 “不用猜测、抓包、逆向等等”,你这个说法其实不就是自己弄一个类似 puppeteer 的东西吗?只不过不是用它来渲染页面,而是用它来找到请求和加密函数的位置。但是你想过没有,弄这个东西的时间成本会不会比直接逆向还要高?个人认为是不如直接逆向的
@Telegram #26 蛤?你说啥?抓包那个吗?如果是 iOS 独占那就只能找越狱过的 iOS 机子了,并不是没有类似的工具,只是越狱过的 iOS 机子明显没有 ROOT 过的 Android 机子好找。( Android 机 ROOT 不是挺正常的事情吗?要搞这种东西不专门拿个开发机来搞?
@smyle #23 #24 因为浏览器的功能不仅仅是发个 HTTP 请求而已,还包含了执行 JS、渲染页面等各种操作,像这个面试题页面,你打开之后浏览器已经帮你执行好 JS、把 CSS 渲染到页面上展示了,所以在浏览器上打开的时候看起来就很简单,但实际上浏览器内部是做了很多操作的。
而如果做爬虫的话用浏览器去渲染就太“重”了,太多的资源被用在了没必要的解析、渲染和兼容上,这个面试题之所以要求不能使用 selenium 之类的自动化测试工具就是因为平时非必要的情况下没人会拿浏览器去做爬虫,成本高性能低。
再举个例子吧,和爬虫要的效果类似但和爬虫不一样的自动秒杀抢购,如果用浏览器去抢是永远不可能干得过那些破了加密直接调接口抢的人的,速度上不是一个级别(毫秒跟秒)。
2019-03-14 09:57:24 +08:00
回复了 supervisor 创建的主题 问与答 想问问有没有同样被万门大学的营销恶心到的
https://ws4.sinaimg.cn/bmiddle/62e721e4gw1et02g5wksrj200k00k3y9.jpg 万门找公众号号主推广的时候更恶心
@zdnyp #19 直接用 requests 实现不了我觉得挺正常。。因为感觉那个跳转页的图片并不是简单的随便加载一两个就行的,有并发要求(没测试
@leis1015 #15 这种事情没必要不执行 JS 吧 https://ws1.sinaimg.cn/bmiddle/62e721e4gw1et00rsrkrnj200k00k3y9.jpg 执不执行 JS 爬的速度都差不多,自己重写一个还很麻烦
@Johnson66 #12 是的,简单难度
@yzkcy #10 可能是开了双向证书认证( HPKP ),看看雪那个帖子里的截图可能还有他们自己弄的检测,有空帮你看看
@hangs #6 就各种爬虫群里都有看到有人提这个面试题,一开始是谁发出来的已经不得而知了
@zyj321321321 #5 https://ws1.sinaimg.cn/large/b64a58e3gy1fikr7bnfrmj200k00k0sh.jpg 后面还有 APP 逆向相关的,可以关注一下专栏等更新
@shyrock #2 正常弄的话就几分钟的事情,这个文章里写得细是因为要照顾新手 https://ws3.sinaimg.cn/bmiddle/62e721e4gw1et02ek7u61j200k00k3y9.jpg 对方改代码的话要看改了什么,就以这个面试题的情况来说,因为操作复杂度很低+加密简单的关系,即使要改也改不了太多东西,所以不至于出现要重来一遍的情况,最多改一下解析的方式而已。
只买用来转发出 80、443 端口的服务器,每年差不多 300 不到吧
2019-03-06 10:15:59 +08:00
回复了 lht260 创建的主题 分享发现 豆瓣是肿么了,经常性挂吗
2019-03-04 15:34:18 +08:00
回复了 Oane 创建的主题 Python Python json 格式化 结果为 null
2019-03-01 08:17:17 +08:00
回复了 kkkhs 创建的主题 职场话题 关于拉勾自动投递
@wd #1 我实习找工作的时候还真就是写了个脚本让它自己投。。当时拉勾还没有这个功能
2019-02-28 17:21:30 +08:00
回复了 kfteast 创建的主题 程序员 在线求大佬指导对安卓某 app 的抓包!
https://zhuanlan.zhihu.com/p/46433599
https://zhuanlan.zhihu.com/p/56397466
看看能不能帮到你,第一篇的 Packet Capture 无法抓到包的话可以结合第二篇的使用。
2019-02-28 15:40:43 +08:00
回复了 xiaozaiziwyt 创建的主题 Python 有什么关于爬虫比较好的入门教程吗?
@locoz #27 后面那部分也给识别成链接的一部分了,重发一下。https://zhuanlan.zhihu.com/webspider
1 ... 281  282  283  284  285  286  287  288  289  290 ... 314  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2718 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 109ms · UTC 11:08 · PVG 19:08 · LAX 04:08 · JFK 07:08
Developed with CodeLauncher
♥ Do have faith in what you're doing.