我是从 java web 转到爬虫和数据的,以前,也要自己写前端,但是看到阿里的这些前端的各种各样的东西,有些实在找不到请求发出的文件,找不到具体哪个请求可能设置了 cookie 或 session,还有很多前端加密的东西 也不是很熟
|      1hu0097      2017-09-19 13:01:07 +08:00 登录有加密的,刚入门搞不定的。用 selenium 吧 | 
|      3LukeChien      2017-09-19 14:12:36 +08:00 用 Chrome Headless | 
|  |      5fy      2017-09-19 15:00:40 +08:00 需要 selenium/chrome headless | 
|  |      6shingle      2017-09-19 18:14:58 +08:00 完全模拟是几乎不可能的,光`ua`参数的加密就够你受的了 | 
|  |      7102400      2017-09-19 19:24:48 +08:00 搞定这个登录不会少于 1k 的,建议放弃或者直接找人买 | 
|  |      8zzNucker      2017-09-19 19:29:51 +08:00 1k 你想多了 起码 w 起 | 
|  |      10regicide      2017-09-19 20:10:45 +08:00 via iPhone 去逆向网易有财的 app 包看他们怎么实现的 | 
|      11neoblackcap      2017-09-19 20:12:51 +08:00 干爬支付宝的早死了,第频率的还可,高频率的,技术封了,触发风控系统,做爬虫很难解决的。 | 
|  |      12binux      2017-09-19 20:16:46 +08:00 用 requests 写个代理,然后把浏览器设置到你代理上,这算不算「完全用 requests urllib 写出来」? | 
|  |      13fiht      2017-09-19 21:22:53 +08:00 无法量化 成本过高 不如用印度云手工登录生成 cookie | 
|      14wuhau      2017-09-19 22:30:10 +08:00 taobao 用 selenium,抓 cookie2,之前做淘宝客搞过这玩意。淘宝就不清楚了。 | 
|  |      15ob      2017-09-19 23:13:53 +08:00 via Android 现在稍微登录情景有点不一样,就开始手机验证,地址验证,各种验证。。 | 
|      16LukeChien      2017-09-20 00:31:12 +08:00 起台虚拟机跑 Chrome Headless,可以搞 | 
|  |      17Luckyray      2017-09-20 00:53:29 +08:00 via iPhone 那个 ua 就卡死我了…… | 
|      18FanWall      2017-09-20 03:00:55 +08:00 via Android 来说一下~楼上 1w 也想多了,别说纯算法了,就是临时的解决方案也不是这个价格。 加密代码混淆且经常更新的,且都是业界顶级。 而且以支付宝的开发能力,我觉得这种前端加密在不远的未来就几乎无解:破了一个混淆?那我重新混淆下;破了混淆机制?那我换个混淆机制换个算法… 通用解决方案也许是对底层十分精通的人才能做到的吧。。写个专用的解释器出来?猜的。。。 | 
|  |      19daimao      2017-09-20 03:04:48 +08:00 你 xx 出多少, 我阿里出两倍( | 
|  |      20jingniao      2017-09-20 08:40:34 +08:00 via Android 感觉不光是技术问题,淘宝支付宝现在动不动就手机验证之类的,风控麻烦 | 
|      21huanglongtiankon      2017-09-20 08:41:16 +08:00 想要纯技术突破还是别想了,最现实的解决方案是手工登录后拿到 cookies,然后再爬 | 
|      22zgbgx1 OP @huanglongtiankon webdriver 登陆,拿到 cookies,然后再爬的已经做了,还有内置浏览器拿 cookies 的方案 | 
|  |      23Ehco1996      2017-09-20 09:06:42 +08:00 via iPhone | 
|      24loveCoding      2017-09-20 10:04:04 +08:00 淘宝的反爬虫不是开玩笑 | 
|      25levon      2017-09-20 10:07:47 +08:00 如果是去爬淘宝的网页,即使登录实现了,也意义不大。反爬虫机制级别很高。 | 
|      26jccg90      2017-09-20 12:41:04 +08:00 成本很高,因为要登录,所以要找一堆账号来测试,失败了账号就被标记了,整天就各种验证。。。只能换账号 | 
|  |      27m939594960      2017-09-20 13:19:45 +08:00 @FanWall #18 别想得这么难,这么贵。实际上私下多少人流通这套技术你也不知道。。而且算法不可能变动的那么频繁的,一年变一回就不错了 | 
|  |      28ioriwong      2017-09-20 15:02:46 +08:00 via iPhone 我做过虚拟机自动取得 Cookies 的方案 | 
|      29googlebot      2017-09-20 15:53:53 +08:00 via iPad 跟马云的余额宝都,需要勇气, | 
|  |      30sarices      2017-09-20 16:44:31 +08:00 淘宝打开链接快一点都提示输入验证码,特别是各种电子票,旅游子类的。 | 
|  |      31sola97      2017-09-20 16:50:51 +08:00 不敢想 | 
|      32a234712524      2017-09-29 14:00:49 +08:00 @hu0097 请问你的联系方式多少,我有点事情想向你咨询 |