frogex

V2EX 第 368733 号会员，加入于 2018-12-07 12:03:46 +08:00

frogex 提问技术话题好玩工作信息交易信息城市相关

淘宝反爬求解

Python • frogex • 2020-07-10 15:07:57 PM • 最后回复来自 no13bus

72

» frogex 创建的更多主题

frogex 最近回复了

2019-01-19 15:46:52 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@xiao38245
手机淘宝是二进制的协议吧，要破协议，这个我没经验。而且直接抓接口的方法淘宝随便封更容易，感觉还是模拟人的操作稍微靠谱点

2019-01-19 10:50:03 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@IWSR
那能怎么办？讨论爬虫的帖子超级多，可讨论反爬的实在太少了，工作这么久身边也基本没一个人做过这些的

2019-01-18 16:21:03 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@dengtongcai
请看全文，不仅是登陆，是要长期稳定的爬，且能过各种滑块，目前最终方案在 23F，放 win 虚拟机跑了

2019-01-18 11:35:34 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@dengtongcai
爬简单，要能稳定长期、全自动化、有效的爬才难啊

2019-01-18 11:34:41 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@yinaqu
淘宝检测了什么我不确定是不是只在 sufei_data 那个 js 里，从我分析看，至少有检测了 10 个函数，至少 headless 都 pass 了和非 headless 一样的结果。其他的实在看不下去了，都是混淆过的代码，命名 abcdefg，函数各种混着赋值，似乎要人肉维护一个函数调用关系

2019-01-18 11:32:06 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@soulmine
我也知道，公司安全的负责人也说，你一个人怎么能应付一个团队，不要硬肛，要想别的办法，但什么大淘客还是不行啊，搜不到我要的。但这爬东西又是公司必须的任务，之前从来没搞过，忧虑了好久，总没彻底去解决。

淘宝也有付费 api，不过 leader 还是希望能神不知鬼不觉的用爬虫比较好

2019-01-18 10:08:23 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@lkwfive
没试过这个，有空试下吧，不过用什么工具 taobao 应该还是都会检测的

2019-01-18 10:02:59 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@yinaqu
工作很多年了，90%时间写 C++

2019-01-18 09:35:43 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@yumenlong
不会 pyqt，不过应该不只是 selenium 的问题，光看 taobao 的 js 就有 chromedriver 的指纹检测

2019-01-18 09:34:41 +08:00

回复了 frogex 创建的主题 › Python › 淘宝反爬求解

@yangsi
当然可以，主要是不能确定靠什么检测的，试过 PhantomJS 也是不行

» frogex 创建的更多回复