如何抓取微信公共帐号发布的文章的阅读数和赞数

[macken]

RT 求指教

@yzimhao提供的接口 http://www.kjson.com/weixin/?fm=v2ex

[withrock]

http://chuansongme.com/

[withrock]

我也很想知道，而且我还加了这个作者聊天，但是估计是不会开源的，我想我还是再琢磨琢磨吧。

[macken]

@withrock 这只能看到文章，无法拿到文章的阅读数和赞数

[macken]

@withrock 抓文章好弄了，可以直接抓搜狗的就好了，传送门弄的时候搜狗还没出微信搜索，估计作者肯定有方法越过验证了

[withrock]

@alexzhan 我知道你在这里 嘿嘿 传送门的作者

[shiny]

@macken 有没有试过对微信 app 抓包？

[withrock]

@macken 除了直接抓搜狗，还有其他方法么？

[iyaozhen]

阅读数和赞数估计不好拿，内置浏览器打开才看得见。

[cheny95]

确实是需要内置浏览器才可以看到赞和阅读数.新版的微信就是这样,链接做了改动,每个文章的Key都是随机生成并且又是有时效性的,所以2个办法,1.按键精灵模拟用户点击,一 个文章一个文章点,2.反编译微信安装包,找到关键代码..



抓取了一下,人工访问的,同一个文章每次key都不一样,只能模拟用户点击.安卓的按键精灵吧.


key: 92d93ba1b575468c7ff6c0fd655e1e8eaad445eb195c636072ba1c39f5a57765c635d71eee25c80ab97f81ddb181f2bb
文章标题: 古风歌曲TOP10，听了一定会喜欢！
文章描述: TOP10 断弦古人以弹琴为雅兴，常云：人生得一知己足以。弦则为琴弦，断弦则指琴弦已断，表达心中的悲愤之情。
阅读数量: 58
赞: 没有人赞呢
key: 94a250db12b2a6e1e9177653ea7dcb39eb38ef8d11dda4825596f02dd1eed5705177ffe464e23ff66fe59e681d5407e2
文章标题: 戴上耳机全世界都与我无关
文章描述: ?1.你哭-Nico你笑，全世界都跟著你笑。你哭，全世界只有你一个人哭。?2.Happiness-爱的魔幻爱
阅读数量: 47
赞: 1
key: 6b49eeb57a8e66392d7b51c7d5d783463cef9689d177cd84774d84af3acc1e5dc8562458ef565f0c64930f6aa6ceb967
文章标题: 戴上耳机全世界都与我无关
文章描述: ?1.你哭-Nico你笑，全世界都跟著你笑。你哭，全世界只有你一个人哭。?2.Happiness-爱的魔幻爱
阅读数量: 48
赞: 1
key: 5f545a9ae2d1a64bff0d2045d1d568efb25395e786cedc767483529410d7aadc0727cb3aee00fc3110f5e39a7fbd8dc8
文章标题: 戴上耳机全世界都与我无关
文章描述: ?1.你哭-Nico你笑，全世界都跟著你笑。你哭，全世界只有你一个人哭。?2.Happiness-爱的魔幻爱
阅读数量: 48
赞: 1

[cheny95]

@shiny 抓包貌似是抓不到的.通过端口监听可以实现.

[zhaohai]

想知道在吗刷阅读量

[zhaohai]

想知道怎么刷阅读量

[macken]

@cheny95 我今天用tcpdump抓了下包，可以抓到数据包，微信除了心跳以外，用的都是短连接，分析了下包，我估计key的值的是通过ssl传递的，每次打开文章前都会有一个ssl的数据通信

[macken]

@cheny95 你这个监视软件是个什么东东？

[macken]

@iyaozhen 有了key无需内置浏览器也可以拿到

[macken]

@withrock 搜狗的数据也没有阅读数据

[cheny95]

@macken 朋友写的一个小程序,凑合玩...

[xmvagrant]

@macken key也有可能是客户端和服务器端通过某种相同的规则生成/验证。SSL的通信也可以抓包来看的。

[macken]

@xmvagrant ssl的包抓了怎么看？看到的都是乱码

[aaronleo]

我正在做的也是微信文章聚合平台，微口网 - http://www.vccoo.com/

所以以我的经验来回答一下楼主的问题吧。

思路一，利用rss生成工具，将搜狗的微信搜索结果生成一个rss，然后通过rss监控这个公众号的文章是否更新。(理论上应该可行，但没试过)

思路二，自己做一个桌面浏览器，IE内核。用这个浏览器登录web微信，这个微信帐号关注你想抓取的公众号，这样就可以监控到是这些公众号是否已更新，更新后链接是什么，从而达到抓取数据的目的。（使用过，效率不高，但非常稳定）

思路三，通过修改android的微信客户端来实现(这个方法是我们曾经使用过一段时间的)

思路四，想办法越过验证直接取到链接，再通过链接取到数据。

补充一下：阅读数和赞数内置浏览器打开才看得见。

[lomanyong]

@aaronleo 这几天也在做微信抓取的练习....感觉抓取文章内容是没问题的...但是想要获取阅读数和点赞数实在是难以下手...不知道还有什么抓包的思路嘛...

[lomanyong]

@macken 不知道解决了木有，可以交流一下...其实我也是做到了抓取公众平台的内容，但是后面的浏览量和点赞数就很捉急了...

[macken]

@aaronleo 如果能够拿到微信的授权key是可以通过修改浏览器的ua，直接访问文章可以获取到阅读数和赞数的

[macken]

@lomanyong 这个确实很难拿到，需要拿到授权key，但是key也是有效时间的

[aaronleo]

前天下午，微信公众平台更新了算法。 拿到key，修改浏览器的ua，也不行了。
不过现在可以得到10万+的精确数据了。已经有很多网站抓到这个数据了。

[macken]

@aaronleo 怎么抓到的

[hzq888]

我有个思路可以试试。
首先修改手机的 dns
然后劫持 微信文章页面里"http://res.wx.qq.com 这个域名，
然后在微信是会加载 <script type="text/javascript" src="http://res.wx.qq.com/mmbizwap/zh_CN/htmledition/js/biz_wap/moon2107db.js"></script> 这个文件的，然后你从腾讯拿到这个文件，加上你自己的js。
这样你就能在这台手机上微信里执行你自己的js 了
然后通过js 拿到 阅读数。


----------------不知道你们懂了没，我太懒，不愿意去试，你们成功了告诉我结果！！

[llhh]

楼主知道如何抓取了吗？

[macken]

@llhh 没有 没找到好方法

[dsy2008bob]

@macken 现在有什么解决思路么?

[yzimhao]

我已经抓取到了。目前开放接口给大家 http://www.kjson.com/weixin/?fm=v2ex

[macken]

@yzimhao 求指教

[leeray]

@macken 找到方法了么？

[macken]

@leeray 有间接的解决方法获取key

[leeray]

@macken 求分享

[mingyun]

@yzimhao 求分享 开源吗

[icewent]

我也做了一个 http://wx5s.coding.io/stat

[docee]

@icewent 求分享key获取方法。。。

[macken]

@docee 看看前面别人的回复吧 方法目前来说也就这些了

[docee]

@macken Key会失效让人很头疼啊。

[icewent]

@docee 公众平台后台，文章发布前，Inspector 修改一下内容，把你要放的动态图片放进去。

[macken]

@icewent 恩 基本都是这个思路

[docee]

@icewent 也就是说有人阅读，就获取到他的url了，url中就哟OpenID了？？？

[docee]

@macken 哈哈。瞬间明白了!感谢感谢！~

[daijia1123]

@icewent
@macken
@docee
请问这个“动态图片”是怎么放进去的？每次修改之后都提示图片粘贴失败，并自动替换成腾讯自己的图。头大。

[macken]

这个你得直接修改html

[cncba]

偶尔用两次, http://www.kjson.com 这个就够用. 但还是要人工参与操作, 比较麻烦.

这个是收费的, http://www.dexj.net:82/​​ , 提供API, 用起来比较爽.

[weiguang3100]

http://51tools.info/wx/weixin.aspx 实现了，而且提供免费的接口，一般的采集够用

[weiguang3100]

@cncba http://51tools.info/wx/weixin.aspx 思路跟第一个一样

[hzq888]

@macken
直接修改了html 貌似还是会被替换成微信的url，求教了

[macken]

@hzq888 什么意思？

[hzq888]

@macken 按你说的，在文章里面插入自己的一张图片，但是获取不到来源地址。你的能吗？

[macken]

@hzq888 插入图片不是上传一张图片，而是通过修改html的增加一个img标签，它的img指向你的服务器的图片地址

[Ourobotos]

@macken 在chrome的开发者工具里修改了HTML 插入图片以后保存，那张图片还是会自动替换成腾讯的图……

[hjue]

@macken 这个漏洞应该已经修复了

@Ourobotos 的确有文章有外站图片，这个文章第一张就是外站的 http://mp.weixin.qq.com/s?__biz=MzAxODIxNTM4MA==&mid=205751888&idx=1&sn=a5043dd7a77e7d4a4fd46752dfba0d79

[macken]

@hjue 有可能是，以前保存的老的图文素材估计还是可以的

[hjue]

@macken 发现微信的浏览器做了特殊处理，图片访问的refer为空

https://www.kjson.com/weixin/?fm=v2ex 特别提示是需要QQ浏览器的微信查看文章

http://51tools.info/wx/weixin.aspx 这个不需要，不知道是怎么实现的

[macken]

@hjue 51tools.info这个也是要关注微信，查看文章的

[rogeecn]

你是在说这个么？ http://qoofan.com/tool/article/get-view-cnt.html ，我做出一个 DEMO 来。

[macken]

@rogeecn 是的 你是怎么搞 key 的？

[Lukin]

反编译微信的 apk 文件能拿到 key 吗？

[macken]

@Lukin 拿不到 key 是每次请求服务端获得的

[Lukin]

@macken 我反编译了一下微信的 Android 客户端，发现很多用 C 写的模块，没办法反编译。

[macken]

@Lukin 是的，加密认证都是 c 写的，可以用 ida 反编译 so

[denghongcai]

@macken key 和公众号是绑定的，当前公众号的 key 不能用来抓其他的公众号的
@rogeecn 的 API 特别稳定而且响应速度快，能给个思路提示吗？

[macken]

@denghongcai 是的 现在更新策略了，早前一个 key 是一个通用的

[denghongcai]

@macken 好想知道 regeecn 是怎么解决的，我感觉我现在已经走到邪路上了

[wenfan]

我也一直有个项目 需要找到 key 和 pass_ticket ， pass_ticket 已经基本解决了，还需要 key ！ 如果有人会解决 可以有偿！！！ wechat ： 23511839

[macken]

@wenfan pass_ticket 怎么拿到的？据我所知 这两个应该是一起返回的

[wenfan]

@macken 有联系方式可以私聊么？求大神赐教。我的微信： 23511839

[kuskyfei]

@rogeecn 求原理和方法

[21212121]

下看看吧 http://pan.baidu.com/s/1pJ1Rc6n

[g080166]

@macken 请问你现在还能抓取到阅读数和点赞数了吗？

[macken]

@g080166 可以抓到啊

[g080166]

@macken 不知道你有没有 demo 之类的，我这边愿意出价求合作

[macken]

@g080166 你要抓的数据是什么量级的？

[g080166]

@macken 不多，目前暂时是一万多，但是以后随着业务扩展，很难说。主要先你那边有没有 demo 看下，我看别人的都有网页可以尝试下，但是目前都挂了而已

[g080166]

@macken 另外接口调用的收费标准你这里有吗？

[macken]

@g080166 不好意思 我这没有具体的接口，我有技术实现方案，你可以加我微信聊一下 id 就是微信号

[g080166]

@macken 已经添加

[ACzero]

请问现在是用什么方法解决的？

[ganjingui]

@macken 怎么获取到 KEY 呀，能交流交流吗？

[haoning747]

这是之前做的网盘引擎： www.quzhuanpan.com ，现在想搞个微信爬虫，发现很多人都是搜狗为入口，大家有新思路吗？

[bojone]

@g080166 我目前有个方案，可以获取到阅读数，还有抓取到微信文章列表（跳过搜狗），成本很低。有兴趣请邮箱联系～～

[bojone]

@g080166 万级数据是很轻松的。

[yangyong]

@bojone 您是怎么做的 我 q 250218783

[ganjingui]

@bojone 您好，你的方案是怎么做的 我的 QQ 是 18470338

[7zheng]

@bojone 邮箱在哪里？

[JoeyDeng]

@bojone 我的 qq 402682376 谢谢

[bojone]

@JoeyDeng
@ganjingui
@yangyong
[email protected]

[czzsean]

@bojone 您好，你的方案是怎么做的 我的 QQ 是 946817112

[p5er]

@macken 我用微信桌面版抓包发现。当我用微信搜狗获得的 URL ，粘到微信桌面版点开后，在第一个 get 请求的 URL 里，就已经带上了 key ，说明微信桌面版的程序，会自动把不带 key 的 URL 经过计算变成带 Key 的。然后第二个请求，就是通过 post 方法，带着 key 去请求 getappmsgext ，从而获得阅读数。所以我觉得 key 是在桌面版程序里计算出来的。

[macken]

@p5er 微信是 TCP 通信的， HTTP 抓包是抓不出来的

[p5er]

@macken 我在 win7 上，开着 finddler 抓的， finddler 可以抓 https ，我粘到微信桌面版的连接是： http://mp.weixin.qq.com/s?__biz=MzA5NDE0MzIyOQ==&mid=204008313&idx=3&sn=90448d00d2e845efb7501ba627a930d6&3rd=MzA3MDU4NTYzMw==&scene=6#rd

然后，我能明显看到两条请求：
1 、 get 方法
http://mp.weixin.qq.com/s?__biz=MzA5NDE0MzIyOQ==&mid=204008313&idx=3&sn=90448d00d2e845efb7501ba627a930d6&3rd=MzA3MDU4NTYzMw==&scene=6&key=b28b03434249256bac1ce522598d7a9a5e52cf754d3e7e991b9e221da19c4f11f547ee26842e06679e87bc7df3d6ab39&ascene=1&uin=MTEyNDA3ODkyMA%3D%3D&devicetype=Windows+7&version=62000025&pass_ticket=gsFoBLv2Z2XwQM3jUq2Oi9qIqK5L2QNPxrNcKNvX6brw0vTvl4aMbxa0DQnGJYep

2 、 post 方法
http://mp.weixin.qq.com/mp/getappmsgext?__biz=MzA5NDE0MzIyOQ==&appmsg_type=9&mid=204008313&sn=90448d00d2e845efb7501ba627a930d6&idx=3&scene=6&title=%E3%80%90%E6%9F%AF%E6%83%A0%E6%96%B0%E8%80%81%E5%B8%88%E5%B0%8F%E7%A4%BC%E5%8C%85%E7%B2%BE%E9%80%89%E3%80%91%E7%BB%B4%E5%A4%9A%E5%88%A9%E4%BA%9A%E5%A5%B3%E7%8E%8B%E7%9A%84%E7%A7%98%E5%AF%86&ct=1425391891&devicetype=Windows&nbsp;7&version=&f=json&r=0.7216593634802848&is_need_ad=0&comment_id=0&is_need_reward=0&both_ad=1&reward_uin_count=0&uin=MTEyNDA3ODkyMA%253D%253D&key=b28b03434249256bac1ce522598d7a9a5e52cf754d3e7e991b9e221da19c4f11f547ee26842e06679e87bc7df3d6ab39&pass_ticket=gsFoBLv2Z2XwQM3jUq2Oi9qIqK5L2QNPxrNcKNvX6brw0vTvl4aMbxa0DQnGJYep&wxtoken=2028779324&devicetype=Windows%26amp%3Bnbsp%3B7&clientversion=62000025&x5=0

从原始连接，到第 1 条请求，我觉得这个是微信软件自动生成的 key ，这个 key 应该有规律。

[p5er]

@macken 具体抓包方法见： https://www.zhihu.com/question/26716409

[macken]

@p5er key 的获取是通过 tcp 通信获取的， finddler 是抓不到 tcp 的包的。

[tinkerz]

@macken 请问下，之前有过爬取公众号历史文章的经验不？ 我这边现在要爬这部分内容，貌似只能登陆关注才能全部爬取，而且还要获取 key- -。 不知这儿用到的 key 跟文章阅读的 key 是不是同一类？

[macken]

@tinkerz 确实是只有关注以后才能抓取全部历史， key 是否一样这个我也没研究过

[FANNG]

看看这个站 http://www.weiwendata.com

[tinkerz]

@macken 现在获取 key 还有其他什么思路吗？ 编辑器里面插入 html 片段好像不好使了... 只能按键精灵了么- -

另外 知乎上有人说什么万能 key 这个是个什么东东啊？ 有了解过么？