mimvp 最近的时间轴更新
米扑深入研究爬虫技术六年,开源了代码示例:
https://github.com/mimvp/mimvp-proxy-demo
2018-05-14 16:55:54 +08:00
开一家公司,实现梦想
2017-08-08 21:37:34 +08:00
mimvp

mimvp

米扑,小而美,简爱
🏢  北京米扑科技有限公司 / CTO
V2EX 第 247360 号会员,加入于 2017-08-07 19:31:00 +08:00
中科院读研,曾工作于百度、小米、阿里巴巴
现从阿里辞职,自主创业,成立了米扑科技

米扑科技,小而美,简爱。
一米阳光,扑向美好生活。
mimvp 最近回复了
2018-12-03 20:45:27 +08:00
回复了 zjsxwc 创建的主题 程序员 微信公众号支付的退款求助
@mimvp 解决步骤:
1、登录微信支付商家版
2、账户中心 —> API 安全 —> API 证书
3、可以看到提示"你的 API 证书已到期,相关 API 接口不可使用,请尽快联系管理员更改证书!"
4、更新下证书的过期时间即可,不需要重新下载、替换证书
例如:
我的证书更新前是“ 2016-11-21 到 2018-11-21 ”,更新后的有效期是“ 2016-11-21 到 2019-11-21 ”
再刷新微信支付的退款,即可成功了,问题解决
划重点:更新证书有效期即可,没必要重新下载、更新证书,谢谢。
2018-12-03 20:41:52 +08:00
回复了 zjsxwc 创建的主题 程序员 微信公众号支付的退款求助
遇到同样的问题,是微信支付的证书过期了,我刚解决了
2018-05-15 09:02:39 +08:00
回复了 upczww 创建的主题 互联网 竟然有人去 DDoS 阮一峰的博客
阮总可是技术大佬呀,小白自不量力,刚看了阮一峰博客在 IT,互联网,科技,技术博客网站推荐( https://www.v2ex.com/t/454875
2018-05-14 17:39:48 +08:00
回复了 llllllucas 创建的主题 Python Python scrapy response 编码问题
@llllllucas 嗯,unicode 转义的问题

```
def parse(self, response):
mimvp_url = response.url # 爬取时请求的 url
body = response.body # 返回网页内容

print("mimvp_url : " + str(mimvp_url))
print("body : " + str(body))

# unicode_body = response.body_as_unicode() # 返回的 html unicode 编码
# print("unicode_body : " + str(unicode_body))
```
@mimvp 可以直接下载源码,稍微修改下,就可以直接运行的,执行命令看下注释,很简单的,我成功了
可以的,Python scrapy 框架专门就是为了爬虫而生,具体使用可以在 github 上搜索下开源的项目
我使用 scrapy 框架做爬虫,需要使用到代理 IP,参考了 github 源码:
https://github.com/mimvp/mimvp-proxy-demo/tree/master/PythonScrapy
爬虫采集、自动化测试 /操作的范畴
具体解决方案:Python + Selenium + Xvfb + Firefox/Chrome
具体可参考米扑博客: https://blog.mimvp.com/article/12219.html
2018-05-14 17:11:17 +08:00
回复了 Jay54520 创建的主题 Python Python2 显示 unicode 的问题
直接给出结果,看“ utf-8 ” 相关的行
源码请见米扑博客: https://blog.mimvp.com/article/4441.html


#!/usr/bin/env python
# -*- coding:utf-8 -*-
#
# mimvp.com
# 2015-11-09


import urllib, urllib2
import base64
import socks, socket # 需要引入 socks.py 文件,请到米扑代理示例下载

import sys
reload(sys)
sys.setdefaultencoding('utf-8')

# 全局取消 ssl 证书验证,防止打开未验证的 https 网址抛出异常
# urllib2.URLError:
import ssl
ssl._create_default_https_context = ssl._create_unverified_context
把详细的错误信息贴出来,看是不是被网易邮箱屏蔽了
若被服务器屏蔽了,可以考虑使用代理 Ip 来爬取
Selenium + Firefox + Python 代码示例:
https://github.com/mimvp/mimvp-proxy-demo/tree/master/SeleniumPython
2018-05-14 16:54:17 +08:00
回复了 xfw 创建的主题 Python 小白求助, Python 3.6.1 环境, selenium 执行定义浏览器异常
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   1574 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 16ms · UTC 17:15 · PVG 01:15 · LAX 09:15 · JFK 12:15
Developed with CodeLauncher
♥ Do have faith in what you're doing.