V2EX › wersonliu9527 的所有回复 › 第 2 页 / 共 3 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

1 2 3

❮

❯

2019-09-09 13:55:01 +08:00

回复了 wersonliu9527 创建的主题 › Python › 萌新请教，关于 adsl 拨号代理问题

@locoz 用香港的 vps 拨号主机，ip 都是香港的，在里面搭建 socket 代理，在本地电脑 requests 使用下面方式可以翻
proxies = {
'http': 'socks5://xxx:1080',
'https': 'socks5://xxx:1080'
}
但是问题来了在 scrapy 里面使用下面却不行
class LocalProxyMiddleware(HttpProxyMiddleware):
def process_request(self, request, spider):
request.meta["proxy"] = 'socks5://xxx:1080'

2019-08-26 17:18:25 +08:00

回复了 lic2zac 创建的主题 › Python › 爬虫面试，让面试者手写一段简单并发请求和解析数据的伪代码过分不？

'CONCURRENT_REQUESTS': 100,
'CONCURRENT_REQUESTS_PER_IP': 100,
'REACTOR_THREADPOOL_MAXSIZE': 20,
response.xpath()
万一只会这个呢 0.0

2019-08-12 16:43:10 +08:00

回复了 yellowtail 创建的主题 › Python › pycharm 能自动帮我在运算符变量之间加空格吗

如果你的代码没报错，ctrl+alt+l pycharm 能帮你格式化代

2019-08-01 10:17:57 +08:00

回复了 hell0v2 创建的主题 › Python › Python 提高，读什么源码比较好

@chenyu0532 可能是红宝书一件套，你不知道的 js 三件套 0.0

2019-07-25 20:16:17 +08:00

回复了 qazwsxkevin 创建的主题 › Python › [爬虫]请教各位高手，除了 Seleium 的方法，还有什么现成轮子方法可以获得渲染后的网页代码？

不是很多加载都是 xhr 请求来的么 0.0

2019-07-19 12:00:54 +08:00

回复了 wersonliu9527 创建的主题 › Python › 请问各位大佬，这种 js，有没有解密思路的

@wly19960911
@zjsxwc
@huaerxiela6
感谢各位，这其实是一个谷歌浏览器插件的部分源码，最后又通过插件运行过程中执行的一些请求找到了解决途径 0.0

2019-06-20 18:44:15 +08:00

回复了 wersonliu9527 创建的主题 › Python › 请教 scrapy 爬虫的一个问题,中间件问题

@warcraft1236

@limuyan44
感谢各位的回复，在 custom_settings 中配置自定义重试总是不生效，最后在 setting 文件中生效了

2019-05-28 14:38:14 +08:00

回复了 fank99 创建的主题 › Python › 请教各位 Python 爬虫工程师有什么好的转职方向吗？

我也是自学了，入职爬虫一年出头，中途也去面了几次后端。基本上都问 mysql 优化问题，大量数据时怎么处理。我说了些理论上的查表优化，接口数据缓存。基本上没下文。还在继续写 xpath 0.0

2019-03-26 09:29:54 +08:00

回复了 matsuz 创建的主题 › Python › 重金求爬虫大佬帮爬 5w 条数据

我去年爬过阿里健康，楼主是广州 efd 么 0.0

2019-03-20 15:42:10 +08:00

回复了 spotfg 创建的主题 › Python › 斗转星移之 js 参数第一篇：某 yi

https://github.com/shadowsocks/shadowsocks-windows/releases

2019-03-13 16:04:59 +08:00

回复了 lowett 创建的主题 › Python › 花了 2 个月才把别人开源项目部署到自己服务器，迷之尴尬

@Hopetree 这也太厉害了,1 小时部署 http://35.220.230.191 1 小时部署 0.0

2019-01-29 15:23:04 +08:00

回复了 keyakizaka46 创建的主题 › Python › 请各位大佬，如何成为一个合格的爬虫工程师？

哎，我就是爬虫的，前端 java 都略懂。一般公司都搭好扩展好爬虫框架，每天写点解析，也有爬淘宝部分商品的需求
对于我这种菜鸟，pc 淘宝网页很难搞，浏览商品都要登录，app 抓包更是头大。最后通过 https://h5.m.taobao.com 这个找到接口取到了需要的数据

2019-01-28 17:29:18 +08:00

回复了 taoing 创建的主题 › Python › 半年前学 Python 时用 django 开发的仿知乎网站, 各位大佬给点意见, 请轻喷

我用谷歌浏览器，打开比真知乎快啊 0.0

2019-01-22 16:34:56 +08:00

回复了 RayChiang 创建的主题 › Python › 在面向对象中使用 tkinter 时的一个小问题

eric6+pyqt5 可以拖控件造界面，生成插槽函数

2018-12-29 08:58:06 +08:00

回复了 jarry118 创建的主题 › Python › 正则表达式匹配数值类型字符串

加个 | 匹配个位数规则？

2018-11-21 16:00:36 +08:00

回复了 DarkAlexWang 创建的主题 › Python › 转让 Vultr 的日本和洛杉矶节点， 2.5 刀那种，顺便求 BingRewards 的 bot

出售 vpn 要蹲局子的,大兄弟.之前那个哥们获刑三年

2018-11-02 09:58:07 +08:00

回复了 a65420321a 创建的主题 › Python › 多线程爬虫写入 mysql 特别的慢

对于中小量数据,直接用 pandas
pd.Dataframe([]) 暂存内存后直接 to_sql,大量数据用 scrapy+mysql/mongodb

2018-11-02 09:50:04 +08:00

回复了 tzhhahaha 创建的主题 › Python › Django 学习求解

我自学 python 三个月,工作七个月. 现在水平远不如楼上这位 tumbzzc 大三学生.工作中主要用 scrapy,pandas,flask 这些.给楼主些参考吧,珍惜学校时光, 也可以看看 js,nodejs 市场需求很大,es6 语法都跟 py 有些类似了

2018-10-22 15:16:11 +08:00

回复了 zasilla 创建的主题 › Python › 新手学习正则练习时碰到的一个问题

不想正则搞晕,直接用谷歌浏览器的 copy xpath 功能加上 xpath helper 插件吧

2018-10-22 14:43:53 +08:00

回复了 Ewig 创建的主题 › Python › 爬虫拉勾网的反爬

我们公司爬烂了,长期爬最好用代理 ip,一次的话本地 ip 加 cooki 就行
post 请求 'https://www.lagou.com/jobs/positionAjax.json?px=new&needAddtionalResult=false' 这个接口
参数下面自己循环变换
data = {
'first': 'true',
'pn': 页码,
'kd': 关键字)
}

1 2 3

❮

❯