V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  aaaa007cn  ›  全部回复第 4 页 / 共 18 页
回复总数  353
1  2  3  4  5  6  7  8  9  10 ... 18  
2015-02-24 19:09:24 +08:00
回复了 hhp 创建的主题 问与答 有在 firefox 下用 bing 搜索的吗?
2015-02-23 23:59:05 +08:00
回复了 bengtuo 创建的主题 Python 如何爬 html5 游戏?
只要稍微熟悉 javascript 的几种混淆、压缩方式
手动解码并不会特别麻烦

让 node_webkit 走代理
和浏览器直接走代理没区别啊

只熟悉 python 的话
先用 python 起个简单的 http / socks 代理
现成的代码、库有不少
然后 selenium 启动浏览器并且设置好代理
一边访问网站
一边在代理中过滤目标地址并下载
2015-02-23 20:58:24 +08:00
回复了 wozhapen 创建的主题 Python python 该如何处理 json 中的中文
因为这个已经是 utf8 编码的字节码
所以你应该通过 decode 拿到原始 unicode 字符串

b'36\xe6\xb0\xaa(36Kr.com)\xe6\x98\xaf\xe4\xb8\xad\xe5\x9b\xbd\xe9\xa2\x86\xe5\x85\x88\xe7\x9a\x84\xe7\xa7\x91\xe6\x8a\x80\xe6\x96\xb0\xe5\xaa\x92\xe4\xbd\x93\xef\xbc\x8c\xe6\x88\x91\xe4\xbb\xac\xe6\x8a\xa5\xe9\x81\x93\xe6\x9c\x80\xe6\x96\xb0\xe7\x9a\x84\xe4\xba\x92\xe8\x81\x94\xe7\xbd\x91\xe7\xa7\x91\xe6\x8a\x80\xe6\x96\xb0\xe9\x97\xbb\xe4\xbb\xa5\xe5\x8f\x8a\xe6\x9c\x80\xe6\x9c\x89\xe6\xbd\x9c\xe5\x8a\x9b\xe7\x9a\x84\xe4\xba\x92\xe8\x81\x94\xe7\xbd\x91\xe5\x88\x9b\xe4\xb8\x9a\xe4\xbc\x81\xe4\xb8\x9a\xe3\x80\x82'.decode('utf8')

注意开头那个 b
2.x 可省略

源编码未知的情况下
建议直接二进制写入文本文件
然后使用文本编辑器确认是哪种编码
2015-02-23 20:46:55 +08:00
回复了 bengtuo 创建的主题 Python 如何爬 html5 游戏?
python 自动不知道

手动的话
手动解码相关 js 然后构造地址

或者简单粗暴点
起个代理抓浏览器所有请求

但如果部分资源延迟加载的话
还是免不了要手动解码 js 构造地址
2015-02-22 21:24:14 +08:00
回复了 invite 创建的主题 Python Python 的 BUG 是不是一直不修复的?
@evlos 我点开帖子的时候也只有一个回复啊 ww
2015-02-22 21:16:47 +08:00
回复了 invite 创建的主题 Python Python 的 BUG 是不是一直不修复的?
2015-02-22 15:44:08 +08:00
回复了 iugo 创建的主题 问与答 被 ISP 强行插入广告, 如何屏蔽某一 IP, 有何推荐?
windows 防火墙、组策略、第三方的防火墙比如 comodo
2015-02-21 18:04:03 +08:00
回复了 8688868 创建的主题 互联网 特定网站被限速了 怎么办
2015-02-21 17:47:10 +08:00
回复了 Do 创建的主题 问与答 你们的 iTunes 和 Internet Explorer 的下载页面显示正常吗?
@Do
nslookup a248.e.akamai.net 8.8.255.255 可知解析结果被干扰了
正确的结果其实是可以 ping 的
就算真的禁 ICMP 那还可以 tcping 嘛
2015-02-21 15:24:34 +08:00
回复了 jason52 创建的主题 分享创造 手把手教你写爬虫第二弹---命令行爬虫介绍
@DSKcpp
导出列表然后 wget --input-file=FILE 或者 aria2c --input-file=FILE
2015-02-17 21:03:58 +08:00
回复了 tanteng 创建的主题 PHP 看这个伪静态 url 为什么要这样设置?
为了防止别人从字面理解 query string 个参数的意义?
每一个 - 都相当于一个 &,然后再去掉 filed 名字和等号
-iqiyi- 这个改成 --、-foo-、-bar- 也一样可以打开
所以大概是个来源之类的参数
2015-02-17 18:18:01 +08:00
回复了 acgeo 创建的主题 程序员 Nim 比 rust 好? 为什么呢?
国内的 DNS 解析不出 AAAA 记录 ✗
国内的 DNS 解析不出正确的 Facebook 记录 ✓
用非 53 端口大法吧……
2015-02-17 01:17:06 +08:00
回复了 jason52 创建的主题 分享创造 手把手教你写煎蛋妹子图爬虫。。。
@jason52
我觉得简单的用用 urllib、urllib2 差不多
要是 cookie、referer、ua、代理一起上
我宁可在 python 中调用 curl 也不想和各种 opener 去搅
直到遇到了 requests
但是 curl 直接支持 socks 代理在某些情况下还是要比 python 方便点
2015-02-16 22:37:57 +08:00
回复了 tanteng 创建的主题 分享创造 大家觉得班级网站这个市场有没有前景?
当年有个网站叫做 chinaren,主打校友录,后来不知道怎么死的
后来有个网站叫做校内,现在它改名人人了
现在同学联系不都是以 qq 群、微信群为主了么
2015-02-16 22:15:25 +08:00
回复了 sunsol 创建的主题 问与答 nim 语言有人试过吗?
今天看固点才知道这个
http://www.solidot.org/story?sid=43082
之前叫做 Nimrod
从 2014-10-19 v0.9.6 开始才改名 Nim 的
http://nim-lang.org/news.html#Z2014-10-19-version-0-9-6-released
中文资料用 Nimrod 去搜吧
不过要真是想深入了解的话
我建议直接啃原文
2015-02-16 19:40:03 +08:00
回复了 flyingkid 创建的主题 问与答 chrome extension 可以做到 dns 劫持吗
更新下
不用实现 http proxy
实现一个 socks5 proxy 即可,这比 http proxy 简单多了
2015-02-16 19:29:55 +08:00
回复了 flyingkid 创建的主题 问与答 chrome extension 可以做到 dns 劫持吗
理论上可行的吧
chrome 可以建 tcp/udp 服务器
自己实现一个 http proxy
在 proxy 中根据域名来选择 dns 服务器手动解析
2015-02-15 22:32:28 +08:00
回复了 copriwolf 创建的主题 程序员 请问如何批量点击微博某话题中的每条微博的唯一链接?
你没说是在什么环境下,要如何操作
所以我假定你是要在浏览器中执行
要在浏览器中执行自己的 javascript 脚本
无非通过自制浏览器扩展、用户脚本、代理注入
如果偶尔要用
那么直接使用开发者工具(就是审查元素会打开的那个)中的控制台也行
上面只是演示了如何通过 css selector 选取元素并遍历
具体怎么点击还要看你想怎么做
比如 http://wiki.greasespot.net/GM_openInTab
1  2  3  4  5  6  7  8  9  10 ... 18  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   2636 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 46ms · UTC 08:31 · PVG 16:31 · LAX 01:31 · JFK 04:31
Developed with CodeLauncher
♥ Do have faith in what you're doing.