推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
这是一个创建于 3833 天前的主题，其中的信息可能已经有所发展或是发生改变。
我在尝试一个模拟登录chiphell的程序时，发现浏览器返回的页面是完整可解析的，但是我的python程序返回的是Transfer-Encoding: chunked, Connection:close。。。完全不知道该怎么解析一团乱码的返回数据。。。但是明明在header里面设置了Connection:keep-alive的。
跟进urllib2发现这句话‘We want to make an HTTP/1.1 request, but the addinfourl
# class isn't prepared to deal with a persistent connection.’
我郁闷，哪位大侠知道怎么解析chunked数据？或者说换个http库可以支持keep-alive？
先谢了。
跟进urllib2发现这句话‘We want to make an HTTP/1.1 request, but the addinfourl
# class isn't prepared to deal with a persistent connection.’
我郁闷，哪位大侠知道怎么解析chunked数据？或者说换个http库可以支持keep-alive？
先谢了。
10 条回复 • 2014-05-21 16:52:30 +08:00
 |
1
yxjxx 2014-05-20 18:00:48 +08:00  1
用requests吧
|
 |
2
phyng 2014-05-20 18:15:10 +08:00
我就知道有人推荐requests……#说实话遇见requests再没有碰过urllib*
|
 |
4
ushuz 2014-05-20 18:46:27 +08:00 via iPhone 1
是的，不支持，urllib2有历史了。用requests即可。
|
 |
5
fghzpqm 2014-05-20 18:47:00 +08:00 1
是的，不支持。
是的，你应该换 requests. |
 |
6
shyrock OP 感谢各位回复，用requests去了。。。
|
 |
7
Niris 2014-05-21 15:06:54 +08:00 1
chunked 需要自己解析。
格式说明可以看 http://www.w3.org/Protocols/rfc2616/rfc2616-sec3.html#sec3.6.1 。 处理起来也不难，可以参考 Guido 的实现 https://github.com/aosabook/500lines/blob/master/crawler/crawling.py#L233-L259 。 直接用 requests 当然更简单些。 |
|
9
Niris 2014-05-21 16:22:01 +08:00
|
|
10
shyrock OP @Niris 本来我以为urllib会干这种事，但是在urllib的源码里面自己注明了因为不支持长连接，所以就给数据分块了。。。
|
Select Language