tornado 中的阻塞求指教

[nilai]

如下代码:
import tornado.httpserver
import tornado.ioloop
import tornado.options
import tornado.web
import time
import os

from tornado.options import define, options
define("port", default=8000, help="run on the given port", type=int)

class IndexHandler(tornado.web.RequestHandler):
def get(self):
print "begin"
#time.sleep(10)
os.system("ping www.baidu.com -c 10")

if __name__ == "__main__":
tornado.options.parse_command_line()
app = tornado.web.Application(handlers=[(r"/sleep", IndexHandler)])
http_server = tornado.httpserver.HTTPServer(app)
http_server.listen(options.port)
tornado.ioloop.IOLoop.instance().start()




现在当浏览器请求地址:
http://127.0.0.1:8000/sleep 会一直ping 10次百度,此时有另一个用户也访问这个地址, 但是另一个用户会被阻塞掉,一直等到第一个用户ping执行完后 第二个用户才能执行, 怎么样实现非阻塞的操作.

[ponyfk]

看这个, 结合 subprocess
http://tornadogists.org/489093/
但是不推荐

[zenliver]

开个进程池，仍进去

[yakiang]

http://www.dongwm.com/archives/shi-yong-tornadorang-ni-de-qing-qiu-yi-bu-fei-zu-sai/

[openroc]

@nilai, search tornado.concurrent.run_on_executor

[zenliver]

@yakiang 曼城，，，

[pythonee]

啊，tornado处理请求不是多线程的吗？不是tornado用户，请别喷

[yakiang]

@zenliver 蓝粉 ^ ^ 这是我多个社交帐号的头像

[nilai]

Twisted 呢，能实现这个功能么？

[wangfengmadking]

加异步 coroutine

[zenliver]

@wangfengmadking 线程都阻塞了，加异步没作用的， 本来tornado就不适合cpu bound的应用

[ivanlw]

@zenliver 什么叫CPU bound呢

[nilai]

@zenliver 那是不是python就干不了这事了?

[zenliver]

@ivanlw cpu密集型

[CMGS]

等等，CPU密集？
time.sleep也好，os.system这种也好，前者直接 yield tornado.gen.Task(tornado.ioloop.IOLoop.instance().add_timeout, time.time() + 10)这样加入事件循环，后者异步subprocess，tornado里面有tornado.process。

你是一个大业务循环一百亿次那才叫CPU密集，这只能算IO阻塞，但问题是这样的业务对于单进程单线程的事件驱动模型来说根本就是无解。要解决这种事无外乎就是stackless，线程池这种了，对于传统的CPython而言，只能用进程来解决。

[kingxsp]

查看这里： https://gist.github.com/kingxsp/9884962 应该是个可用的改写。

[nilai]

@kingxsp python2.7下没有 tornado.concurrent

[kingxsp]

这个并发库在python3自带在python2需要安装sudo pip install futures 即可使用

[kingxsp]

tornado.concurrent 是有的啊。我就是在python2.7下进行的，到是 futures 是 python3 下默认带的。

[nilai]

@kingxsp


root@xxxx-All-Series:~# ipython
Python 2.7.3 (default, Feb 27 2014, 19:58:35)
Type "copyright", "credits" or "license" for more information.

IPython 0.12.1 -- An enhanced Interactive Python.
? -> Introduction and overview of IPython's features.
%quickref -> Quick reference.
help -> Python's own help system.
object? -> Details about 'object', use 'object??' for extra details.

In [1]: import tornado.concurrent
---------------------------------------------------------------------------
ImportError Traceback (most recent call last)
/home/yzy/<ipython-input-1-6952f9510533> in <module>()
----> 1 import tornado.concurrent

ImportError: No module named concurrent

[nilai]

@kingxsp 问题解决了. 是因为tornado 用的apt-get安装的.后来下源码安装就没问题. thanks

[ggarlic]

@nilai very easy
使用ProcessProtocol
https://twistedmatrix.com/documents/13.0.0/core/howto/process.html

之前看到有人用twisted写爬虫用urlopen嫌慢，其实twisted也有异步的urlopen版本twisted.web.client.getPage

写异步用同步的time.sleep之类的不是自己给自己找麻烦么

[zenliver]

@ggarlic 顶， 呵呵，，，

[zenliver]

@CMGS 分析的很好， 不过time.sleep不就相当于一个cpu密集型的operation吗

[CMGS]

@zenliver time.sleep 其实比较特殊，为什么说特殊呢，原本是用来模拟大循环（业务向）的CPU密集操作，但是在event-driven的驱动里面，比喻起来应该是suspend，和时间循环是相关的

[nilai]

@ggarlic
能不能像　kingxsp　来个可用的改写

[ggarlic]

<script src="https://gist.github.com/ggarlic/f0d5c4135a98cce96c7a.js"></script>
在我这测试能用，请自行修改ping的路径。
然后，web开发我不熟，我拿twisted都是写别的东西。用同一个浏览器同时打开几个页面还是会顺序访问，用不同浏览器，或者直接终端里同时跑几个curl就没事。Twisted Network Programming Essentials, 2nd EditionEssential Twisted里关于这个的说明：
If you run Example 4-10 and then load multiple instances of http://localhost:8000 in a browser, you may still find that the requests are processed serially. This is not Twisted’s fault: some browsers, notably Chrome, serialize requests to the same resource. You can verify that the web server isn’t blocking by issuing several simultaneous requests through cURL or a quick Python script.

[ggarlic]

https://gist.github.com/ggarlic/f0d5c4135a98cce96c7a
唉？这么帖代码？