推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
Python 有啥对协程支持好的队列框架么 试了几个都不行 最近快被搞崩溃了 难道要自己撸一个
bfpiaoran · 2020-01-20 09:57:00 +08:00 · 5689 次点击这是一个创建于 1794 天前的主题，其中的信息可能已经有所发展或是发生改变。
 |
1
blodside 2020-01-20 10:39:10 +08:00
Python 那些协程实现最大的问题是：代码里的其他依赖可能不支持协程，打补丁偶尔会出千奇百怪的错
ps: 我研究了一段时间，发现还是 Twisted 更好用 |
 |
2
ipwx 2020-01-20 10:46:09 +08:00
我觉得也只有自己撸一个了。。。
@blodside 这个我觉得问题不大，你可以把其他代码放进 thread executor 或者 process executor 里面。反正你其他依赖不支持携程，理论上不也不支持 Twisted callback 么（ doge ） |
 |
3
ClutchBear 2020-01-20 10:46:12 +08:00
换 golang?
|
 |
5
niubee1 2020-01-20 10:48:02 +08:00
为啥对协程有这么大的执念？用多进程不香么？
|
 |
6
bfpiaoran OP @ClutchBear golang 短期不想换啊
|
|
7
bfpiaoran OP @blodside 对 celery 总是出现些奇怪的内存泄露 worker 收不到任务的问题 然后试了下 huey 啥的对 asyncio 支持也是特别差 还有的队列本身用的就是异步 event 也会出现莫名其妙的问题
|
|
8
bfpiaoran OP @niubee1 有的节点没法开多进程呀 核心本身就低 效率更低了 不如多线程呢 但是多线程 lock 的问题又不想搞 所以就这样了
|
 |
9
Vegetable 2020-01-20 10:52:07 +08:00
你的主要诉求是？队列操作一般算不上是 io 吧
|
|
10
Vegetable 2020-01-20 10:57:14 +08:00
是要任务队列不是消息队列啊..这个可能会复杂不少没有了解了
|
 |
14
hankai17 2020-01-20 11:11:47 +08:00
gevent?
|
 |
15
wangyzj 2020-01-20 11:12:24 +08:00
虽然不是不可以，但是你这个需求是要满足多大的量？不能横向扩展么？
|
 |
16
dsphper 2020-01-20 11:16:04 +08:00
？？？看半天看得我糊涂，celery 内存泄露 worker 收不到任务？？？这和协程有一毛钱的关系吗？很明显你写的代码有问题把 worker 卡死了，兄弟你得把基础打牢，最起码明白多进程多线程协程的基础原理，才能写出优质的代码。不要看网上那些乱七八糟的文章对个协程无脑吹（都是一些不经脑子跟风的），就感觉协程是个万能药。
|
 |
17
flynaj 2020-01-20 11:21:37 +08:00 via Android
python 入门简单，真做产品你还是 golang 高效
|
 |
18
hehe12dyo 2020-01-20 11:22:16 +08:00
建议换 go。。。
|
 |
19
watsy0007 2020-01-20 11:37:53 +08:00
不如把问题发出来.
下面回复换 go 的是认真的吗? |
 |
20
wdf86 2020-01-20 11:50:13 +08:00
能不能说一下队列和协程具体的关系？
|
 |
21
lolizeppelin 2020-01-20 12:23:01 +08:00 via Android
OpenStack 用 eventlet
你说呢 |
 |
22
whi147 2020-01-20 15:04:54 +08:00
建议换 cpp
|
 |
23
keepeye 2020-01-20 15:34:41 +08:00
|
 |
24
sylvos 2020-01-20 17:20:31 +08:00 via iPhone
Arq
|
 |
25
hj24 2020-01-20 17:45:40 +08:00 via iPhone
gevent 或者 asyncio 提供的 queue 不可以吗？还是说楼主都试过了，不满意的点在哪里？
|
 |
26
wzwwzw 2020-01-21 12:54:29 +08:00
rabbitmq 之类的应该有异步链接库吧，自己撸一个吧。目前看 asyncio 的库还不够生产用。
|
 |
27
Leigg 2020-01-21 14:13:46 +08:00 via Android
用过哪些，为什么不行？
|
 |
28
guochao 2020-01-22 09:57:48 +08:00
我自己闲的时候写的东西也是需要些并发啊什么的。一开始用 nodejs，用不熟，后来换 python，最近一两年又因为试着学 go 换成了 go。所以建议的话：
能换 go 换 go，天生就是自己调度的协程，只要代码没问题效率就不会低。就跟具体用什么库没关系了。 如果要用 python 的 tornado/asyncio 的话，建议用 aio-pika 这种库，或者用 aioredis 撸一个，新的 redis 自带 pub sub，不用 pubsub 也可以用 list 或者 sorted set 来做队列。另外就是楼上说的，注意一下别的库的实现，搞不好会给你阻塞一段，遇到这种了就用 ThreadExecutor，我们公司这边 python 的项目就是 patch 了很多同步的库然后自己用。 node 理论上应该也还好，但是一个是我不熟悉 node，当时不知道为啥用 node 的 redis 会阻塞住，另一个是印象里 node 不开进程线程的话是单线程的。我就不多提这个了 |
Select Language