V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
V2EX  ›  firejoke  ›  全部回复第 1 页 / 共 15 页
回复总数  297
1  2  3  4  5  6  7  8  9  10 ... 15  
@lesismal connect 后的一个休眠是最近加的代理节点间的一个临时连接,因为用的是 REQ socket ,在异步处理时,需要先用 asyncio.sleep 让出当前运行时,临时连接用完后,使用节点间的 ROUTE socket 相互第一次连接,也需要使用 asyncio.sleep 让出运行时,用 sleep(0.1)或者用被特殊处理的 sleep(0)也行,这里当时测试用了 sleep(1)后没改,是个错误,谢谢!
@L1shen 是的,我就是当网络通信用的,他的文档里示例也是作为网络库最多
@lesismal 为什么呢?也许你没用过 ZeroMQ ?(接受不同意见,接受所有建议,感谢你浪费时间)
256 天前
回复了 firejoke 创建的主题 程序员 求问是否存在这样一个现成的方案
@hamsterbase @ysc3839 主要就是客户端可能无法安装软件。

@initObject 我这边家宽的 ipv6 不如你的稳定。

@sofukwird 我研究下 DNS 这个,谢谢,铜币给你。
2022-02-15 11:10:31 +08:00
回复了 firejoke 创建的主题 生活 有协议婚姻的吗?就像《逃避可耻却有用》那样。
@linglin0924 #2 他们是结婚前就这样吗?还是婚后改变的?
2022-02-15 11:10:02 +08:00
回复了 firejoke 创建的主题 生活 有协议婚姻的吗?就像《逃避可耻却有用》那样。
@hinataharuki #1 形婚的如果能摊开说,那也就还好。
2022-02-15 11:08:58 +08:00
回复了 firejoke 创建的主题 武汉 寻武汉滑板爱好者
@huntagain2008 #3 我也是平时代步比较多,所以想找个同好啥的。
2022-01-20 20:25:32 +08:00
回复了 firejoke 创建的主题 Python 控制子进程的 cpu 使用率
@wevsty #10 在 Windows 上测了。

测试环境:
测试中把所有进程包括子进程都调整到同一 cpu 核上;
运行中通过任务管理器确认了程序内设置的优先级是生效的;
子进程用 multiprocessing.Process 生成的,在 Windows 上是 spawn 模式,会启动一个全新的解释器运行子进程。

测试结果:
两个独立进程之间,可以通过设置优先级,让优先级高的占用更多 cpu 时间,而相同优先级的会竞争。
同一父进程的两个子进程之间,优先级没起到作用;
不同父进程的两个子进程之间,不论是设置父进程的优先级还是子进程的优先级或者全都配置,两个子进程仍然会竞争。
2022-01-20 17:41:36 +08:00
回复了 firejoke 创建的主题 Python 控制子进程的 cpu 使用率
@wevsty #10 我晚上回去试试,不过 psutil 库只能设置指定进程的优先级,在 Windows 是用 SetPriorityClass 实现的,只有几个固定优先级和后台模式。
2022-01-20 10:38:14 +08:00
回复了 firejoke 创建的主题 Python 控制子进程的 cpu 使用率
@wevsty #6
在系统成面设置进程优先级来控制资源调度确实要方便很多,但就像 @ClericPy #7 描述的,操作系统内的资源调度对我们来说约等于是黑盒,不能达到想要的效果,所以如果能在程序成面做到控制的话,可控度就高多了,希望能找到更合适的方案。
2022-01-20 09:32:13 +08:00
回复了 firejoke 创建的主题 Python 控制子进程的 cpu 使用率
@wevsty #1
@junnplus #2
@Buges #3
@ClericPy #4
我需要应用的场景,是在资源空闲的时候,用尽预期的所有资源,而在有其他进程也需要占用资源时,能动态的让出资源。
也可以用 cgroups 设定进程组占用 cpu 时间比其他进程组要少,但这样我就得为每一个可能启用的其他任务规划资源占比,并且每次都要手动修改已有的 cgroup 参数。
所以就想着,如果能自动动态的在程序成面规划资源占用的话,就能少动手了😋
2022-01-07 20:17:21 +08:00
回复了 firejoke 创建的主题 武汉 寻武汉滑板爱好者
@gitgabige #1 感谢~
2021-11-23 22:00:11 +08:00
回复了 firejoke 创建的主题 Python 关于 asyncio 执行 IO 密集型操作的不解
@ohayoo #34 还在调试多进程和协程的组合,后面会贴一下的。
2021-11-22 09:33:38 +08:00
回复了 firejoke 创建的主题 Python 关于 asyncio 执行 IO 密集型操作的不解
@yufpga #29 我看日志里,我同时开了好多个 task ,这个 task 的循环里 await query 或 add 或 commit ,就会跳到另一个 task 的循环里的 query 或 add 或 commit 。
2021-11-22 09:23:13 +08:00
回复了 firejoke 创建的主题 Python 关于 asyncio 执行 IO 密集型操作的不解
@hustlibraco #30 换成异步文件读,就可以换成 async for 了。
2021-11-21 16:15:30 +08:00
回复了 firejoke 创建的主题 Python 关于 asyncio 执行 IO 密集型操作的不解
@O5oz6z3 #26 不是,当不存在较长的 io 等待的时候,协程和单线程没差。
2021-11-21 16:06:46 +08:00
回复了 firejoke 创建的主题 Python 关于 asyncio 执行 IO 密集型操作的不解
@Contextualist #25 对欸!资源是消耗在每一条查询和写入的操作上,如果批量写,就可以降低写入频率,至于查询,我已经在查询字段上加了索引,我改一下试试。感谢~
然后我看到你之前提到的 trio ,看他的文档像是涉及到异步操作的都有涉及,感觉非常不错啊。
2021-11-21 14:17:56 +08:00
回复了 firejoke 创建的主题 Python 关于 asyncio 执行 IO 密集型操作的不解
@Contextualist #23 是的,就是两个大文件,所以我也觉得文件 IO 不是我这里的瓶颈,协程在这个场景中没体现出他的优势,我已经改成了多进程了。
2021-11-21 12:48:27 +08:00
回复了 firejoke 创建的主题 Python 关于 asyncio 执行 IO 密集型操作的不解
@locoz #20 我昨天最后也是改成用多进程了,一个进程专门读文件,然后放进队列,其他子进程从队列读,然后操作数据库,那看来我思路没跑偏。还有其他的解法吗?多进程和协程的结合,一般都是以多进程为主吗?
2021-11-21 12:41:23 +08:00
回复了 firejoke 创建的主题 Python 关于 asyncio 执行 IO 密集型操作的不解
@Contextualist #14 看文档的意思,是说用异步文件 IO ,在从内存读取时反倒会变慢,在从磁盘读取的时候会加快,在不同环境下其结果是不可预测的。那我如果单独用一个进程读取文件到内存,然后另一个进程从内存读取然后再操作,应该可以绕开这个问题。
1  2  3  4  5  6  7  8  9  10 ... 15  
关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   我们的愿景   ·   实用小工具   ·   5331 人在线   最高记录 6543   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 22ms · UTC 08:16 · PVG 16:16 · LAX 01:16 · JFK 04:16
Developed with CodeLauncher
♥ Do have faith in what you're doing.