python3 + gunicorn(多进程) + rq + subprocess 程序莫名 killed

[taomujian]

用 gunicorn 部署的一个程序,队列使用 rq,每个 worker 里调用 subprocess.Popen.communicate 去执行 go 程序,日志会保存到 log 文件,然后 python 读取 log 进行处理.当 gunicorn 配置文件中设置进程为多个时,rq 的日志文件会有警告 Lock already taken - skipping run,与此同时还有一条日志是 killed,go 程序就会被终止,python 也读取不了日志.当 gunicorn 配置文件中设置进程为 1 时则没有这个问题,这是哪里出问题了？

[zhoudaiyu]

https://github.com/rq/rq-scheduler/issues/257 可以看看这个 xd 的自问自答里面的两个 here

[taomujian]

@zhoudaiyu 看过了，并没有什么解决方法，只是说 Lock already taken - skipping run 是一个特性。。。。

[corvofeng]

killed 是不是容器内存满了, 进程被停了

[taomujian]

@corvofeng 有可能，不过运行的程序都是在主机上，只有 es,mongodb,redis 用的 docker,我把 es 切换到主机上

[julyclyde]

Killed 十有八九都是内存满。你看 dmesg 吧