写了一个简单的 golang 协程工作池,用于学习交流想和大家讨论一下。 https://github.com/ppmoon/pool 欢迎 star 共同学习交流
本 repo 是一个简单的 golang 工作池,仅供交流和学习使用。golang 工作池的作用是可以限制 goroutine 的启动数量。
//NewTask 是放到工作池当中运行的函数。使用的时候需要先实例化他
w := pool.NewTask(func() error { fmt.Println(time.Now());return nil })
//实例化工作池
p := pool.NewPool(3)
//这里启用另外一个 goroutine 向 worker 当中写入,不然会出现 all goroutines are asleep,需要从管道中获得一个数据,而这个数据必须是其他 goroutine 线放入管道的
go func() {
for {
p.Worker <- w //把需要运行的函数依次放入工作池。
}
}()
p.Run()
一般情况下,goroutine 在操作系统上只要你的硬件资源够它是可以无限启动的。但是如果出现大规模的启动 goroutine 的情况会造成大量占用系统资源,我们知道普通的部署一个 golang 应用的时候操作系统不仅仅会运行 golang 程序还有其他辅助的程序运行,所以理论上讲工作池的目的就是为了限制 golang 的启动数量,保证不会出现硬件计算资源溢出的情况。
理论上来讲,我们其实不需要在 golang 层面设置工作池的。如果是网络请求大部分时候我们会使用 nginx 或者其他网关,中间件作为 golang 程序的代理,我们可以在请求访问流量进入到 golang 程序之前使用 nginx 或者其他中间件限制流量或者使用熔断机制来保证我们的 golang 程序不会开满 goroutine 造成硬件计算资源溢出的情况。 如果流量小完全没必要限制 goroutine 如果流量大没有熔断机制对整个服务都是很危险的。
我在编写自己的工作池之前使用了很多其他的工作池,我发现工作池本身并不会提升执行效率,反而会拖慢效率,使用工作池程序执行时间大概是原来的 2/3,但是有一些 pool 会在一定程度上节省内存,比如 ants,但内存的节省我觉得更多的是在于数据结构的复用,没有大量的重复创建数据对象导致的内存节省。
根据我在网上可以搜索到的资料,以及我自己的理解,golang 本身是有一个 pool 用来复用 goroutine 的,所以我们并不需要自己再去实现一个多路复用的功能,反而会拖慢程序。
以上论调并没有严谨的验证过,只是个人遇到的情况分享,希望和大家共同讨论学习,共同进步。希望以上有说的或者表述不对,以及代码有写的需要纠正的地方可以收到大家的反馈。虚心向大家求学。 https://github.com/ppmoon/pool 欢迎 star 共同学习交流
1
specita 2018-07-11 16:12:56 +08:00
学习了,感觉多数场景不需要协程池
|
2
hjc4869 2018-07-11 16:18:57 +08:00
goroutine 其实本身就是个 threadpool 一样的东西……
|