点击上方蓝字关注我们!
背景
系统开发部分需求涉及到了多任务执行,而多任务执行过程中需要处理并发问题,都知道Golang本身是支持高并发的,其实很多语言都支持并发,像Java也可以创建多个线程(Thread),但是为什么要强调Golang支持高并发呢?那是因为Golang并发执行100w个协程。(coroutine)也不会觉得特别吃力,但是Java并发执行1w个线程(Thread)其性能下降就显而易见了,因此支持高并发也是Golang的特性之一。
Golang的并发是通过协程来实现支持的,Go中main函数入口本身是一个主协程,如果我们没有创建子协程,那么这种程序执行模式就是串行(即一件事情做完再做另外一件事)
可想而知这种模式效率低下,所以多用户量的网站使用这种网络请求模式不可取。并行的话(同一时间多个任务同时执行),这种模式不太现实,因为没有那么多核的CPU。那就只剩下并发模式了(同一时间段内多个任务交替间隔执行),Golang每个协程执行的都是一个函数。
Golang使用协程处理并发任务效率比较高,但是我们在实际的开发过程中真的给每个任务都新开一个子协程吗?启动子协程越多占用的系统资源越多,那么程序的执行效率反而会受到影响,因此需要使用协程池来限制协程的启动数量。
实现方案
协程池的实现是有入口队列entryChannel和任务队列jobChannel以及具体做任务的协程worker组成,画图如下:
package main
import (
"fmt"
"time"
)
//golang协程池 使用
/* 有关Task任务相关定义及操作 */
//定义任务Task类型,每一个任务Task都可以抽象成一个函数
type Task struct {
fu func() error //一个无参的函数类型
}
//通过NewTask来创建一个Task
func NewTask(f func() error) *Task {
t := Task{
fu: f,
}
return &t
}
//执行Task任务的方法
func (t *Task) Execute() {
_ = t.fu() //调用任务所绑定的函数
}
/* 有关协程池的定义及操作 */
//定义池类型
type Pool struct {
//对外接收Task的入口
EntryChannel chan *Task
//协程池最大worker数量,限定Goroutine的个数
worker_num int
//协程池内部的任务就绪队列
JobsChannel chan *Task
}
//创建一个协程池
func NewPool(cap int) *Pool {
p := Pool{
EntryChannel: make(chan *Task),
worker_num: cap,
JobsChannel: make(chan *Task),
}
return &p
}
//协程池创建一个worker并且开始工作
func (p *Pool) worker(work_ID int) {
//worker不断的从JobsChannel内部任务队列中拿任务
for task := range p.JobsChannel {
//如果拿到任务,则执行task任务
task.Execute()
fmt.Println("worker ID ", work_ID, " 执行完毕任务")
}
}
//让协程池Pool开始工作
func (p *Pool) Run() {
//1,首先根据协程池的worker数量限定,开启固定数量的Worker,
// 每一个Worker用一个Goroutine承载
for i := 0; i < p.worker_num; i++ {
go p.worker(i)
}
//2, 从EntryChannel协程池入口取外界传递过来的任务
// 并且将任务送进JobsChannel中
for task := range p.EntryChannel {
p.JobsChannel <- task
}
//3, 执行完毕需要关闭JobsChannel
close(p.JobsChannel)
//4, 执行完毕需要关闭EntryChannel
close(p.EntryChannel)
}
//主函数
func main() {
//创建一个Task
t := NewTask(func() error {
fmt.Println(time.Now())
return nil
})
//创建一个协程池,最大开启3个协程worker
p := NewPool(3)
//开一个协程 不断的向 Pool 输送打印一条时间的task任务
go func() {
for {
p.EntryChannel <- t
}
}()
//启动协程池p
p.Run()
}
测试效果
总结
理论上资源够可以开很多很多协程, main就是一个主协程,其他协程,无论是协程里面又开启的协程,其实理论上都从属于main主协程。协程的通讯和控制就依赖于channel通道和context包,而协程的代码一定注意不要有死循环或者无限制等待的阻塞任务,不然除非main退出,子协程是无法退出的,他不像进程这样,你还可以通过kill等命令强制结束,context的控制逻辑其实也是要代码执行到判断逻辑主动退出的,如果之前就阻塞或者死循环,那就无法退出了。当然就像上面可以自己控制实现一个协程池来管控一下。