使用Golang的goroutine和channel可高效实现生产者消费者模型;2. 定义Task结构体并通过缓冲channel传递任务;3. 启动多个消费者协程从channel接收并处理任务,实现解耦与并发。

生产者消费者模型是并发编程中的经典问题,用于解决数据生成与处理速度不匹配的场景。在 Golang 中,通过 goroutine 和 channel 可以非常简洁高效地实现这一模型。下面介绍一种实用且易于扩展的实现方式。
使用 Channel 构建基本模型
Go 的 channel 天然适合解耦生产者和消费者。生产者将任务发送到 channel,消费者从 channel 接收并处理。
定义一个任务结构体,便于传递不同类型的数据:
type Task struct {
ID int
Data string
}
创建缓冲 channel 作为任务队列:
立即学习“go语言免费学习笔记(深入)”;
tasks := make(chan Task, 100)
启动多个消费者监听该 channel:
for i := 0; i < 3; i++ {
go func(workerID int) {
for task := range tasks {
fmt.Printf("Worker %d processing task %d: %s\n", workerID, task.ID, task.Data)
time.Sleep(time.Second) // 模拟处理耗时
}
}(i)
}
生产者向 channel 发送任务:
for i := 0; i < 5; i++ {
tasks <- Task{ID: i, Data: fmt.Sprintf("data-%d", i)}
}
close(tasks) // 所有任务发送完成后关闭 channel
控制并发与优雅退出
实际应用中,需要控制消费者数量,并确保程序能正确退出。可以使用 sync.WaitGroup 等待所有消费者完成。
var wg sync.WaitGroup// 启动消费者 for i := 0; i < 3; i++ { wg.Add(1) go func(workerID int) { defer wg.Done() for task := range tasks { fmt.Printf("Worker %d handling task %d\n", workerID, task.ID) time.Sleep(500 * time.Millisecond) } }(i) }
// 生产者 for i := 0; i < 10; i++ { tasks <- Task{ID: i, Data: fmt.Sprintf("payload-%d", i)} } close(tasks)
// 等待所有消费者结束 wg.Wait()
加入错误处理与超时机制
增强健壮性,可为每个任务添加结果反馈通道,或使用 context 控制执行时间。
例如,使用 context.WithTimeout 防止任务卡死:
go func() {
ctx, cancel := context.WithTimeout(context.Background(), 2*time.Second)
defer cancel()
select {
case tasks <- Task{ID: 99, Data: "urgent"}:
fmt.Println("Urgent task sent")
case <-ctx.Done():
fmt.Println("Failed to send urgent task:", ctx.Err())
}}()
实际应用场景建议
- 批量处理日志:生产者读取日志行,消费者上传或分析
- 爬虫任务调度:生产者生成 URL,消费者抓取页面
- 异步任务队列:替代简单版的后台作业系统
注意根据负载调整 channel 缓冲大小和消费者数量,避免内存溢出或资源浪费。
基本上就这些。Golang 的并发模型让生产者消费者实现变得直观又可靠,关键是合理利用 channel 和 context 配合控制流程。不复杂但容易忽略的是关闭 channel 的时机和等待所有 goroutine 结束的同步逻辑。










