Go异步任务队列可用channel+goroutine实现:定义含ID、函数、参数、超时的Task结构体,用带缓冲channel作队列,启动固定worker goroutine池并发执行并recover防panic。

用 Go 实现异步任务队列,核心在于解耦任务生产与执行、保障可靠投递、支持并发处理,同时避免过度依赖外部中间件。不一定要上 Redis 或 RabbitMQ,轻量级场景下纯 Go 就能做得干净高效。
用 channel + goroutine 搭建基础任务队列
适合低并发、内存可控、无需持久化的内部任务(如日志归档、通知触发)。关键点是控制 goroutine 数量,防止资源耗尽。
- 定义任务结构体,含唯一 ID、执行函数、参数、超时等字段
- 用带缓冲的 channel 作为任务队列(例如
chan Task),缓冲大小设为合理上限(如 1000) - 启动固定数量 worker goroutine,每个循环从 channel 取任务并执行;建议加 recover 防止单个 panic 停掉整个 worker
- 生产者调用
queue 即可,非阻塞或配合 select + default 做背压处理
加入任务状态追踪与重试机制
纯 channel 无法记录执行结果或失败重试。需引入内存状态管理(如 sync.Map)或简单持久化(如 SQLite、BoltDB)。
- 任务入队时生成 UUID,存入 map[taskID]status,初始状态为 “queued”
- worker 执行前更新为 “running”,成功后设为 “success”,panic 或 error 则设为 “failed” 并触发重试逻辑(如延迟 1s 后重新入队,最多 3 次)
- 提供 HTTP 接口(如
GET /task/:id)供外部查询状态,返回 JSON 包含 status、result、error、created_at 等字段
对接 Redis 实现分布式与持久化
当服务多实例部署、需任务不丢失、或任务量大时,用 Redis 的 List(LPUSH/BRPOP)或 Streams(XADD/XREAD)更稳妥。
立即学习“go语言免费学习笔记(深入)”;
- 用 github.com/go-redis/redis/v9,任务序列化为 JSON 存入 Redis List,worker 使用 BRPOP 阻塞读取,避免轮询浪费 CPU
- 执行成功后调用 DEL 或设置过期时间清理元数据;失败任务可推入 “retry:xxx” 队列,配合定时器或单独 retry worker 处理
- 用 Redis 锁(SET key val NX EX 30)保障同一任务不被多个 worker 重复消费,尤其在幂等性难保证时很关键
用第三方库快速落地:Asynq 或 Machinery
业务上线时间紧、需监控告警、任务调度、Web UI 时,直接集成成熟方案更省心。
-
Asynq(github.com/hibiken/asynq):纯 Go,基于 Redis,自带 Web 控制台(/asynq)、优先级队列、周期任务(Cron)、失败自动归档,API 简洁:
client.Enqueue(task)即可 - Machinery(github.com/RichardKnop/machinery):支持多种 broker(AMQP、Redis、GCPPubSub),适合已有消息系统的企业环境,但配置稍重
- 两者都提供中间件机制,方便插入日志、链路追踪、限流等逻辑,无需自己从零封装
不复杂但容易忽略:无论自研还是用库,务必为任务函数设计幂等性,比如通过业务单号去重、或先查 DB 状态再执行;否则重试可能引发重复扣款、重复发邮件等问题。










