复用 http.client 可避免端口耗尽、dns 失效和 tls 重复开销；应显式构造共享 client 并配置 maxidleconns（100～500）、maxidleconnsperhost（≥host 数）、idleconntimeout（30s）。
为什么 http.Client 要复用而不是每次新建
并发下载时如果每个 goroutine 都新建 http.Client，会快速耗尽本地端口（TIME_WAIT 占满）、DNS 缓存失效、TLS 握手重复开销大。默认的 http.DefaultClient 已配置合理的连接池，但更稳妥的是显式构造一个共享的 http.Client，并设置 Transport 的 MaxIdleConns 和 MaxIdleConnsPerHost：
-
MaxIdleConns控制全局空闲连接总数，建议设为 100～500（取决于并发数） -
MaxIdleConnsPerHost建议至少等于预期并发下载的 host 数量，比如批量下 cdn.example.com 和 api.example.com，就至少设为 20～50 - 不设置
IdleConnTimeout容易导致连接长期空闲后被中间设备（如 NAT 网关）静默断开，建议设为 30s
如何用 sync.WaitGroup + chan 安全控制并发数
直接启动成百上千 goroutine 容易打爆内存或触发系统级限制（如文件描述符超限）。正确做法是用带缓冲的 chan struct{} 做信号量，配合 sync.WaitGroup 等待全部完成：
sem := make(chan struct{}, 10) // 最多 10 个并发
var wg sync.WaitGroup
<p>for _, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
sem <- struct{}{} // 获取令牌
defer func() { <-sem }() // 归还令牌（必须 defer，避免 panic 后漏归还）
downloadFile(u)
}(url)
}</p><p>wg.Wait()
注意：不要用 runtime.GOMAXPROCS 来“加速”下载 —— I/O 密集型任务不靠更多 P，靠连接复用和合理并发度。
io.Copy 比 io.ReadAll 更适合大文件下载
用 io.ReadAll(resp.Body) 会把整个响应体读进内存，下载 1GB 文件就占 1GB 内存；而 io.Copy 是流式写入，内存占用恒定在几 KB：
系统功能介绍 1 包含企业网站所必备的功能：企业信息、产品管理、人才招聘、新闻资讯、企业图片、以及视频下载等模块2 由于是从CMS系统的基础上开发而成，因此相对于一些其他的企业网站管理系统，本系统具备更强的可扩展能力，可以胜任从小型工作室到大中型企业网上门户等各种不同规模网站的需求。3 后台管理与模板完全分离，并具备非常灵活的标签技术，可以实现无限制个性化的界面定制4 操作简单，利用已经制作好的模
立即学习“go语言免费学习笔记（深入）”；
out, err := os.Create(filename)
if err != nil {
return err
}
defer out.Close()
<p>_, err = io.Copy(out, resp.Body) // 直接流式写入磁盘
resp.Body.Close() // 必须显式 close，否则连接无法复用
- 如果需要校验（如 SHA256），用
io.TeeReader边读边算，避免二次读取 - 务必检查
io.Copy返回的 error，网络中断时它会返回net.ErrClosed或io.ErrUnexpectedEOF - 不要忽略
resp.Body.Close()—— 不关会导致连接永远滞留在 idle 状态，最终耗尽MaxIdleConns
重试逻辑该加在哪里、怎么加才不放大失败
HTTP 层重试不能无脑套在 http.Get 外面，否则可能重复提交 POST 请求。下载场景只对幂等的 GET 请求做重试，且需限制次数与退避：
- 用
backoff.Retry（来自github.com/cenkalti/backoff/v4）比手写time.Sleep更可靠 - 只重试特定错误：
net.ErrTimeout、net.ErrTemporary、http.ErrUseLastResponse，不重试 404、403 等客户端错误 - 单个 URL 最多重试 3 次，指数退避起始 100ms，上限 2s
- 重试时要新建
*http.Request，不能复用旧 request（header 可能含过期 auth token）
真正难处理的是部分下载（如服务端突然断连），这时得结合 Range header 和本地文件 Seek 续传 —— 这块逻辑容易出竞态，建议用现成库如 github.com/elliotchance/pie 或自己加文件锁。
