通过信号量控制并发数避免资源耗尽；2. 复用HTTP客户端减少连接开销；3. 使用Context实现超时与取消；4. 通过channel安全收集结果。
在高并发场景下，Golang 凭借其轻量级的 Goroutine 和高效的调度机制，成为处理大量网络请求的理想选择。但若使用不当，仍可能出现资源耗尽、响应延迟或性能瓶颈。本文结合实际经验，介绍 Golang 中并发网络请求的常见处理方式与关键优化策略。
控制并发数量，避免资源失控
无限制地启动 Goroutine 是最常见的性能陷阱。比如批量抓取 1000 个 URL 时，直接为每个请求起一个 Goroutine，可能导致系统打开过多 TCP 连接，耗尽文件描述符或触发目标服务限流。
合理做法是通过带缓冲的 channel 或 semaphore 控制并发数：
func fetchWithLimit(urls []string, maxConcurrency int) {
sem := make(chan struct{}, maxConcurrency)
var wg sync.WaitGroup
for _, url := range urls {
wg.Add(1)
go func(u string) {
defer wg.Done()
sem <- struct{}{} // 获取信号量
defer func() { <-sem }() // 释放信号量
resp, err := http.Get(u)
if err != nil {
log.Printf("Error fetching %s: %v", u, err)
return
}
defer resp.Body.Close()
// 处理响应
}(url)
}
wg.Wait()}
立即学习“go语言免费学习笔记（深入）”；
复用 HTTP 客户端，减少连接开销
默认的 http.DefaultClient 每次请求都可能创建新连接，频繁建连不仅耗时，还容易打满 TIME_WAIT 状态。应复用自定义的 Client 和 Transport，开启长连接。
关键配置如下：
- 启用 Keep-Alive：减少 TCP 握手次数
- 设置合理的最大空闲连接数和超时时间
- 绑定有限的连接池，防止资源无限增长
client := &http.Client{
Transport: &http.Transport{
MaxIdleConns: 100,
MaxIdleConnsPerHost: 10,
IdleConnTimeout: 90 * time.Second,
DisableCompression: true,
},
Timeout: 10 * time.Second,
}
将该 client 全局复用，能显著降低平均请求延迟。
TeemIp是一个免费、开源、基于WEB的IP地址管理（IPAM）工具，提供全面的IP管理功能。它允许您管理IPv4、IPv6和DNS空间：跟踪用户请求，发现和分配IP，管理您的IP计划、子网空间、区域和DNS记录，符合最佳的DDI实践。同时，TeemIp的配置管理数据库（CMDB）允许您管理您的IT库存并将您的配置项（CIs）与它们使用的IP关联起来。项目源代码位于https://github.com/TeemIP
使用 Context 控制请求生命周期
并发请求中必须通过 context.Context 实现超时控制和取消传播。否则某个请求卡住会导致整个批处理阻塞。
示例：为每个请求设置独立超时，并支持整体取消：
ctx, cancel := context.WithTimeout(context.Background(), 5*time.Second) defer cancel()req, _ := http.NewRequestWithContext(ctx, "GET", url, nil) resp, err := client.Do(req)
当 ctx 超时或被 cancel，底层请求会自动中断，释放资源。
结果收集与错误处理设计
并发执行后如何安全收集结果？建议使用带锁的 slice 或 channel 汇报结果，后者更符合 Go 的“不要通过共享内存来通信”理念。
例如使用 channel 收集响应：
resultCh := make(chan Result, len(urls))
// 在每个 goroutine 中发送结果
resultCh <- Result{URL: u, Data: data, Err: err}
// 主协程接收所有结果
for i := 0; i < len(urls); i++ {
result := <-resultCh
// 处理成功或失败
}
注意预设 buffer 大小，避免 sender 阻塞。
基本上就这些。合理控制并发、复用连接、善用 Context、规范结果处理，就能写出稳定高效的并发网络代码。不复杂但容易忽略细节。
