本文介绍如何通过模拟真实浏览器的请求头、连接行为等细节，使 go 编写的 http 客户端请求不被 f5 等 web 应用防火墙（waf）或反爬机制拦截，从而成功访问那些对自动化请求敏感的目标站点。
要让 Go 的 http.Client 请求被目标网站视为“合法浏览器流量”，关键在于消除与真实浏览器请求之间的可观测差异。默认情况下，Go 的 net/http 包发送的是极简请求（如 User-Agent: Go 1.1 package http），缺少现代浏览器常见的头部字段、编码支持和连接策略，极易被 WAF（如 F5、Cloudflare、AWS WAF）基于启发式规则识别并拦截。
以下是一个增强版的 fetch_url 函数，它不仅设置常见 User-Agent，还补全了浏览器典型请求头，并启用连接复用与响应体自动解压：
func fetchURL(urlStr string, timeout time.Duration) (int, error) {
client := &http.Client{
Timeout: timeout,
Transport: &http.Transport{
// 复用 TCP 连接，模拟浏览器 Keep-Alive 行为
MaxIdleConns: 100,
MaxIdleConnsPerHost: 100,
IdleConnTimeout: 30 * time.Second,
},
}
req, err := http.NewRequest("GET", urlStr, nil)
if err != nil {
return 0, fmt.Errorf("failed to create request: %w", err)
}
// ✅ 模拟主流浏览器完整请求头（以 Chrome 120 macOS 为例）
req.Header.Set("User-Agent", "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36")
req.Header.Set("Accept", "text/html,application/xhtml+xml,application/xml;q=0.9,image/avif,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3;q=0.7")
req.Header.Set("Accept-Language", "en-US,en;q=0.9")
req.Header.Set("Accept-Encoding", "gzip, deflate")
req.Header.Set("Connection", "keep-alive")
req.Header.Set("Upgrade-Insecure-Requests", "1")
req.Header.Set("Sec-Fetch-Dest", "document")
req.Header.Set("Sec-Fetch-Mode", "navigate")
req.Header.Set("Sec-Fetch-Site", "none")
req.Header.Set("Sec-Fetch-User", "?1")
resp, err := client.Do(req)
if err != nil {
return 0, fmt.Errorf("request failed: %w", err)
}
defer resp.Body.Close() // ✅ 始终 defer 关闭，避免资源泄漏
return resp.StatusCode, nil
}⚠️ 重要注意事项： 不要硬编码固定 UA：高频请求时建议轮换多个主流浏览器 UA（Chrome、Safari、Firefox），并随机添加 minor version 变体； 验证请求头真实性：打开 Chrome DevTools → Network → 刷新目标页面 → 右键某请求 → Copy as cURL → 转为 Go 代码比对缺失字段； 禁用 HTTP/2（必要时）：某些老旧 WAF 对 HTTP/2 支持不完善，可强制使用 HTTP/1.1：Transport.ForceAttemptHTTP2 = false； 考虑 TLS 指纹：若仍被拦截，可能是 TLS Client Hello 指纹异常（Go 默认指纹与浏览器不同），此时需引入 github.com/zmap/zcrypto/tls 或 github.com/refraction-networking/utls 实现浏览器级 TLS 指纹模拟； 遵守 robots.txt 与频率限制：企业级监控应添加随机延迟（如 time.Sleep(time.Second + rand.Nanosecond%2e9)）、设置 Referer（如来自自身域名）、并尊重 Retry-After 响应头。
总结而言，绕过基础 WAF 拦截的核心是「请求可信度对齐」——即让每一个可观察维度（HTTP 头、TLS 握手、TCP 行为、请求节奏）都趋近真实用户浏览器。在绝大多数场景下，补全请求头 + 启用 keep-alive + 合理超时控制已足够应对 F5、Nginx+ModSecurity 等常见防护层。
