Golang抓取网页核心是http.Get+io.ReadAll，需错误处理、resp.Body.Close()防泄漏、检查StatusCode；可设User-Agent绕反爬；用golang.org/x/net/html解析HTML；建议加超时与重试。
用 Golang 抓取网页内容，核心是 http.Get 发起请求 + io.ReadAll 读取响应体，再配合错误处理和基础 HTML 解析即可完成简单爬取。不需要额外框架，标准库足够起步。
基础 HTTP 请求与响应读取
最简方式就是调用 http.Get，检查状态码和错误，然后读取 Response.Body：
- 务必调用
resp.Body.Close()防止连接泄漏 - 建议检查
resp.StatusCode == 200，避免静默拿到 404/500 响应 - 用
io.ReadAll（Go 1.16+）或io.Copy+bytes.Buffer读取全部内容
示例代码：
resp, err := http.Get("https://example.com")
if err != nil {
log.Fatal(err)
}
defer resp.Body.Close()
if resp.StatusCode != 200 {
log.Fatalf("HTTP %d", resp.StatusCode)
}
body, err := io.ReadAll(resp.Body)
if err != nil {
log.Fatal(err)
}
fmt.Println(string(body))
设置请求头模拟浏览器访问
很多网站会拒绝默认的 Go User-Agent，加个 User-Agent 头能绕过基础反爬：
立即学习“go语言免费学习笔记（深入）”；
- 使用
http.NewRequest构造请求，再设置Header.Set - 常见 UA 可设为
"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36" - 必要时还可加
Accept、Accept-Language等字段
示例：
req, _ := http.NewRequest("GET", "https://example.com", nil)
req.Header.Set("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36")
client := &http.Client{}
resp, err := client.Do(req)
// 后续同上：检查状态码、读 body、关闭...
解析 HTML 提取文本或链接
抓到 HTML 字符串后，可用 golang.org/x/net/html 包做轻量解析：
- 用
html.Parse构建节点树，或用html.NewTokenizer流式解析（更省内存） - 常用目标：提取所有
链接，或某个文本 - 注意处理字符编码（如网页是 GBK，需先转 UTF-8；多数现代网页是 UTF-8，可跳过）
简单提取所有链接示例：
doc, err := html.Parse(strings.NewReader(string(body)))
if err != nil {
log.Fatal(err)
}
var f func(*html.Node)
f = func(n *html.Node) {
if n.Type == html.ElementNode && n.Data == "a" {
for _, attr := range n.Attr {
if attr.Key == "href" {
fmt.Println(attr.Val)
}
}
}
for c := n.FirstChild; c != nil; c = c.NextSibling {
f(c)
}
}
f(doc)
添加超时与重试机制（进阶建议）
真实场景中，网络不稳定或目标响应慢，需主动控制：
- 用
http.Client{Timeout: 10 * time.Second}防止卡死 - 简单重试可封装函数，失败后 sleep 再试 1–2 次（避免高频触发风控）
- 如需 Cookie 管理、代理、并发控制，可考虑
colly或goquery等成熟库，但标准库已覆盖 80% 简单需求
基本上就这些。Golang 抓网页不复杂但容易忽略错误处理和资源释放，写几行就能跑通，稳住这三点就立得住。
