Golang如何实现并发HTTP请求_Golang HTTP请求并发处理方法

Go语言通过goroutine和channel实现高效并发HTTP请求，示例中使用多个goroutine并行执行fetch函数并通过channel接收结果；为避免资源耗尽，可引入sync.WaitGroup与协程池控制并发数；同时需设置超时机制，推荐使用context.WithTimeout进行请求级超时控制，确保程序健壮性。

在Go语言中，实现并发HTTP请求非常简单且高效，得益于其原生支持的goroutine和channel机制。通过合理使用这些特性，可以轻松地同时发起多个HTTP请求，提升程序性能，特别是在需要获取多个独立资源时。

使用Goroutine并发发起HTTP请求

每个HTTP请求可以在独立的goroutine中执行，从而实现并发。标准库net/http本身是线程安全的，可以直接在多个goroutine中调用。

示例代码：

package main
import (
"fmt"
"io/ioutil"
"net/http"
)
func fetch(url string, ch chan<- string) {
resp, err := http.Get(url)
if err != nil {
ch <- fmt.Sprintf("Error: %s", url)
return
}
defer resp.Body.Close()
body, _ := ioutil.ReadAll(resp.Body)
ch <- fmt.Sprintf("URL: %s, Status: %d, Body size: %d", url, resp.StatusCode, len(body))
}
func main() {
urls := []string{
"https://www.php.cn/link/5f69e19efaba426d62faeab93c308f5c",
"https://www.php.cn/link/98a733901e53052474f2320d0a3a9473",
"https://www.php.cn/link/c2148796071914983ed6b6e9dbbff735",
}
ch := make(chan string, len(urls)) // 缓冲channel避免阻塞

for _, url := range urls {
    go fetch(url, ch)
}

for range urls {
    fmt.Println(<-ch)
}
}

							

								
								

									笔灵AI答辩PPT
									
答辩PPT、千字自述稿一键生成，预测导师提问，答辩一次过！
								
								下载 
							
						
立即学习“go语言免费学习笔记（深入）”；
在这个例子中，每个fetch函数运行在一个独立的goroutine中，结果通过channel返回。主函数等待所有结果返回后打印输出。
控制并发数量：使用WaitGroup与协程池思想
如果请求量很大，直接为每个请求启动goroutine可能导致系统资源耗尽。可以通过sync.WaitGroup配合固定数量的工作协程来控制并发数。
package main
import (
"fmt"
"net/http"
"sync"
)
func worker(jobs <-chan string, results chan<- string, wg *sync.WaitGroup) {
defer wg.Done()
for url := range jobs {
resp, err := http.Get(url)
if err != nil {
results <- fmt.Sprintf("Failed: %s", url)
continue
}
results <- fmt.Sprintf("OK: %s, Status: %d", url, resp.StatusCode)
resp.Body.Close()
}
}
func main() {
urls := []string{
"https://www.php.cn/link/4d2fe2e8601f7a8018594d98f28706f2",
"https://www.php.cn/link/98a733901e53052474f2320d0a3a9473",
"https://www.php.cn/link/7ac09a39f051ff62eefbafd363b1bbb3",
"https://www.php.cn/link/dc17d9b4862d86f8054735577c04462a",
"https://www.php.cn/link/0ad3140ed0cf59e84008db87c8c1106c",
}
const numWorkers = 3
jobs := make(chan string, len(urls))
results := make(chan string, len(urls))
var wg sync.WaitGroup

// 启动工作协程
for i := 0; i < numWorkers; i++ {
    wg.Add(1)
    go worker(jobs, results, &wg)
}

// 发送任务
for _, url := range urls {
    jobs <- url
}
close(jobs)

// 等待完成并关闭结果通道
go func() {
    wg.Wait()
    close(results)
}()

// 收集结果
for result := range results {
    fmt.Println(result)
}
}
立即学习“go语言免费学习笔记（深入）”；
这种方式能有效限制同时运行的goroutine数量，避免过多网络连接带来的压力。
超时控制与错误处理
并发请求中必须设置超时，防止某个请求长时间阻塞整个流程。可以通过自定义http.Client来实现。
client := &http.Client{
    Timeout: 5 * time.Second,
}
resp, err := client.Get(url)
也可以使用context实现更灵活的超时控制：
ctx, cancel := context.WithTimeout(context.Background(), 3*time.Second)
defer cancel()
req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := http.DefaultClient.Do(req)
结合context可以在请求级别控制超时、取消等行为，更适合复杂场景。
基本上就这些。Go的并发模型让HTTP请求处理变得简洁而强大，关键是合理控制资源、处理错误，并利用channel协调数据流动。不复杂但容易忽略细节。