Golang如何实现并发文件下载_Golang并发文件下载与控制方法-Golang-PHP中文网

Golang如何实现并发文件下载_Golang并发文件下载与控制方法

P粉602998670

发布： 2025-12-01 03:59:18

原创

119人浏览过

使用goroutine与channel控制并发数，结合context超时取消和重试机制，可高效稳定地实现Go语言中的批量文件下载。

golang如何实现并发文件下载_golang并发文件下载与控制方法

在Go语言中实现并发文件下载，关键在于利用goroutine的轻量特性与net/http包配合，同时合理控制并发数量，避免系统资源耗尽或目标服务器压力过大。通过信号量、channel或第三方库，可以高效管理多个下载任务。

使用Goroutine与WaitGroup实现基础并发

每个文件下载任务启动一个goroutine，主协程通过sync.WaitGroup等待所有任务完成。

示例代码：

func downloadFile(url, filename string) error {
    resp, err := http.Get(url)
    if err != nil {
        return err
    }
    defer resp.Body.Close()
<pre class='brush:php;toolbar:false;'>file, err := os.Create(filename)
if err != nil {
    return err
}
defer file.Close()

_, err = io.Copy(file, resp.Body)
return err

登录后复制

}

Delphi 7应用编程150例全书内容 CHM版

Delphi 7应用编程150例 CHM全书内容下载，全书主要通过150个实例，全面、深入地介绍了用Delphi 7开发应用程序的常用方法和技巧，主要讲解了用Delphi 7进行界面效果处理、图像处理、图形与多媒体开发、系统功能控制、文件处理、网络与数据库开发，以及组件应用等内容。这些实例简单实用、典型性强、功能突出，很多实例使用的技术稍加扩展可以解决同类问题。使用本书最好的方法是通过学习掌握实例中的技术或技巧，然后使用这些技术尝试实现更复杂的功能并应用到更多方面。本书主要针对具有一定Delphi基础知识

查看详情

立即学习“go语言免费学习笔记（深入）”；

func main() { urls := []string{ "https://www.php.cn/link/28a32c20769baa8373833005b125864b", "https://www.php.cn/link/11cc47e70933d4d928498869e747950a", // 更多URL }

var wg sync.WaitGroup
for _, url := range urls {
    wg.Add(1)
    go func(u string) {
        defer wg.Done()
        filename := filepath.Base(u)
        downloadFile(u, filename)
    }(url)
}
wg.Wait()

登录后复制

}

立即学习“go语言免费学习笔记（深入）”；

这种方式简单直接，但若URL过多，会创建大量goroutine，可能引发内存或连接问题。

使用带缓冲的Channel控制并发数

通过容量固定的channel作为信号量，限制同时运行的goroutine数量。

做法是创建一个大小为N的channel，在每个goroutine开始前发送一个值到channel（占位），结束后再取出，从而实现最大N个并发下载。

func main() {
    urls := [...]string{ /* 文件链接 */ }
    concurrency := 5
    sem := make(chan struct{}, concurrency)
<pre class='brush:php;toolbar:false;'>var wg sync.WaitGroup
for _, url := range urls {
    wg.Add(1)
    go func(u string) {
        defer wg.Done()
        sem <- struct{}{} // 获取令牌
        defer func() { <-sem }() // 释放令牌

        filename := filepath.Base(u)
        downloadFile(u, filename)
    }(url)
}
wg.Wait()

登录后复制

}

立即学习“go语言免费学习笔记（深入）”；

这种模式既能发挥并发优势，又能防止资源滥用，适合生产环境。

结合Context实现超时与取消控制

真实场景中，部分文件可能响应慢或中断。使用context可统一设置超时时间或外部取消信号。

修改http.Get调用方式：

ctx, cancel := context.WithTimeout(context.Background(), 30*time.Second)
defer cancel()
<p>req, _ := http.NewRequestWithContext(ctx, "GET", url, nil)
resp, err := http.DefaultClient.Do(req)</p>

登录后复制

当任意下载任务超时，该请求会自动中断，节省等待时间。