0

0

如何使用Golang实现多文件下载器_并发下载和进度显示

P粉602998670

P粉602998670

发布时间:2025-12-22 17:06:35

|

681人浏览过

|

来源于php中文网

原创

Go语言可用goroutine+channel实现并发下载,通过http.Client设超时、限流控制并发数、ProgressWriter实时更新进度、Downloader封装任务管理,并支持断点续传、自动建目录、SHA256校验及termenv/pb/v3美化终端输出。

如何使用golang实现多文件下载器_并发下载和进度显示

并发下载多个文件

Go 语言原生支持并发,用 goroutine + channel 即可轻松实现多文件并行下载。核心思路是:为每个文件启动一个 goroutine 执行 HTTP GET 请求,把下载结果(成功/失败、文件名、耗时等)通过 channel 汇总到主 goroutine。

关键点:

  • 使用 http.Client 并设置合理的超时(如 Timeout: 30 * time.Second),避免单个卡死拖垮整体
  • 限制并发数(例如最多 5 个同时下载),避免打爆目标服务器或本地资源,可用带缓冲的 channel 或 semaphore 模拟信号量
  • 每个 goroutine 独立处理自己的响应体(resp.Body),记得调用 defer resp.Body.Close()

边下载边实时显示进度

HTTP 响应头中通常包含 Content-Length,可据此预估总大小;配合读取响应体时的累计字节数,就能算出当前进度百分比。Go 中推荐用 io.Copy 配合自定义的 io.Writer(实现 Write 方法),在每次写入时更新计数器并触发进度回调。

简单做法示例:

立即学习go语言免费学习笔记(深入)”;

  • 定义结构体 ProgressWriter{Total int64, Written int64, OnProgress func(int64, int64)}
  • 重写 Write(p []byte) (n int, err error),累加 Written += int64(len(p)),再调用 OnProgress(Written, Total)
  • 下载时: io.Copy(progressWriter, resp.Body)

终端显示可用 \r 回车不换行刷新同一行,例如:fmt.Printf("\r%s: %d/%d (%.1f%%)", filename, written, total, float64(written)*100/float64(total))

情感家园企业站5.0 多语言多风格版
情感家园企业站5.0 多语言多风格版

一套面向小企业用户的企业网站程序!功能简单,操作简单。实现了小企业网站的很多实用的功能,如文章新闻模块、图片展示、产品列表以及小型的下载功能,还同时增加了邮件订阅等相应模块。公告,友情链接等这些通用功能本程序也同样都集成了!同时本程序引入了模块功能,只要在系统默认模板上创建模块,可以在任何一个语言环境(或任意风格)的适当位置进行使用!

下载

整合下载任务与状态管理

建议封装一个 Downloader 类型,持有并发控制、任务队列、进度汇总等逻辑。每个下载任务用结构体表示,含 URL、保存路径、是否完成、错误信息等字段。

常用增强项:

  • 支持断点续传:检查本地文件是否存在且长度匹配 Content-Length,若匹配则跳过;否则用 Range 请求头继续下载(需服务端支持)
  • 自动创建目录:用 os.MkdirAll(filepath.Dir(dest), 0755) 确保路径存在
  • 统一错误处理:网络错误、磁盘满、权限不足等分类记录,不影响其他任务
  • 下载完成后校验 SHA256(如果服务端提供 ETag 或额外提供 checksum)

终端界面友好提示

纯命令行下,可用 github.com/muesli/termenvgithub.com/cheggaaa/pb/v3 实现带颜色、动态进度条的输出。后者更轻量,支持多任务并行条形图:

  • 初始化 pb.Full.Start(),每任务创建一个 pb.ProgressBar,设置 TotalSetUnits(pb.U_BYTES)
  • progressBar.NewProxyReader(resp.Body) 作为 io.Reader 传给 io.Copy
  • 所有进度条会自动对齐刷新,视觉清晰

无需 GUI,也能做出专业级的命令行下载体验。

相关专题

更多
golang如何定义变量
golang如何定义变量

golang定义变量的方法:1、声明变量并赋予初始值“var age int =值”;2、声明变量但不赋初始值“var age int”;3、使用短变量声明“age :=值”等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

179

2024.02.23

golang有哪些数据转换方法
golang有哪些数据转换方法

golang数据转换方法:1、类型转换操作符;2、类型断言;3、字符串和数字之间的转换;4、JSON序列化和反序列化;5、使用标准库进行数据转换;6、使用第三方库进行数据转换;7、自定义数据转换函数。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

227

2024.02.23

golang常用库有哪些
golang常用库有哪些

golang常用库有:1、标准库;2、字符串处理库;3、网络库;4、加密库;5、压缩库;6、xml和json解析库;7、日期和时间库;8、数据库操作库;9、文件操作库;10、图像处理库。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

340

2024.02.23

golang和python的区别是什么
golang和python的区别是什么

golang和python的区别是:1、golang是一种编译型语言,而python是一种解释型语言;2、golang天生支持并发编程,而python对并发与并行的支持相对较弱等等。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

209

2024.03.05

golang是免费的吗
golang是免费的吗

golang是免费的。golang是google开发的一种静态强类型、编译型、并发型,并具有垃圾回收功能的开源编程语言,采用bsd开源协议。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

392

2024.05.21

golang结构体相关大全
golang结构体相关大全

本专题整合了golang结构体相关大全,想了解更多内容,请阅读专题下面的文章。

197

2025.06.09

golang相关判断方法
golang相关判断方法

本专题整合了golang相关判断方法,想了解更详细的相关内容,请阅读下面的文章。

191

2025.06.10

golang数组使用方法
golang数组使用方法

本专题整合了golang数组用法,想了解更多的相关内容,请阅读专题下面的文章。

192

2025.06.17

PS使用蒙版相关教程
PS使用蒙版相关教程

本专题整合了ps使用蒙版相关教程,阅读专题下面的文章了解更多详细内容。

23

2026.01.19

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
Git 教程
Git 教程

共21课时 | 2.8万人学习

Git版本控制工具
Git版本控制工具

共8课时 | 1.5万人学习

Git中文开发手册
Git中文开发手册

共0课时 | 0人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号