HttpCompletionOption.ResponseHeadersRead让HttpClient在收到响应头后立即返回Task,避免缓冲完整响应体导致内存溢出;高并发下载时必须使用它,并配合Stream.CopyToAsync流式处理、合理设置MaxConnectionsPerServer和CancellationToken。

HttpCompletionOption.ResponseHeadersRead 是什么,为什么高并发下载时必须用它
它告诉 HttpClient 在收到响应头后就立即返回 Task,而不是等整个响应体(比如几百 MB 的文件)全部下载完才返回。高并发场景下,如果不用这个选项,每个请求都会在内存中缓冲完整响应体,极易触发 OutOfMemoryException 或严重拖慢吞吐量。
- 默认行为是
HttpCompletionOption.ResponseContentRead,适合小响应(如 JSON API),不适合大文件流式处理 - 启用
ResponseHeadersRead后,你必须手动调用response.Content.ReadAsStreamAsync()获取流,并自行控制读取节奏 - 它不改变连接复用、超时或重试逻辑,只影响“何时算请求完成”
如何配合 Stream.CopyToAsync 实现无内存堆积的并发下载
拿到响应流后,不能直接 await response.Content.ReadAsByteArrayAsync()——这又会把整个文件加载进内存。必须用流式复制,且显式控制并发数,避免打爆目标服务器或本地 socket 限制。
var client = new HttpClient();
// 注意:务必设置 Timeout 和 MaxConnectionsPerServer
client.Timeout = TimeSpan.FromMinutes(10);
var handler = client.Handler as HttpClientHandler;
if (handler != null) handler.MaxConnectionsPerServer = 100;
var downloadTasks = urls.Select(async url =>
{
var response = await client.GetAsync(url, HttpCompletionOption.ResponseHeadersRead);
response.EnsureSuccessStatusCode();
using var stream = await response.Content.ReadAsStreamAsync();
using var file = File.Create($"./downloads/{Path.GetFileName(url)}");
await stream.CopyToAsync(file); // 内部按 81920 字节块分批读写,不占大内存
});
-
CopyToAsync默认 buffer size 是 81920,已足够高效;不必手动Read/Write循环 - 务必对
HttpClient设置MaxConnectionsPerServer,否则 .NET 默认仅 2 个连接,高并发会排队阻塞 - 不要为每个下载新建
HttpClient,复用实例并配置好生命周期
常见错误:忘了 Dispose HttpResponseMessage 或流未关闭导致句柄泄漏
使用 ResponseHeadersRead 后,HttpResponseMessage 不再自动管理底层连接——如果你没读完流或提前丢弃了 response,连接可能卡在 CLOSE_WAIT 状态,最终耗尽可用 socket。
jQuery自动滚动五屏图片通栏代码,带左右按钮切换图片,鼠标移到图片后图片高亮显示,点击会显示带阴影的大图。兼容主流浏览器,php中文网推荐下载! 使用方法: 1、head区域引用文件lrtk.css及js库 2、在文件中加入区域代码 3、复制images文件夹里的图片到相应的路径
- 必须确保
response.Content.ReadAsStreamAsync()被调用,哪怕只读前几个字节;否则连接不会释放 - 即使下载失败(如网络中断),也要在
catch块中调用response?.Dispose() - 不要在
using var response = ...里只检查状态码就return,那会跳过流读取和 dispose - 推荐结构:
try { stream = await response.Content.ReadAsStreamAsync(); ... } finally { response?.Dispose(); }
性能关键点:Buffer size、同步 I/O 与 CancellationToken 传递
CopyToAsync 支持自定义 buffer size 和 CancellationToken,这两项在高并发长下载中直接影响稳定性与响应性。
await stream.CopyToAsync(file, bufferSize: 65536, cancellationToken);
- bufferSize 设为 64KB–128KB 通常比默认值更适应千兆网卡和 SSD 写入节奏
- 务必把外部
CancellationToken传给CopyToAsync,否则取消请求时可能还在写磁盘,无法及时退出 - 避免在
FileStream构造时用FileOptions.Asynchronous——.NET 6+ 的CopyToAsync已默认异步,重复设置反而可能降低性能 - 注意:Windows 上
FileOptions.WriteThrough会强制刷盘,大幅降低写速,仅调试时用
真正容易被忽略的是连接池耗尽和流未读完之间的隐式耦合——只要有一个请求没走到 ReadAsStreamAsync(),它就在后台悄悄占用一个连接,而你从监控里几乎看不到异常日志。









