0

0

fastapi 如何实现大文件分片上传 + 断点续传支持

冰川箭仙

冰川箭仙

发布时间:2026-01-22 19:59:03

|

898人浏览过

|

来源于php中文网

原创

FastAPI可通过HTTP协议特性与后端状态管理实现分片上传和断点续传:1.客户端按固定大小切片并携带file_id、chunk_index等元数据上传;2.FastAPI接口接收分片并用Redis记录进度;3.通过/status接口查询已传分片以支持断点续传;4.所有分片完成后异步合并并校验清理。

fastapi 如何实现大文件分片上传 + 断点续传支持

FastAPI 本身不直接提供分片上传和断点续传能力,但可以通过标准 HTTP 协议特性(如 Content-RangeETag、自定义请求头) + 后端状态管理(如 Redis 或数据库记录上传进度)来完整实现。核心在于:客户端按固定大小切片、逐片上传、服务端校验并合并,同时记录每片是否已接收。

1. 客户端分片与上传协议设计

前端需将大文件切分为固定大小的 Blob(如 5MB/片),并为每次请求携带以下信息:

  • file_id:全局唯一标识该次上传(如 UUID),用于关联所有分片
  • chunk_index:当前分片序号(从 0 开始)
  • total_chunks:总分片数
  • filename:原始文件名(可选,用于最终合并时命名)
  • Content-Range:标准格式 bytes 0-5242879/10485760,便于服务端定位偏移

推荐使用 fetchaxios 发送 PUT 请求(比 POST 更符合幂等性语义),并设置 headers: { 'X-File-ID': 'xxx', 'X-Chunk-Index': '0' }

2. FastAPI 接口:接收单个分片

UploadFile 接收二进制流,结合 Redis 记录上传状态(推荐使用 aioredis):

示例代码(简化版):

from fastapi import FastAPI, UploadFile, File, Header, HTTPException
from redis import asyncio as aioredis
import os
<p>app = FastAPI()
redis = aioredis.from_url("redis://localhost")</p><p>@app.put("/upload/chunk")
async def upload_chunk(
file: UploadFile = File(...),
x_file_id: str = Header(...),
x_chunk_index: int = Header(...),
x_total_chunks: int = Header(...),
content_range: str = Header(...)
):</p><h1>解析 Content-Range 获取 offset 和 total_size(可选)</h1><pre class="brush:php;toolbar:false;">if not content_range.startswith("bytes "):
    raise HTTPException(400, "Missing or invalid Content-Range")

# 存储分片到临时目录(如 /tmp/uploads/{file_id}/{index})
chunk_dir = f"/tmp/uploads/{x_file_id}"
os.makedirs(chunk_dir, exist_ok=True)
chunk_path = os.path.join(chunk_dir, str(x_chunk_index))

with open(chunk_path, "wb") as f:
    while chunk := await file.read(8192):
        f.write(chunk)

# 记录该分片已接收(Redis Set 或 Hash)
await redis.sadd(f"upload:{x_file_id}:chunks", str(x_chunk_index))
await redis.hset(f"upload:{x_file_id}:meta", mapping={
    "filename": file.filename,
    "total_chunks": str(x_total_chunks),
    "size": str(file.size)
})

return {"status": "ok", "chunk": x_chunk_index}

装修公司企业网站源码2.0
装修公司企业网站源码2.0

装修公司源码,采用DIV+CSS布局,首页顶部采用了超大宽屏banner焦点图切换,带伸缩功能的导航条。首页信息展示量大,有利于SEO优化,首页版块包括,导航,焦点图切换,案例,行业动态,装修经验,装修知识。源码支持伪静态,后台开启即可,服务器必须支持rewrite功能,否则无法实现伪静态功能。信息支持二级分类。后台支持信息批量修改,删除,可以支持,视频,图片,附件上传。

下载

3. 断点续传支持:查询已上传分片

客户端在开始上传前,先调用接口获取已成功上传的分片列表,跳过重传:

@app.get("/upload/status")
async def get_upload_status(x_file_id: str = Header(...)):
    # 查询 Redis 中已接收的分片索引
    chunks = await redis.smembers(f"upload:{x_file_id}:chunks")
    meta = await redis.hgetall(f"upload:{x_file_id}:meta")
<pre class="brush:php;toolbar:false;">return {
    "uploaded_chunks": sorted([int(c) for c in chunks]),
    "total_chunks": int(meta.get(b"total_chunks", b"0")),
    "filename": meta.get(b"filename", b"").decode()
}

客户端根据返回的 uploaded_chunks 列表,只上传缺失的索引分片即可实现断点续传。

4. 合并分片 & 清理临时文件

当所有分片接收完成(len(uploaded_chunks) == total_chunks),触发合并逻辑:

  • chunk_index 顺序读取所有临时文件,拼接写入目标路径
  • 校验最终文件 MD5(可选,防止传输损坏)
  • 删除 Redis 中的上传元数据和临时分片目录
  • 返回最终文件 URL 或 ID

合并操作建议异步执行(如用 BackgroundTasks 或 Celery),避免阻塞主请求。注意加锁(如 Redis Lock)防止并发合并同一文件。

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API
Python FastAPI异步API开发_Python怎么用FastAPI构建异步API

Python FastAPI 异步开发利用 async/await 关键字,通过定义异步视图函数、使用异步数据库库 (如 databases)、异步 HTTP 客户端 (如 httpx),并结合后台任务队列(如 Celery)和异步依赖项,实现高效的 I/O 密集型 API,显著提升吞吐量和响应速度,尤其适用于处理数据库查询、网络请求等耗时操作,无需阻塞主线程。

28

2025.12.22

Python 微服务架构与 FastAPI 框架
Python 微服务架构与 FastAPI 框架

本专题系统讲解 Python 微服务架构设计与 FastAPI 框架应用,涵盖 FastAPI 的快速开发、路由与依赖注入、数据模型验证、API 文档自动生成、OAuth2 与 JWT 身份验证、异步支持、部署与扩展等。通过实际案例,帮助学习者掌握 使用 FastAPI 构建高效、可扩展的微服务应用,提高服务响应速度与系统可维护性。

251

2026.02.06

硬盘接口类型介绍
硬盘接口类型介绍

硬盘接口类型有IDE、SATA、SCSI、Fibre Channel、USB、eSATA、mSATA、PCIe等等。详细介绍:1、IDE接口是一种并行接口,主要用于连接硬盘和光驱等设备,它主要有两种类型:ATA和ATAPI,IDE接口已经逐渐被SATA接口;2、SATA接口是一种串行接口,相较于IDE接口,它具有更高的传输速度、更低的功耗和更小的体积;3、SCSI接口等等。

1925

2023.10.19

PHP接口编写教程
PHP接口编写教程

本专题整合了PHP接口编写教程,阅读专题下面的文章了解更多详细内容。

656

2025.10.17

php8.4实现接口限流的教程
php8.4实现接口限流的教程

PHP8.4本身不内置限流功能,需借助Redis(令牌桶)或Swoole(漏桶)实现;文件锁因I/O瓶颈、无跨机共享、秒级精度等缺陷不适用高并发场景。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

2392

2025.12.29

java接口相关教程
java接口相关教程

本专题整合了java接口相关内容,阅读专题下面的文章了解更多详细内容。

47

2026.01.19

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

55

2025.09.03

go语言 数组和切片
go语言 数组和切片

本专题整合了go语言数组和切片的区别与含义,阅读专题下面的文章了解更多详细内容。

55

2025.09.03

C# ASP.NET Core微服务架构与API网关实践
C# ASP.NET Core微服务架构与API网关实践

本专题围绕 C# 在现代后端架构中的微服务实践展开,系统讲解基于 ASP.NET Core 构建可扩展服务体系的核心方法。内容涵盖服务拆分策略、RESTful API 设计、服务间通信、API 网关统一入口管理以及服务治理机制。通过真实项目案例,帮助开发者掌握构建高可用微服务系统的关键技术,提高系统的可扩展性与维护效率。

76

2026.03.11

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
进程与SOCKET
进程与SOCKET

共6课时 | 0.4万人学习

Redis+MySQL数据库面试教程
Redis+MySQL数据库面试教程

共72课时 | 7.1万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号