0

0

大XML文件上传方案 如何实现分片上传和断点续传

幻夢星雲

幻夢星雲

发布时间:2026-03-09 09:44:02

|

614人浏览过

|

来源于php中文网

原创

大xml文件需分片上传而非一次性发送,因浏览器内存限制和服务器超时易致失败;须按字节偏移切片、携带uploadid与chunkindex、服务端校验md5并智能对齐标签边界以确保xml可解析。

大xml文件上传方案 如何实现分片上传和断点续传

大XML文件上传为什么不能直接用 fetchaxios 一次性发

因为浏览器内存限制和服务器超时策略,直接读取几百MB的XML并转成 BlobArrayBuffer 容易触发 RangeError: Array buffer allocation failed,或在上传中途因网络抖动、页面刷新导致整个失败,重传成本极高。

必须把文件切片、独立上传、服务端拼接。关键不是“怎么切”,而是“怎么保证切片不丢、顺序不错、失败可重试”。

  • 前端需按字节偏移切分,而非按行或标签——XML没有天然分界,split(/]+>/) 会破坏结构
  • 每个分片必须携带唯一 uploadId(全局会话ID)和 chunkIndex(从0开始)
  • 服务端返回的响应里必须含 uploadedChunks: [0,2,4] 这类已成功列表,前端据此跳过重传

File.slice() 切片 + FormData 上传的实际写法

不要用 file.text()new FileReader().readAsText() 全量加载XML——这一步就会卡死。直接用原生 File 对象的 slice() 方法,它返回的是轻量 Blob,不触发解析。

const chunkSize = 5 * 1024 * 1024; // 5MB
const uploadId = 'up_' + Date.now() + '_' + Math.random().toString(36).substr(2, 9);
<p>for (let i = 0; i < Math.ceil(file.size / chunkSize); i++) {
const start = i * chunkSize;
const end = Math.min(start + chunkSize, file.size);
const chunk = file.slice(start, end);</p><p>const formData = new FormData();
formData.append('chunk', chunk, <code>part_${i}</code>);
formData.append('uploadId', uploadId);
formData.append('chunkIndex', i);
formData.append('totalChunks', Math.ceil(file.size / chunkSize));</p><p>await fetch('/api/upload/chunk', {
method: 'POST',
body: formData,
});
}

注意:file.slice() 是浏览器原生方法,兼容性好;FormData.append('chunk', chunk) 中的 chunkBlob,不会转字符串,避免编码/解析开销。

断点续传依赖服务端返回的已传分片列表

上传前先发一次 GET /api/upload/status?uploadId=xxx,服务端查数据库或临时存储(如Redis),返回类似:

wisecut
wisecut

一款在线视频编辑软件,使用AI和语音识别为你编辑视频

下载
{ "uploadId": "up_1715829341_abcd", "uploadedChunks": [0,1,3,4], "totalChunks": 12, "status": "uploading" }

前端拿到后只上传缺失的索引:

  • 对比 uploadedChunks[0,1,2,...,totalChunks-1]
  • 过滤出未上传的 missingIndices = [2,5,6,7,8,9,10,11]
  • 按序发起上传,但允许并发(建议 ≤3),避免服务端连接数打满
  • 每次上传成功后更新本地缓存(如 localStorage),防止页面刷新后重复查接口

服务端拼接时,必须校验每个分片的 Content-MD5 或 SHA256(由前端计算后随 FormData 提交),否则恶意篡改或传输损坏无法发现。

服务端拼接XML要注意标签完整性

分片边界大概率落在标签中间,比如一个 <item>...</item> 被切成两半。不能简单 cat part_0 part_1 > final.xml——会导致格式错误。

  • 首片去掉开头可能的不完整标签(如匹配 ^.*?(?= 截断前导文本)
  • 末片去掉结尾不完整标签(如匹配 (?).*$
  • 中间片需前后补全:左补 右补 <tag></tag>?不行——XML嵌套深度未知

真正可靠的做法是:仅允许在 > 后或 前切分,即找最近的合法结束位置。前端切片时主动对齐到 <code>> 字节位置(最多向后偏移 chunkSize + 1024),服务端记录每个分片实际结束字节偏移,拼接时用二进制流合并,最后用 libxml2lxmlparse() 验证合法性——验证失败则返回错误,前端触发重传该片。

这个对齐逻辑容易被忽略,但它是保证XML最终可解析的底线。

本站声明:本文内容由网友自发贡献,版权归原作者所有,本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容,请联系admin@php.cn

热门AI工具

更多
DeepSeek
DeepSeek

幻方量化公司旗下的开源大模型平台

豆包大模型
豆包大模型

字节跳动自主研发的一系列大型语言模型

通义千问
通义千问

阿里巴巴推出的全能AI助手

腾讯元宝
腾讯元宝

腾讯混元平台推出的AI助手

文心一言
文心一言

文心一言是百度开发的AI聊天机器人,通过对话可以生成各种形式的内容。

讯飞写作
讯飞写作

基于讯飞星火大模型的AI写作工具,可以快速生成新闻稿件、品宣文案、工作总结、心得体会等各种文文稿

即梦AI
即梦AI

一站式AI创作平台,免费AI图片和视频生成。

ChatGPT
ChatGPT

最最强大的AI聊天机器人程序,ChatGPT不单是聊天机器人,还能进行撰写邮件、视频脚本、文案、翻译、代码等任务。

相关专题

更多
pdf怎么转换成xml格式
pdf怎么转换成xml格式

将 pdf 转换为 xml 的方法:1. 使用在线转换器;2. 使用桌面软件(如 adobe acrobat、itext);3. 使用命令行工具(如 pdftoxml)。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

1945

2024.04.01

xml怎么变成word
xml怎么变成word

步骤:1. 导入 xml 文件;2. 选择 xml 结构;3. 映射 xml 元素到 word 元素;4. 生成 word 文档。提示:确保 xml 文件结构良好,并预览 word 文档以验证转换是否成功。想了解更多xml的相关内容,可以阅读本专题下面的文章。

2119

2024.08.01

xml是什么格式的文件
xml是什么格式的文件

xml是一种纯文本格式的文件。xml指的是可扩展标记语言,标准通用标记语言的子集,是一种用于标记电子文件使其具有结构性的标记语言。想了解更多相关的内容,可阅读本专题下面的相关文章。

1165

2024.11.28

js 字符串转数组
js 字符串转数组

js字符串转数组的方法:1、使用“split()”方法;2、使用“Array.from()”方法;3、使用for循环遍历;4、使用“Array.split()”方法。本专题为大家提供js字符串转数组的相关的文章、下载、课程内容,供大家免费下载体验。

739

2023.08.03

js截取字符串的方法
js截取字符串的方法

js截取字符串的方法有substring()方法、substr()方法、slice()方法、split()方法和slice()方法。本专题为大家提供字符串相关的文章、下载、课程内容,供大家免费下载体验。

220

2023.09.04

java基础知识汇总
java基础知识汇总

java基础知识有Java的历史和特点、Java的开发环境、Java的基本数据类型、变量和常量、运算符和表达式、控制语句、数组和字符串等等知识点。想要知道更多关于java基础知识的朋友,请阅读本专题下面的的有关文章,欢迎大家来php中文网学习。

1563

2023.10.24

字符串介绍
字符串介绍

字符串是一种数据类型,它可以是任何文本,包括字母、数字、符号等。字符串可以由不同的字符组成,例如空格、标点符号、数字等。在编程中,字符串通常用引号括起来,如单引号、双引号或反引号。想了解更多字符串的相关内容,可以阅读本专题下面的文章。

649

2023.11.24

java读取文件转成字符串的方法
java读取文件转成字符串的方法

Java8引入了新的文件I/O API,使用java.nio.file.Files类读取文件内容更加方便。对于较旧版本的Java,可以使用java.io.FileReader和java.io.BufferedReader来读取文件。在这些方法中,你需要将文件路径替换为你的实际文件路径,并且可能需要处理可能的IOException异常。想了解更多java的相关内容,可以阅读本专题下面的文章。

1188

2024.03.22

JavaScript浏览器渲染机制与前端性能优化实践
JavaScript浏览器渲染机制与前端性能优化实践

本专题围绕 JavaScript 在浏览器中的执行与渲染机制展开,系统讲解 DOM 构建、CSSOM 解析、重排与重绘原理,以及关键渲染路径优化方法。内容涵盖事件循环机制、异步任务调度、资源加载优化、代码拆分与懒加载等性能优化策略。通过真实前端项目案例,帮助开发者理解浏览器底层工作原理,并掌握提升网页加载速度与交互体验的实用技巧。

59

2026.03.06

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2026 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号