hugging face 近日发布了两个大规模开源数据集：finepdfs 和 finevision，分别针对语言模型与视觉-语言模型的训练需求，旨在大幅提升开源模型的性能表现。
https://www.php.cn/link/6750c0194a5f9ae7194a0ae154b64959
https://www.php.cn/link/a007685ecc0ccf820b8ac1d6e77f69fd
FinePDFs 是当前规模最大的公开 PDF 语料库，完全基于 PDF 文档构建，涵盖约 3 万亿 tokens，来自 4.75 亿份文件，支持 1733 种语言，总数据量达 3.65TB。
该数据集源自 105 个 CommonCrawl 快照（时间跨度为 2013 年夏季至 2025 年 2 月），经过 datatrove 工具链进行去重、内容过滤及个人身份信息（PII）匿名化处理，并采用 ODC-By 1.0 开放许可证发布。其文档平均长度接近传统 HTML 数据集的两倍，且包含大量超过 10 万字符的长文本样本，特别适合用于增强开源大语言模型的长上下文理解能力。
数据集已按语言和书写系统分类整理，其中 978 种语言包含超过 100 万 tokens，66 种语言达到或超过 10 亿 tokens。
iWebShop是一款基于PHP语言及MYSQL数据库开发的B2B2C多用户开源免费的商城系统，系统支持自营和多商家入驻、集成微信商城、手机商城、移动端APP商城、三级分销、视频电商直播、微信小程序等于一体，它可以承载大数据量且性能优良，还可以跨平台，界面美观功能丰富是电商建站首选源码。iWebShop开源商城系统 v5.14 更新日志：新增商品编辑页面规格图片上传优化商品详情页面规格图片与主图切
FineVision 则专为视觉-语言模型（VLM）训练打造，融合了来自 200 多个不同来源的数据，包含 1730 万张图像、2430 万个训练样本、8890 万轮多轮对话以及高达 95 亿 tokens 的回答内容，能够支持如 GUI 导航、目标指向、对象计数等新兴能力的训练。
据官方介绍，在 10 项主流基准测试中，使用 FineVision 训练的模型平均性能提升超过 20%，显著增强开源视觉-语言模型的表现。所有数据已转换为 Parquet 格式，总容量约为 4.48TB，支持高效的流式加载，便于大规模分布式训练。
