Grab 自研语言模型解决亚洲语言识别难题

新加坡科技巨头 Grab 近期在其工程博客披露了自主研发视觉语言模型的技术路径，指出当前主流大型语言模型在应对东南亚地区多样的本地语言时存在明显短板。作为一款集打车、外卖配送、在线购物与数字金融服务于一体的超级应用，Grab 的业务遍及新加坡、马来西亚、印度尼西亚、菲律宾、越南、泰国、柬埔寨和缅甸等多个国家。这些区域广泛使用非拉丁字母的文字系统，为文本识别带来了巨大挑战。

在诸如用户身份核验等关键合规流程中，Grab 必须精准提取身份证件、驾驶执照及企业注册文件中的信息。虽然公司曾尝试部署传统光学字符识别（OCR）技术，但在面对格式各异、设计复杂的文档模板时，识别准确率难以满足实际需求。

进入2025年，Grab 转而探索大型语言模型在文档理解方面的潜力。尽管部分商业闭源模型具备较强能力，但其在处理泰语、爪哇语或越南语等区域性语言时常出现误读且响应延迟较高；而现有的开源视觉语言模型虽运行效率更优，却仍无法保证足够的识别精度。为此，Grab 决定自建专用视觉大模型，目标是将图像内容高效转化为可解析的文本向量。

团队选定阿里云开源的 Qwen2-VL-2B 模型作为基础架构，原因在于该模型体积轻巧、支持多种东南亚语言，并能灵活适应不同分辨率的输入图像。随后，Grab 从 Common Crawl 数据集中搜集大量东南亚语言文本，并搭建了一套内部合成数据流水线，用于生成涵盖多种字体样式、背景纹理和排版方式的文本图像样本。

牛小影

牛小影 - 专业的AI视频画质增强器

420

查看详情

初期，团队采用低秩适配（LoRA）技术对 Qwen2-VL 进行微调，在印尼语文档识别任务上取得了显著提升。然而，在处理泰语连写字符或越南语附加符号时，模型表现仍不稳定。于是，Grab 转向全参数微调策略，通过大规模训练使模型深入学习东南亚文字特有的视觉结构特征。

最终，Grab 成功打造了一个小型但高度专业化的视觉语言模型，其在本地化文档识别任务中的整体性能优于主流 OCR 工具以及多个通用大模型。公司强调，通过精心构建高质量、高相关性的训练数据集，即使是规模较小的模型也能实现卓越的实用性与效率平衡。

展望未来，Grab 表示将持续投入自有模型的研发，进一步拓展其在智能文档处理领域的技术边界。

以上就是Grab 自研语言模型解决亚洲语言识别难题的详细内容，更多请关注php中文网其它相关文章！