欢迎访问本站，持续更新中…
RSS

WikiFw 维基框架

大模型OCR就强吗 六成错误出在看错

3 天前 OCR视觉语言模型基准测试多语言

大模型OCR就强吗 六成错误出在看错

街景中的文字识别与OCR系统场景

做 OCR 选型的人大概都遇到过这种场景：业务方拿几张图片来测，大模型识别得七七八八，小模型差一些，于是结论是"上大模型"。但错误到底错在哪，很少有人较真。

街景文字和文档扫描件是两个难度等级。招牌、店面、广告牌上的字，有透视变形、反光、遮挡，还有各种字体。BanglaWild 的标注里专门包含了这些维度，连非标准拼写都逐字转录，而不是"修正"成标准写法——这一点对评测很关键：如果标注时把错别字改掉了，模型识别出原文反而会被判错。

BanglaWild 这个基准，把"错误到底错在哪"这个问题较真了。它是第一个真实场景的孟加拉语街景文字识别基准，2535 张带精确转录的图片，评估了 15 个视觉语言模型和 3 个传统 OCR 系统。

最强的系统 六成错误是看错字

论文最有价值的发现是错误归因：最强的系统里，大约 60% 的错误来自视觉误识别——字在那儿，模型看错了，跟语义理解没关系。

这个数字对选型决策影响很大。如果错误主因是"看错"，那加大语言模型部分、换更强的推理能力，都是在错误的方向上花钱。真正该投入的是视觉特征提取、图像预处理、检测模块这些部分。

另一个反直觉的发现是：同一个模型家族里，大模型未必比小模型强。跨脚本场景下，模型大小和识别能力不是简单的正相关。

这个发现在孟加拉语这样的低资源语言上尤其明显。训练数据里孟加拉语街景文字本身就不多，模型再大，没见过就是没见过；反而是训练数据更对口的小模型，或者传统 OCR 加好的预处理，在具体场景里更稳。对选型的人来说，参数规模只是其中一个变量，训练数据的覆盖度往往更值得看。

提示词语言也会引入错误

论文还测了一个工程上很容易踩的坑：提示词的语言会影响跨脚本识别。用英文提示词去识别孟加拉语街景文字，模型会偏向拉丁字符，产生跨脚本漂移。

OCR错误归因可视化：视觉误识别占主导

这对做多语言 OCR 的团队是个实际提醒：部署时不仅要选模型，还要注意提示词语言和目标的匹配。很多团队一套英文 prompt 打天下，在非拉丁语系场景下可能白白损失精度。

LoRA 微调的结果也值得注意：它能显著减少弱模型的崩溃式失败，但对已经很强的模型，上限提升有限。这符合工程直觉——微调是兜底手段，不是灵丹妙药。评测方法上论文也做了些新尝试：除了编辑距离这类传统指标，还引入了 LLM 作为裁判来评估识别质量，并对比了三种提示策略。这套组合对工程团队的启发是：评估 OCR 模型不能只看一个分数，提示策略、评判方式、错误类型都要拆开看，否则很容易得出"换了模型就变好"的错觉。

Benchmark 的价值在于能回答"错在哪"

过去 OCR benchmark 主要给一个总分，用编辑距离算完排个名就结束了。BanglaWild 的价值在于标注里带诊断属性，能拆出错误类型。

对选型的团队来说，这意味着可以把评估从"哪个分数高"变成"错误结构是什么样的"。如果视觉误识别是主导，就优化视觉链路；如果语义错误多，就换更强的语言模型。方向对了，钱才花在刀刃上。

论文没有给出视觉误识别的详细分类分布，也没说明 LoRA 在不同架构上的具体对比，这些缺口让结论还不能直接照搬。但它提出的问题——模型规模 vs 视觉特征提取，哪个才是 OCR 的真正瓶颈——值得每个做文档识别、票据识别的团队在选型前先问自己一遍。

顺便说一句，这套评估思路不限于孟加拉语。任何多语言 OCR 项目，都可以参照它的做法：先建一个带错误类型标注的小样本集，把"错在哪"拆出来，再决定优化方向。基准测试的意义不在于给某个语种排名，而在于把评估方法本身变得可迁移。

关于维基框架

维基框架关注企业应用开发中的长期维护问题。在实际项目中，业务系统往往同时涉及权限、微服务、接口协议、部署环境等复杂因素，因此我们希望提供一套更容易扩展和维护的基础框架。