这项由阿联酋东谈主工智能大学（MBZUAI）与IBM征询院连合开展的征询，以预印本样子于2026年5月12日发布在arXiv平台，论文编号为arXiv:2605.12623。有兴致深入了解的读者可通过该编号查阅完竣论文。

**一、 故事从一谈"翻译难题"提及**

假定你手边有一份泰语的法律合同、一份阿拉伯语的学术叙述、再加上一份用缅甸文写成的医疗记载。你想让电脑帮你把这些文献里的翰墨、表格、图表全部准确索要出来，最佳连版面结构也一并保留。听起来不难？践诺上，这恰是现在东谈主工智能规模最辣手的问题之一。

现存的文档意会系统在英语上说明终点出色，但一朝遭逢资源匮乏的小语种，准确率就会断崖式下落——巧合致使跌去40%到60%。形成这一逆境的根蒂原因，在于试验数据严重短缺。莫得有余的标注数据，再智慧的模子也无从学起。

更辣手的是，现存的数据制作方式自己就存在恶性轮回：要么靠东谈主工标注，费时劳苦，根蒂无法遮蔽几十种话语；要么靠已有的AI模子自动打标签，但这些模子自己就对英语有偏见，它们给出的标注雷同带着偏见，用这些数据试验出来的下一代模子，偏见只会有增无减。这就好比一个只读过中布告的淳厚，你让他去教养生认日文，他教出来的学生当然也只会华文。

恰是为了冲破这个死轮回，阿联酋东谈主工智能大学和IBM征询院的连合团队建议了DocAtlas——一套全新的多话语文档意会框架，观念是让机器确切读懂来自寰宇各地的文献，遮蔽82种话语、9种不同任务。

**二、 传统作念法的三条死巷子**

要意会DocAtlas的价值，得先搞明晰前东谈主是如何作念的，以及为什么作念不下去。

第一种作念法是东谈主工标注。征询东谈主员把文档打印出来（大略在屏幕上），然后东谈主工框出每一段翰墨、每一张表格、每一个标题，告诉机器"这是段落""那是表格"。这种方式质料最高，但代价极其激昂。一个东谈主一天能标注若干页？一个团队能遮蔽若干种话语？FUNSD这个经典数据集唯有199份文档，只相沿一种话语，XFUND推广到7种话语，也唯有1300份。关于82种话语来说，东谈主工标注根蒂是杯水救薪。

第二种作念法是合成生成。既然真实文档难以标注，那就我方造文档吧——把翰墨放在预设好的位置上，位置自己便是标注。这种方式省去了东谈主工，但造出来的文档太"假"，枯竭嵌套表格、混排图文这些真实寰宇里常见的复杂结构，试验出来的模子一遭逢真实文献就懵了。

第三种作念法是让AI模子自动打标签。用一个已有的布局检测模子，扫描文档图片，框出各个区域，再贴上标签。这看似省事，却引入了前边说的恶性轮回——模子的偏见径直羞辱了标注数据。DocBank便是这样作念的，领有50万份文档，但标注质料受制于检测模子的才略上限。

征询团队还提到了另一条路：渲染驱动的标注法子。已有的WordScape式样就沿着这个场地走，从Common Crawl（一个遮蔽全球网页内容的超大型数据库）里合手取Word文档，通过给文档里的不同组件染色来识别它们的位置。这个想路没错，但实践上存在几个彰着舛错：用LibreOffice把Word文档转成PDF时，会因为字体替换和翰墨重排产生"渲染漂移"，也便是说养息前后雷同的翰墨可能出现在不同位置；翰墨索要和位置框对不上，莫得几何对都保证；关于阿拉伯语、希伯来语这类从右向左书写的翰墨，实足莫得相沿；图表被当作不透明的图片一概处置，内容无从索要。

DocAtlas的中枢孝顺，恰是在继承了渲染驱动这条路的合理内核之后，把上述每一个舛错都堵上了。

**三、 "差值渲染"：像影相机找不消失样精笃定位**

DocAtlas的第一条数据坐褥活水线，处置的是真实的Word文档（.docx样子），数据来源雷同是Common Crawl这个公开的网页归档库。

通盘经由不错用一个日常的譬如来意会：假定你在一张空缺画布上画了一幅画，现在你想知谈画里每一个元素的精准位置。最笨的办法是让东谈主肉眼去框。智慧的办法是：先拍一张原版相片，再把某个你感兴致的元素（比如天外）涂成鲜红色，再拍第二张相片，然后把两张相片叠在一谈作念减法——那边出现了红色，那边便是天外。

DocAtlas便是这样干的，只不外操作对象是Word文档。团队先从OpenXML样子（Word文档的里面代码样子）里识别出文档里的各种组件——标题、正文、表格、图片、页眉等等——然后通过Word的阵势属性，给不同类型的组件注入不同的心情代码。接着用微软官方的Word引擎（介怀，不是LibreOffice）分别渲染出"染色版"和"原版"两份PDF，再用图像处置器具（OpenCV）对两张图作念逐像素相减。那边有心情相反，那边便是被标注的组件，何况不错通过心情径直判断是哪类组件。

这种"差值渲染"法子有一个相称要津的上风：它能折柳"注入的心情"和"文档里本来就有的心情"。已往的单次染色法作念不到这少许——要是文档本来就有红色配景，那注入的红色标记就混进去了，根天职不清。差值法例实足绕过了这个问题，因为唯有在两次渲染之间发生变化的像素，才被手脚标注收尾。

位置框笃定之后，还需要把翰墨内容和位置对应起来。团队同期从OpenXML里索要文档级别的翰墨，再用Docling器具（一个基于规矩的PDF理会器，不是神经集聚模子）从PDF里索要页面级别的翰墨和位置，然后用交并比（IoU，一种猜测两个区域重复进度的盘算）把每个词语匹配到对应的组件区域里。当多个组件区域有重复时，系统会证据阵势置信度来决定优先级，确保结构映射的一致性。

所有这些信息最终被序列化成一种叫作念DocTag的调和样子。DocTag是一种访佛XML的标记话语，每个标签同期包含组件类型、几何位置和翰墨内容。这种样子比HTML更好，因为HTML不保存位置信息；比Markdown更好，因为Markdown会把档次结构压扁。有了DocTag，一张页面就变成了一个扁平的标签序列，每个标签告诉模子"这里有什么、在那边、写的是什么"，从而罢了版面检测、阅读按次复兴、内容索要的多任务连合试验。

在数据质料限制上，团队还作念了两轮筛选。第一轮用fastText预计文档话语，再用5-gram Kneser-Ney话语模子筹谋困惑度（困惑度不错意会为"模子对这段翰墨有多困惑"，困惑度越高评释翰墨质料越差），诞生阈值为120，过滤掉38%的低质料页面，保留94%以上的高质料数据。第二轮筹谋"标注可靠性分数"，猜测通过原生XML信号（而非启发式规矩）告捷标注的字符比例，低于0.6分的页面径直剔除，最终约有15%的页面因视觉格外信号（如宽敞空缺、渲染失实）被过滤。

在遵循上，整条活水线在一台平素的苹果M2 Pro条记本上运行（莫得GPU加快，莫得散布式筹谋），每天能处置10万张以上的标注页面，100万个样本不到72小时就能跑完。

**四、 为"从右往左"的翰墨有益斥地第二条路**

阿拉伯语、希伯来语、波斯语、乌尔都语，都是从右向左书写的话语。这类话语在现存PDF理会器具里宽敞存在双向文本理会失败的问题——器具把从右往左的翰墨按次搞反，大略实足无法识别段落结构。因此，仅靠真实Word文档的活水线，无法遮蔽这类话语。

征询团队为此有益联想了第二条活水线，用合成生成的方式来补足这个缺口。这条活水线的输入是结构化的电子书和网页文献（EPUB、HTML、XML样子），先用理会器具把内容养息成圭臬的Docling JSON样子，给每个内容元素打上标签并赋予初步的位置框，然后通过205个基于LuaTeX（一种专科排版引擎）的模板，把这些内容渲染成精准排版的PDF文档。

这些模板每一个都针对特定话语的排版措施联想：字体经受遵命各话语的书写传统（阿拉伯语用Amiri、Scheherazade等字体；希伯来语用David、Narkisim等；波斯语用Nazanin、Lotus等；乌尔都语用Nastaliq、Naskh等），版面参数涵盖页面场地、列数（1到3列）、字号（9到14磅）、心情、边距、页眉页脚阵势，以及要津的双向翰墨限制原语。

在渲染过程中，系统通过三次编译来保证位置精度：第一次编译笃定初步版面，第二次编译把每个元素的精准坐标写入.pos文献，第三次编译生成最终的PDF并考证位置。坐标经过系统性养息，从LaTeX的缩放点（sp）到PDF的点（pt）再到图像的像素（px），确保最终标注框与践诺渲染位置实足吻合。整条活水线在单核CPU上能达到每分钟183页的模糊量。

质料筛选过滤掉了三类问题页面：编译前后坐标漂移高出2pt的页面（占原始输出的15.2%）、模板排版错位（如元素重复或翰墨溢出，占8.9%）、字体渲染失败（如字形缺失或字形繁芜，占2.1%）。最终这条活水线生成了9036份文档共19.5万张页面，遮蔽阿拉伯语、希伯来语、波斯语、乌尔都语四种右向左书写的话语。

**五、 数据总量与组成：一个遮蔽82种话语的巨型语料库**

两条活水线合并之后，原始语料库包含101万份文档，548万张页面，朝上136种话语。其中第一条活水线（真实Word文档）孝顺了100万份文档、529万张页面，第二条活水线（合成右向左文档）孝顺了9036份文档、19.5万张页面。

数据散布呈典型的长尾形态：英语、俄语、西班牙语占据高频区间，约占总页数的60%；希伯来语、泰语、缅甸语、高棉语等中低资源话语，每种也孝顺了高出5万张页面，确保了在万般话语类型上的灵验遮蔽。经过质料筛选和难度感知采样，最终试验语料库包含36万张页面，遮蔽82种话语、31类结构组件、25个以上内容规模（包括医疗、法律与政府、金融、科学等）。

在标注组件类型上，高频标签包括平素文本、表格、一级标题，低频但遑急的标签包括数学公式、表单字段、参考文献列表，后者为试验模子识别淡漠但要津的文档元素提供了监督信号。

通盘语料库来自公开集聚内容，均使用CC-BY 4.0、CC0或全球规模等宽松许可契约。征询团队还部署了自动化的个东谈主心事信息（PII）检测经由，使用Microsoft Presidio器具，联结spaCy定名实体识别和自界说正则抒发式，识别并过滤了包含三条及以上个东谈主信息（如姓名、电话、政府证件号、地址、金融璀璨符）的文档，共移除94.2万份文档（占运转采集量的5.15%）。东谈主工抽查1000份保留文档，漏检率仅为0.1%。

**六、 一把测量多国文档意会才略的"量尺"**

有了试验数据还不够，还需要一套严格的测试圭臬，才略知谈哪个模子简直是非、哪个模子仅仅在本话语上刷了高分。DocAtlas同期构建了一个多话语基准测试集，包含5862张页面，遮蔽82种话语、9项评测任务。

页面登科遵命"难度分层"原则：用ResNet-50（一种图像特征索要集聚）索要每张页面的视觉特征，再用FAISS聚类算法把相似页面聚在一谈，然后在每个聚类里面按难度（详尽探讨表格占比、公式密度、图表数目、字体万般性、图片比例等身分）分红简便、中等、贫瘠三档，抢庄牛牛APP从中均匀采样，每种话语最多取100张页面，共5575个样本。此外，团队还手工挑选了201份含有高难度公式的PDF，迥殊加多144个公式样本。

图表数据是单独生成的：先用Qwen3-VL模子生成多话语主题，再用Matplotlib或Plotly渲染成柱状图、折线图、饼图等多种图表类型，经GPT-4o初步筛选后，由三位规模大师交叉考证结构完竣性、LaTeX公式对都、右向左阅读按次，达到94.2%的标注一致率（Cohen's κ=0.89）。

9项评测任务分别是：端到端全页面理会（把一张页面完竣养息为Markdown或DocTag样子）、翰墨识别、表格索要、公式转录、图表理会、阅读按次复兴，以及三项样子养息子任务（图表→HTML、公式→LaTeX、表格→HTML）。评测盘算遮蔽归一化编著距离（猜测预计翰墨与真实翰墨的相似度）、TEDS（树编著距离相似度，有益评估表格结构的准确性）、CDM（字符检测匹配，用于公式评估）和图表分数（将图表先转成HTML表格再用TEDS评估）。

**七、 16个模子的大考：谁是多话语文档意会的确切硬人？**

征询团队在这套基准上评测了16个刻下源流进的模子，按照定位分为三类。

第一类是通用多模态谎言语模子，包括Gemini-2.0-Pro、GPT-4o、Qwen3-VL（3B参数版）、Qwen2.5-VL（2B版）和InternVL3.5（2B版）。这类模子自己莫得有益针对文档版面作念过试验，终点于"全科生"选手。

第二类是大师文档模子，包括SmolDocling（2.56亿参数）、Granite-Docling（2.58亿参数）和DotsOCR（3B参数）。这类模子体量较小，但有益针对文档版面理会作念了试验，属于"专科生"。

第三类是OCR专项系统，包括PaddleOCR-VL（1B参数）、DeepseekOCR（3B参数）、MonkeyOCR-pro（1.2B参数）、Dolphin（4亿参数）、Nanonets-OCR-s（4B参数）、Nanonets-OCR2（3B参数）、Chandra（9B参数）和MinerU2.5（1.2B参数），以及DocAtlas团队微调过的DocAtlas-DeepSeek（3B参数）。

评测收尾呈现出几个澄清的限定。在总体分数上，DocAtlas-DeepSeek以83.37%位居第一，DeepseekOCR以81.66%紧随自后——要知谈DeepseekOCR唯有3B参数，能达到这个得益终点令东谈主骇怪，评释在文档意会这个任务上，参数目大不等于性能强。GPT-4o的总分是75.30%，远不如这些专科OCR系统。

翰墨识别和结构化内容索要之间存在强大领域。顶尖模子的翰墨编著距离在0.068到0.095之间（越低越好），评释翰墨识别照旧终点准确；但表格TEDS分数宽敞停留在71%到73%，何况不管话语如何变化，这个天花板简直照葫芦画瓢。这意味着表格的空间推理才略，而非翰墨阔别才略，才是刻下文档意会的确切瓶颈。

幸运彩app2026世界杯中国官方下载

高资源话语和低资源话语之间的落差毛骨悚然。英语、俄语、西班牙语等主流话语的准确指令会在80%到95%，波动很小；而低资源话语的准确率区间是20%到85%，中位数时常低于40%。换句话说，关于那些试验数据匮乏的话语，即使是源流进的模子，也经常只可答对不到一半。

从话语眷属维度看，印欧语系和基里尔字母（俄语、乌克兰语等）话语说明最佳，准确率在80%到87%之间；日语眷属（26.9%到70.5%）和南亚语系（Austroasiatic）说明最差，即使是最顶级的模子也举步维艰。团队以为，这评释形态复杂的话语和表意翰墨体系，透露了现存视觉特征学习的根人道颓势。

在图表索要这项任务上，专科OCR系统和通用多模态大模子之间出现了戏剧性的分化。Gemini-2.5-Flash在15种话语上平均得分61.82%，跨话语一致性最佳；而DeepseekOCR在英语图表上得分87%，到了泰语、阿拉伯语、意大利语就跌到8%到17%。SmolDocling在折线图上的准确率接近于零（0.038），评释仅靠翰墨索要根蒂顶住不了图表意会，这项任务需要确切的视觉推理才略。

同期，征询团队系统分析了16个模子在5345份文档上犯的88036个失实，归纳出12种失实类型，其中最主要的四种分别是：表格跨行跨列失实（占15.7%，表格里的合并单位格处置不合）、样子失实（14.6%，粗体斜体标签弄错、破折号字符混用）、字符编码失实（13.2%，Unicode归一化问题，比如不祥号用了不同的Unicode字符）、内容遗漏（13.2%，带连字符的词语和列表分隔符被丢失）。

**八、 如何让模子学会新话语而不健忘旧话语？**

试验数据和测试基准都有了，接下来最要津的问题是：如何把这些数据用起来，让已有的OCR模子确切学会新话语，同期又不把已往学过的英语等话语忘掉？

这就像教一个照旧闪耀英语的东谈主学华文——要是学习方式不合，他学会华文的同期可能把英语忘了，这叫"晦气性淡忘"。团队系统比较了三种试验计谋。

第一种计谋是全页面监督微调（Full-Page SFT）：把每张页面的图片和对应的DocTag/Markdown翰墨配对，径直试验模子在看到页面图眨眼间生成正确的结构化翰墨。这是最径直的法子，终点于让学生反复作念整卷锻练题。

第二种计谋是组件级监督微调（Component-level SFT）：把页面剪辑成一个个小区域（段落、表格、图表、公式），针对每个组件单独试验。这终点于把整卷题目拆成一谈谈单题来练。

第三种计谋是径直偏好优化（DPO）：这是一种不同于平素微调的试验范式。它的中枢想路是：关于消失张页面图片，给模子看两个谜底——一个是由渲染驱动的标注系统生成的正确谜底（作为"正样本"），一个是模子我方底本给出的回答（作为"负样本"）——然后试验模子偏好正确谜底。这终点于不径直告诉学生"背这个谜底"，而是让学生在两个谜底里辨别哪个更好，从而培养判断力。

除了经受哪种试验计谋，团队还征询了另一个变量：试验哪些参数。全量微调（所有参数都更新）遵循最猛，但反作用最大；LoRA（低秩适应）是一种参数高效的法子，终点于在模子里插入一个小"适配器"，只更新这个适配器，原模子参数基本不动，从而大幅减少淡忘。LoRA又有几个变体：更新全部层、只更新MLP层、只更新MLP的门控和下投影、更新所有QKV层、只更新QKV层。

详尽评测收尾澄清地揭示了一个限定。全量SFT在新话语上升幅最大（表格TEDS擢升13.6个百分点），但基础话语性能下降幅度也最大（–12.1个百分点）。组件级SFT的新话语增益更大，但基础话语淡忘也更严重，严重时下降高出21个百分点——意味着模子把已往学的东西简直全忘光了。

只更新QKV层的LoRA变体达到了最优的收益-淡忘均衡：新话语翰墨编著距离改善0.021，基础话语不降反升，改善0.011个百分点。团队对此的解释是：QKV参数限制的是"介怀力路由"，即模子在处置一段翰墨时决定把介怀力放在那边，养息这部分参数能匡助模子学会跨话语的介怀力分派，而不会滋扰MLP层（慎重输出词汇散布），是以不会导致淡忘。

DPO计谋在四个被评测的模子上（Qwen2.5-VL、Nanonets-OCR、DotsOCR、DeepseekOCR）都说明出了雷同的限定：在域内话语（试验时见过的话语）擢升约1.8%到1.9%，在域外话语（试验时没见过的话语）也擢升约1.4%到1.8%，基础话语降幅低于3%。这是独逐个种能同期改善新话语和基础话语性能的法子，冲破了"学新忘旧"的限定，因为把模子我方的失实谜底作为负样本，终点于给模子保留了对原有才略的挂牵锚点。

更进一步，团队还有益比较了DPO用不同正样本的遵循：用渲染驱动的真实标注作为正样本，和用GPT-4o的输出作为正样本，收尾相反权臣。GPT-4o蒸馏带来的域内增益唯有0.4个百分点，域外性能反而下降了0.7个百分点。原因在于，GPT-4o自己对低资源话语也存在系统性偏见：会在某些话语里产生失实的变音象征、把从右往左的列按次搞反。这些失实通过蒸馏传递给了被试验的模子，羞辱了跨话语泛化才略。这一收尾解释，驱动DPO遵循的根蒂不是DPO算法自己，而是背后那套模子无关的标注活水线。

DocAtlas-DeepSeek在两个外部测试集（DocPTBench和OmniDocBench，均以英文文档为主，包含拍摄或扫描的文档，试验时实足没见过）上也展示了移动泛化才略：编著距离分别从22.1%降到20.7%、从0.137降到0.122。这评释通过DPO学到的跨话语介怀力路由，不仅在试验见过的话语上有用，在试验域除外也能说明作用。

从话语眷属维度看DPO的增益，不错发现道理的散布限定：汉藏语系、日语眷属、南亚语系获益最大（汉藏语系翰墨增益高达40%），可能是因为这些话语的视觉特征之间存在分享结构，有助于常识移动；印欧语系和乌拉尔语系增益较小（低于5%），评释这些话语在试验前照旧被模子学得比较好；基里尔字母话语的增益主要体现在表格而非翰墨，评释结构化内容的移动比纯翰墨更容易。

说到底，DocAtlas这套责任回答了一个对通盘文档AI规模都真谛久了的问题：机器能不可在不借助任何已有AI模子的情况下，我方学会读懂来自寰宇各地的文献？谜底是深信的，何况通过差值渲染这个近似"影相机找不同"的方式，还能作念到终点高的精度和终点广的话语遮蔽。关于资源匮乏的话语社区来说，这意味着畴昔腹地话语的文档数字化、法律合同分析、医疗记载索要，都有望得到与英语用户同等质料的器具相沿。

虽然，这套系统也有彰着局限：它依赖文档源文献（Word或结构化标记样子），关于扫描件、相片拍摄的文档实足窝囊为力，因为这类文档根蒂没稀有字翰墨层不错索要。征询团队坦承，将DocAtlas的监督信号与传统的OCR技巧联结，针对扫描文档作念进一步延迟，是一个当然的后续场地。另外，表格TEDS在71%到73%隔邻的天花板问题，评释空间推理才略仍然是通盘规模尚待突破的中枢难题。

关于有兴致进一步探索的读者，不错通过arXiv编号2605.12623查阅完竣论文，数据集和代码则托管在论文封面所标注的GitHub仓库地址下。

---

**Q&A**

Q1：DocAtlas的"差值渲染"和平素的文档标注法子有什么骨子区别？

A：平素的文档标注要么靠东谈主工框选，要么靠已有AI模子自动识别，两者都有上限：东谈主工太慢、AI有偏见。差值渲染则实足绕开了这两条路——它先给Word文档里的不同组件染上不齐心情，用微软Word引擎渲染出染色版和原版两份PDF，再逐像素相减，那边有心情相反就评释那边有标注组件。通盘过程不需要任何已有的AI模子参与中枢标注，标注质料不受现存模子才略的截止。

Q2：DPO试验为什么能幸免"学新话语忘旧话语"这个问题？

A：传统微调（SFT）径直让模子记取新的输入输出对，更新幅度大，容易把旧常识遮蔽掉。DPO的作念法不同：它给模子同期展示正确谜底（渲染驱动的真实标注）和模子原来给出的回答，试验模子学会"偏好"正确谜底。把模子我方原来的输出作为负样本，终点于给模子保留了对旧才略的挂牵锚点，是以能在学会新话语的同期看守旧话语的性能。

Q3：DocAtlas基准测试和之前的多话语文档测试集比较，上风在那边？

A：遮蔽范围和任务深度都有权臣推广。之前最佳的多话语文档基准READOC遮蔽27种话语，不相沿图表理会；OmniDocBench只遮蔽2种话语；DocAtlas遮蔽82种话语，同期相沿9项任务（端到端页面理会、翰墨识别、表格索要、公式转录、图表理会、阅读按次复兴，以及图表→HTML、公式→LaTeX、表格→HTML三项样子养息）抢庄牛牛APP，是咫尺话语遮蔽最广、任务最全的文档意会基准。