ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

AWESOME-OCR-LLM完整指南:一文读懂大模型时代OCR的900+篇论文全景

AWESOME-OCR-LLM完整指南:一文读懂大模型时代OCR的900+篇论文全景

【免费下载链接】AWESOME-OCR-LLM

OCR in the Era of Large Language Models

项目地址:https://gitcode.com/gh_mirrors/aw/AWESOME-OCR-LLM
点击查看免费下载

如果你正在关注**大模型时代OCR(OCR in the LLM Era)**的研究进展,这份AWESOME-OCR-LLM论文清单值得收藏。它是一份持续更新的开源 Awesome 列表,收录了近5年(2021年至今)900余篇文档解析、文档理解、视觉文本生成、专用OCR模型与评测基准的最新论文,并每日追踪新发表的 Daily Papers,是入门和研究者快速建立 OCR + LLM 全景认知的最佳导航。

一、AWESOME-OCR-LLM 是什么?

简单说:它是一个「大模型时代的 OCR 论文地图」。

  • 📚定位清晰:只收录把大视觉语言模型(VLM / MLLM)用在"文字密集图像与文档"上的工作(解析、理解、生成、评测),而不是泛泛的文档AI或传统 OCR 1.0 列表
  • 🔄持续更新:README.md 顶部的 Daily Papers 板块每天收录最新论文,如 2026-10-26 当天的RxnExBench化学文献反应抽取基准
  • ⚖️严谨视角:项目专门提示——多数系统以技术报告形式发布、自报指标且测试集不一,跨论文的分数通常不可直接比较

二、900+篇论文的五大分类全景

整个列表分为五大板块,每块都有独立完整清单(README 中展示最新约30条,完整列表在full-lists/目录):

板块内容论文量完整清单
📄 Document Parsing文档解析:版面、结构、端到端转 Markdown108+full-lists/Document-Parsing.md
📄 Document Understanding文档理解:长文档问答、图表推理、RAG197+full-lists/Document-Understanding.md
📄 Visual Text Generation视觉文本生成:海报、场景文字、字体渲染91+full-lists/Visual-Text-Generation.md
📄 Specialized Model专用OCR模型:公式、手写、古籍、篡改检测等11个子方向427+full-lists/Specialized-Model.md
📄 Benchmarks基准与评测:如何科学"打分"107+full-lists/Benchmarks-and-Evaluation.md

1️⃣ Document Parsing:从模块流水线到端到端 VLM

传统解析是"检测→识别→版面"的流水线;LLM 时代正被端到端 VLM 架构取代。清单里的明星工作包括阿里的Logics-Parsing-V3、百度的PaddleOCR-VL-1.6与Unlimited-OCR、上海AI Lab 的MinerU2.5-Pro、腾讯的WeVisDoc等,覆盖从长文档结构感知解析到投机解码加速的最新方向。

2️⃣ Document Understanding:从"读得出来"到"想得明白"

这是论文最多的板块。研究重点已从识别转向语义理解与推理:

  • 长文档 VQA:SEER(视觉-文本选择性压缩)、DocPilot(交互式智能体编排)
  • 多模态 RAG:HAM-RAG、Doc-REFRAG、TopoGraphRAG-Bench
  • 智能体化:DocClaw统一智能体文档处理系统、DocArena文档搜索智能体训练环境

3️⃣ Visual Text Generation:OCR 的"创造性逆过程"

如果说 OCR 是"图→文",视觉文本生成就是"文→图"。清单收录了海报生成(PosterOmni、PosterVerse)、场景文字编辑(TextFlow、TextWand)、中文字形渲染(GlyphPrinter、GlyphBanana)以及Qwen-Image-2.0、GPT-Image-1.5等通用生成模型的视觉文本能力。

4️⃣ Specialized Model:11个垂直子方向

专用 OCR 模型板块细分出 11 个方向,是垂直领域研究者的宝藏:

文档去扭曲 · 物理结构分析 · 阅读顺序预测 · 数学公式识别 · 表格与图表理解 · 场景文字 · 文字擦除与编辑 · 文字图像超分 · 手写文档分析 · 视频文字分析 · 历史文档分析 · 篡改检测与取证

例如甲骨文字符破译(AlphaOracle)、古代文物文字识别(Ancient-Bench覆盖3000年、7种古文字)、AI生成文字图像检测(TextFake)等前沿应用。

5️⃣ Benchmarks and Evaluation:基准的"可执行化"趋势

项目认为构建统一、抗污染、可复现的基准是排行榜可信的前提。近期基准如DocHop(最佳 MLLM 仅 62.8% 准确率,人类超 90%)、WildHandBench(最佳模型落后于人类标注者)、LongHisDoc(中文古籍整书问答)都在揭示模型与人类之间的真实差距。

三、LLM 时代 OCR 的10大趋势

项目 README.md 中的 Emerging Trends(2023–2026)是快速把握风向的精华,建议新手优先阅读:

  1. 端到端 VLM 解析取代模块化 OCR 流水线
  2. 强化学习用于版面与阅读顺序建模
  3. OCR-free 文档理解模型
  4. 规模下沉:1B 参数以下的紧凑文档 VLM
  5. 长文档 OCR 是"token + 一致性"的缩放问题
  6. 结构(版面+逻辑)成为新的准确率
  7. 生成式 OCR 的核心风险从"误识别"变为"幻觉"
  8. 基准走向可执行化评测
  9. 文档智能体与 PDF 上的自主推理
  10. 文档智能体需要"可恢复性",而非一次性完美

四、新手快速上手指南

第一步:5分钟概览📖 打开 README.md,阅读 Overview(范围界定)、News(最新动态)和 Emerging Trends(趋势速览)三个板块。

第二步:跟踪前沿🔭 关注 README 顶部的 Daily Papers 板块,它按五大板块每日收录最新论文(含发表机构、时间),无需再翻遍 arXiv。

第三步:按兴趣深挖🎯 按需进入full-lists/下的完整清单,每个板块均有"Venue / 名称 / 机构 / 标题 / 代码链接 / 时间"六列结构化表格,方便筛选:

  • 做文档解析 → Document-Parsing.md
  • 做文档问答/RAG → Document-Understanding.md
  • 做海报/文字生成 → Visual-Text-Generation.md
  • 做垂直OCR任务 → Specialized-Model.md
  • 做评测基准 → Benchmarks-and-Evaluation.md

第四步:克隆到本地💻 如果想离线浏览或订阅更新,可执行:

git clone https://gitcode.com/gh_mirrors/aw/AWESOME-OCR-LLM

五、总结

AWESOME-OCR-LLM 用一份持续更新的 900+ 篇论文全景列表回答了三个问题:

  • 大模型时代 OCR 研究在做什么(五大板块)
  • 往哪走(十大趋势)
  • 如何衡量(基准与评测的严谨态度)

无论你是想选型文档解析方案、寻找长文档理解论文,还是想追踪视觉文本生成的最新工作,这份列表都能帮你少走弯路——收藏它,每天花两分钟看 Daily Papers,即可保持对大模型时代 OCR 前沿的持续感知。

【免费下载链接】AWESOME-OCR-LLM

OCR in the Era of Large Language Models

项目地址:https://gitcode.com/gh_mirrors/aw/AWESOME-OCR-LLM
点击查看免费下载

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考

返回列表