近日,deepseek推出全新ocr系统,在ai圈引发震动。该系统能让ai在不超出内存限制的情况下,处理更长的文档。其关键在于把文字当作图像来压缩,因为处理图片比处理纯文本更节省算力。据技术论文,系统在保留97%信息量的前提下,可将文档压缩至原来的十分之一。也就是说,一本上百页的pdf,经处理后只需原来十分之一的token数量,ai就能完整阅读。
DeepSeek OCR核心由两部分构成。
一是拥有3.8亿参数的图像处理模块DeepEncoder,负责将文档图片分析为压缩后的视觉token二是基于Deepseek - 3B - MoE的文本生成器,用于在此基础上恢复文字与结构在技术上,它融合了Meta的SAM(Segment Anything Model)与OpenAI的CLIP模型。SAM进行局部视觉分析,CLIP提供全局语义关联,两者间嵌入16倍压缩器,大幅减少图像token数量。一张1024×1024像素的图片,起初被分为4096个token,压缩后只剩256个,显著降低了CLIP的计算负担。在低分辨率下,DeepSeek OCR每张图仅需64个视觉token,高分辨率时也不超过400,而传统OCR系统往往需数千token才能完成同样任务。
该系统不仅能识别文字,还能识别图表、化学式、几何图形等多种复杂结构。研究团队称,它可直接从财报图表中提取结构化数据,并自动生成Markdown表格。在“深度解析模式”下,能将金融图表、几何图形重新绘制成矢量图,同时保留说明文字。
测试结果显示,DeepSeek OCR在OmniDocBench基准上表现出色。仅使用100个视觉token时,就超过了GOT - OCR 2.0使用256 token的结果;在800 token以下,击败了MinerU 2.0,后者每页需超过6000 token。
根据对比数据,其Gundam - M模式在中英文混合识别上取得最佳编辑距离分数。系统会根据文档复杂度自动选择模式,简单演示文档用64 token,普通报告约100,复杂报纸需启用“Gundam模式”,上限800 token。此外,还提供Resize、Padding、Multi - page、Sliding四种策略,在多页文档中平衡压缩率与准确性。
DeepSeek OCR的训练规模十分罕见。研究团队使用了三千万页PDF语料,覆盖约一百种语言,包括2500万页中英文文档、一千万张合成图表、五百万化学公式、一百万几何图形。这些数据让模型具备跨领域、跨语言的泛化能力,不仅能保持原始排版,还能在输出中附带文字描述和图像内容说明。
在多模态大模型中,文本上下文的限制一直是瓶颈。DeepSeek的方法绕开了传统token计数逻辑,用视觉token替代文本token,使语言模型能在“看图”的同时完成“读文”。对研究者而言,这近似于“外接硬盘”的解决方案,通过视觉压缩,AI的上下文长度几乎无上限,也预示着未来的模型架构可能不再区分“文本理解”和“图像理解”。










