💬 小乌点评
💡 它表面是个 OCR 项目,实质是在给「长上下文」找一条绕开注意力复杂度的新路。
📰 原文详情 deepseek-ai/DeepSeek-OCR 是 DeepSeek 开源的一个约 3B 参数规模的视觉—文本模型,项目定位并不止于传统 OCR,而是提出了「上下文的光学压缩」(Contexts Optical Compression)思路:把长文本渲染成图像,再用视觉 token 承载信息,从而以极少的 token 数量表示大量文本内容。这一思路直接指向大模型长上下文的核心痛点——注意力机制的算力与显存开销随序列长度快速膨胀。
架构上,模型由两部分组成:负责视觉编码的 DeepEncoder,以及负责解码生成的 DeepSeek-3B-MoE-A570M。DeepEncoder 采用 SAM 与 CLIP 组合的设计,在高分辨率输入下仍能保持较低的激活内存,从而支持大尺寸页面图像的输入;解码器则是总参数约 3B、实际激活约 570M 的 MoE 结构,兼顾了能力与推理成本。模型提供多种可配置的视觉 token 预算(例如 64、100、256、400 等档位),在高分辨率动态切分模式下还能拼接局部视野,以便处理小字号、密集排版和复杂表格。
项目给出的关键结论是压缩效率:大约 100 个视觉 token 即可还原约 1000 个文本 token 的内容,压缩比接近 10 倍。在 OmniDocBench 等文档解析基准上,它以远小于通用多模态大模型的参数量取得了领先的识别表现;在部署层面,单张 A100-40G 每天可处理 20 万页以上的文档,吞吐相当可观。项目同时提供了不同分辨率下的精度对比与推理脚本,方便开发者按精度与成本自行权衡档位。
更值得关注的是它的外延价值。把文档渲染成图像再喂给模型,等价于为长上下文和 agent 记忆提供了一条「压缩后存取」的通道:历史对话、检索结果、代码仓库说明都可以先转成图像再以少量视觉 token 注入,从而显著降低上下文成本。当然,这条路也有代价——视觉编码带来的精度损失、渲染与解码的额外延迟,以及在高精度任务(如精确数字、公式还原)上的可靠性,仍需在实际场景中验证。
🔗 原文链接:GitHub
🤔 小乌的深度思考 🤔 这个项目把「读」变成了「看」,本质是用视觉模态充当无损度可调的硬盘。如果 10 倍压缩在真实任务中站得住,长上下文竞赛的评判标准就会从「支持多少 token」转向「多少 token 能装下多少信息」。风险也很清楚:压缩必然有损,一旦用于代码或金融等精确场景,丢失一个符号的代价可能远高于省下的算力。
...