- 综合排序
- 最热优先
- 最新优先
- 来自专栏机器学习与统计学
腾讯混元OCR大模型，本地部署，实测
大家好，我是章北海 前文我升了 CUDA、部署了 DeepSeek-OCRDeepSeek-OCR 本地部署（上）：CUDA 升级 12.9，vLLM 升级至最新稳定版 DeepSeek-OCR 本地部署 vLLM 离线推理，API 重写，支持本地图片、PDF 解析重写的 API 也支持 PaddleOCR-VL本地部署 PaddleOCR，消费级显卡轻松跑，支持本地图片和 PDF 文件 然后腾讯也来了：大模型 OCR 的黄金时代，腾讯开源混元 OCR，文档解析、视觉问答和翻译方面达到 SOTA，文中我提到想等等看新版 vLLM 来了再部署 可是看到 N 多同学部署失败，还有 HunyuanOCR 到底需要多少显存可以跑起来有点疑问 ，核心参数和官方教程没啥区别 docker run --rm --runtime=nvidia --name Hunyuan-ocr --ipc=host --gpus '"device=1"' -p 回到最开始问题，启动模型加上参数 --gpu-memory-utilization 0.66，也就是 16GB 启动模型，依然是 OK 的 而且速度丝毫没有下降
2K10编辑于 2025-12-24 腾讯云 TI-OCR 训练平台与 OCR 大模型解决方案概览
一、 产品定位与核心亮点 腾讯云 TI-OCR 训练平台是腾讯云（CSIG云与智慧产业事业群）推出的一站式OCR大模型开发与精调平台。 核心技术属性（OCR 大模型）： 端到端架构：摒弃传统“检测->识别->结构化”的多阶段流程，模型直接理解图片并生成结果，消除各阶段错误累积。 荣誉与背书 腾讯共建联合实验室：基于客户PB级业务数据，结合腾讯通用 OCR 预训练大模型与腾讯GPU大规模调度能力，孵化前沿能力并制定行业标准。 四、 典型案例 1. 解决方案：利用 TI-OCR 平台进行数据清洗挖掘与通用数据构造，结合场景数据合并与存储规范，依托腾讯GPU大规模调度能力和多机多卡训练加速技术，训练腾讯通用 OCR 预训练大模型。 解决方案：引入 OCR 大模型自动化申请材料的照片审核，利用模型精准识别各类资质证照，解决印章/水印等干扰，提取关键字段（如经营场所、地址等）。 成效： 审核业务机器转人工占比降低 80%。
21510编辑于 2026-05-31腾讯云 TI-OCR 训练平台与 OCR 大模型解决方案概要
其核心是基于自研的 OCR 大模型解决方案，旨在解决传统 OCR 技术在复杂场景下的技术瓶颈。 模型中心：内置模型（OCR、大模型）、模型训练、模型评测。 应用编排：应用发布、应用评测、自定义后处理。 管理中心：项目/成员管理、资源隔离、运行任务管理。 解决方案：利用客户 PB 级业务数据，经过数据清洗和通用数据构造，结合腾讯通用 OCR 预训练大模型和 GPU 大规模调度能力，进行多机多卡训练加速。 解决方案：引入 OCR 大模型识别各类资质证照，解决印章、水印等干扰，提取关键字段。 成效：有效降低机器转人工的比例达 80%，加速了商户自助办理业务的流程。 五、总结与模型家族概览 腾讯云 OCR 大模型家族由三大基座构成，构建了完备的 OCR 解决方案生态环境： 模型基座 定位 核心特性 输入形式 支持开放问答 参数规模 适用场景 DocLM 端到端文字图像理解
19210编辑于 2026-05-31腾讯优图多模态OCR大模型技术概览
一、产品定位与核心亮点 腾讯优图多模态OCR大模型（Optical Character Recognition，光学字符识别）是一种将图像中文字转化为可编辑文本的AI技术。 其核心技术属性为端到端的生成式多模态大模型，商业差异化卖点在于单一模型支持检测、识别、结构化及开放式任务，并通过Prompt驱动满足个性化需求，突破了传统多阶段定制模型泛化能力弱、定制成本高的瓶颈。 二、产品应用场景 金融保险行业：客户在处理全国各医疗机构出具的非标准化、版式复杂、内容多样、字迹潦草的医疗单据（如门诊病历、住院清单、检查报告）时，面临传统OCR字段识别错误率高、人工审核成本大的困境。 产品优势 端到端解决方案：统一模型解决OCR全链路问题，避免多阶段错误累积。 Prompt驱动个性化输出：支持用户通过自定义指令控制输出格式（如KV、Excel、Markdown）。 解决方案：使用文档智能产品基于多模态OCR大模型，进行深度语义理解+结构化抽取，关键字段覆盖报告解析、医疗表格、单据核对、诊断证明、医保报销等场景。
24210编辑于 2026-05-30- 来自专栏机器学习与统计学
撸了一个 OCR 大模型对比工具：DeepSeekOCR、PaddleOCR 和 混元OCR
大家好，我是 Ai 学习的老章 最近的 OCR 大模型我都做了本地部署和测试，还写了一个 API 统一对接这三个模型 ✅腾讯混元 OCR 大模型，本地部署，实测 ✅本地部署 PaddleOCR，消费级显卡轻松跑 成年人怎么还在做选择呢，必须全都要啊 我用 FastAPI 框架撸了一个简单的 OCR 模型对比工具，可以实现同样的提示词 + 图片/PDF，利用 Python 多线程并行调用 DeepSeek、Paddle 和 混元这三个模型的 API 进行解析，并将结果并排展示。 也可以切换到识别后的原始 Markdown，支持一键 copy 核心代码如下（完整代码接近 600 行，大多是 HTML 相关）： 我这里主要是模型本地部署，内网运行的，没再折腾线上部署。 感兴趣的同学可以试试，OCR 模型 API 部分替换成官方/第三方的 API，代码稍作修改就可以在线部署运行了。 #!
1.6K10编辑于 2025-12-21 - 来自专栏大模型&AIGC
6种大模型微调技术
值得一提的是，通过使用T5模型进行模型大小的消融实验，我们展示了提示微调随着规模的增加变得更加具有竞争力：当模型参数超过数十亿时，我们的方法“缩小了差距”并达到了模型微调（即调整所有模型权重）的强大性能 input和target，则使用原始的input embedding(5) 使用方式离散和连续template token混合时，显示地插入一下anchor（离散的token）有助于template的优化(6) ，无需verbalizer(4) 特点在小、大模型上，效果均优于P-tuning。 当参数量达10B，效果相当于FT6.LoRA（2021）(1) 论文信息来自论文：《LORA: LOW-RANK ADAPTATION OF LARGE LANGUAGE MODELS》（2）摘要自然语言处理的一个重要范式包括在通用领域数据上进行大规模预训练 Model)，学习目标为而加入LoRA后，学习目标为：(6) 配置在多个部位$(Q/K/V/Output)$同时添加$\bigtriangleup W$ ，会比只在单一部分上添加权重$\bigtriangleup
3.1K00编辑于 2025-05-08 - 来自专栏技术专栏全家桶
大模型之DeepSeek-OCR2快速入门实战教程
于是，新的 OCR 模型开始出现，代表模型包括微软的 LayoutLM、百度的 PaddleOCR 2.0，以及多模态结构化识别模型 Donut、DocFormer、TextMonkey 等。 关注公众号【阳光宅猿】回复【加群】进入大模型技术交流群一起学习成长!!! 03、主流VLM与OCR模型 目前VLM模型有很多，除了主流的多模态在线大模型外，还有如Qwen-VL、InternVL、Gemma等 开源的视觉模型。 vLLM 是目前主流的高吞吐推理引擎之一，能够显著提升多模态大模型的推理速度与显存利用率，尤其在处理长文档或多页 PDF 时优势明显。 目标定位与识别模板 在图像中定位特定元素： <image>\nLocate <|ref|>xxxx<|/ref|> in the image. 6.
3.6K10编辑于 2026-02-03 DeepSeek-OCR-2 开源 OCR 模型的技术
和其他OCR模型项目还是看自己的引用场景，通用场景还是建议使用最新的模型，识别准、理解准、排版准。2025-2026年，OCR（光学字符识别）领域迎来了开源大模型的黄金时代。 1024×1024视觉Token数256-1,120（根据内容自适应）上下文压缩支持，大幅降低下游LLM计算成本许可证Apache-2.0动态分辨率配置：默认方案：(0-6)×768×768+1×1024 ×1024Token数：(0-6)×144+2561.3核心能力复杂版面解析：在表格、多栏文档、公式混排等场景表现出色Markdown/结构化输出：支持将文档直接转换为带格式的Markdown多语言支持 OCRBench860分3B参数以下模型SOTAOmniDocBench94.1分复杂文档解析最高分，超越Gemini3-pro文字检测识别70.92%自建基准，覆盖9大场景信息抽取92.29%卡片/收据 4.3Qwen2-VL：通义千问多模态特点详情定位通用多模态大模型参数2B7B72B可选特点视觉-语言理解能力强，不仅限于OCR适用场景需要多模态理解（图像+文本+推理）的综合应用对比结论：Qwen2-
96410编辑于 2026-02-07- 来自专栏6G
6G，AI , 与大模型?
6G与AI融合的未来方向 6G 网络的内生 AI 设计将赋能网络的AI大模型，同时使网络能够支持 AI 大模型的训练和服务。 另外，从小模型到大模型，生产效率跨越式提升基础通用大模型具有泛化性，网络智能化将从用例驱动转变为能力驱动，迅速降低应用开发门槛，加速 AI 工程化、规模化落地。 6G 网络将承担数据采集、预处理等数据服务，为云AI训练提供更好的支持。此外，6G 网络的分布式部署将使得 AI 大模型更靠近用户侧，从而在时延方面具有潜在优势。 在数据获取和处理方面，与 ChatGPT 不同，网络中存在大量结构化数据，且网络不同问题间的共性不清晰，网络 AI 大模型面临较大挑战。6G 网络面临如何有效采集适合AI大模型训练的数据的挑战。 而在构建 AI 大模型的路径上，需要分阶段探索，从离线小规模模型开始，逐步过渡到实时大规模模型，最终实现统一的网络 AI 大模型。 本文摘自于中国移动的“6G内生AI架构及AI大模”汇报材料。
51110编辑于 2024-04-24 - 来自专栏【腾讯云开发者】
腾讯多模态OCR大模型最新技术演进：没有最强OCR，只有无限进化！
当前，在AI大模型热潮下，OCR技术正迎来新一轮生产力效率变革。 在实际应用中，大模型加持的OCR可以更准确、灵活应对不同行业复杂多样的文档格式与版式，助力企业实现业务流程自动化升级，大幅提升运营效率与数据处理准确性。那么，鹅厂的多模态OCR大模型如今进展如何呢？ 1.1 OCR 1.0：多阶段技术方案 在深入探讨OCR大模型之前，先回顾一下传统OCR技术的典型流程PPL。 腾讯优图 OCR 大模型（DocLM-Base） KV 结构化示例 1.3 OCR 3.0：多模态 OCR 大模型 常规结构化任务是基于场景或者版式做的定制处理，成本很高。 03、技术要点 3.1 腾讯优图 OCR 大模型技术演进路线 腾讯优图实验室对于大规模预训练OCR 模型的探索始于 2019 年，目前的 OCR 大模型属于第五代大规模预训练模型（DocLM v5
5.3K11编辑于 2025-06-21 大模型的2025：6个关键洞察
以下为卡帕西年度回顾全文：《2025年大语言模型年度回顾》2025年是大语言模型领域大步跨越且充满变数的一年。 通过在数学、代码谜题等大量可自动验证奖励的环境中训练大语言模型，模型会自发形成人类视角下近似“推理”的策略。 Cursor与大语言模型应用的新层级Cursor最引人关注的点（除了其2025年的爆发式增长），在于它清晰揭示了大语言模型应用的一个全新层级，人们开始普遍讨论“某领域的Cursor模式”。 2025 年，行业内围绕这一新应用层的“厚度”展开了大量讨论：大语言模型实验室是否会通吃所有应用场景？还是说垂直领域的大语言模型应用仍有广阔蓝海？ 我个人的观点是，大语言模型实验室更倾向于培育“通识能力极强的大学生”式模型，而大语言模型应用则通过整合私有数据、传感器、执行器及反馈闭环，对这些“大学生”进行针对性组织、微调，最终驱动它们成为特定垂直领域的
79910编辑于 2025-12-24deepseek-ocr及其他ocr模型衍生应用的思考
模型选择指南 模型 内存占用* 最佳硬件 适用场景 DeepSeek‑OCR ≈6.3GB FP16 权重，含激活/缓存约 13GB（512 token） Apple Silicon + Metal、 官方 DeepSeek-OCR 依赖 Python + Transformers，部署体积大、依赖多，嵌入原生系统成本高。 deepseek-ocr-q6k deepseek-ocr Q6_K 常规工程环境下的折中选择，在质量与体积之间取得平衡。 paddleocr-vl-q6k paddleocr-vl Q6_K 通用推荐，适合绝大多数工程部署。 dots-ocr-q6k dots-ocr Q6_K 推荐的折中量化档位：在大幅节省权重占用的同时尽量贴近 FP16/BF16 质量。
58110编辑于 2026-03-13- 来自专栏大模型应用
大模型应用：多模态图文精准识别：基于本地化OCR模型应用实践.78
一、引言 在OCR技术从传统字符匹配向大模型多模态融合演进的当下，图片理解作为多模态技术的核心支柱，其重要性愈发凸显。 单纯的 OCR 模型已难以满足复杂场景的识别需求，而融合视觉 - 语言能力的多模态大模型，凭借对图片内容的理解能力，能轻松应对倾斜文字、复杂排版、多语言混合等传统 OCR 的痛点。 二、模型介绍 Qwen2-VL系列的轻量OCR专用模型，其相比传统OCR模型（如PaddleOCR 基础版）和其他大模型OCR（如 GLM-OCR），在轻量性、兼容性、识别能力上有显著优势 、多模态 OCR 核心工作原理 Qwen2-VL-OCR-2B-Instruct作为视觉 - 语言多模态大模型，其OCR识别逻辑与传统 OCR、单纯的大模型OCR有本质区别，核心是“视觉感知 六、总结 今天我们基于本地OCR模型构建了一个可直接落地的轻量多模态 OCR 智能体，这款模型的核心价值在于将多模态大模型的语言理解能力与 OCR 的视觉识别能力深度融合，既解决了传统 OCR
74333编辑于 2026-04-16 调用tesseact-ocr的traineddata模型进行ocr文字识别
自那时起，它一直在不断的更新和改进，成为了世界上最流行的OCR引擎之一。 核心技术 Tesseract利用了机器学习的方法，特别是在其后期版本中引入了基于长短时记忆（LSTM）网络的深度学习模型，这显著提高了其对文字的识别能力。 可定制性 Tesseract允许用户通过训练自己的模型来优化识别结果，这对于专门的应用或不常见的字体类型尤其有用。 应用场景 Tesseract OCR可以应用于多种文本识别场景，如： 文档数字化：将纸质文档转化为电子文档，便于存储、检索和编辑。 尽管Tesseract在某些复杂场景下的识别准确率可能不及专业的商业OCR软件，但其开源免费的特性以及不断进步的技术，使其在许多情况下仍然是首选的OCR工具。
74910编辑于 2025-07-17- 来自专栏量子位
OCR终结了？旷视提出支持文档级OCR的多模态大模型，支持中英文，已开源！
： 甚至可以将图片中的表格转换成latex格式： 当然，作为多模大模型，通用能力的保持也是必须的： Vary表现出了很大的潜力和极高的上限，OCR可以不再需要冗长的pipline，直接端到端输出，且可以按用户的 通过大模型极强的语言先验，这种架构还可以避免OCR中的易错字，比如“杠杆”和“杜杆”等， 对于模糊文档，也有望在语言先验的帮助下实现更强的OCR效果。 受大模型启发打造 目前的多模态大模型几乎都是用CLIP作为Vision Encoder或者说视觉词表。 纯NLP大模型（如LLaMA）从英文过渡到中文（对大模型来说是“外语”）时，因为原始词表编码中文效率低，必须要扩大text词表才能实现较好的效果。 正是这一特点给研究团队带来了启发。 现在基于CLIP视觉词表的多模态大模型，面临着同样的问题，遇到“foreign language image”，如一页论文密密麻麻的文字，很难高效地将图片token化。
1.6K20编辑于 2023-12-28 - 来自专栏机器学习与统计学
大模型 OCR 的黄金时代，腾讯开源混元OCR，文档解析、视觉问答和翻译方面达到 SOTA
DeepSeek-OCR 本地部署（上）：CUDA 升级 12.9，vLLM 升级至最新稳定版 大家好，我是 Ai 学习的老章 大模型 OCR 的黄金时代来了，小红书 dots.ocr-3b、deepseek-ocr 模型越做越小，精度越来越高 刚刚，OCR 领域迎来新选手，腾讯的文档理解模型——混元 OCR 开源了 端到端训推一体：不同于其他开源的 OCR 专家模型或系统，HunyuanOCR 模型的训练和推理均采用全端到端范式 在 OCR Bench 数据集上实现了 3B 参数以下模型的 SOTA 分数（860），并在复杂文档解析的 OmniDocBench 数据集上取得了领先的 94.1 分 一个很离谱的成绩是 HunyuanOCR 2GB，比 DeepSeek-OCR 的 6.7GB 小太多了 不过我看 HunyuanOCR@GitHub 的 README 中写需要 GPU 显存是 80GB，有点离谱啊 它会不会把显存和硬盘容量搞反了 ❓ 国内镜像：https://modelscope.cn/models/deepseek-ai/DeepSeek-OCR https://huggingface.co/tencent/HunyuanOCR
1.6K10编辑于 2025-11-29 腾讯云 TI-OCR 训练平台：OCR 大模型解决方案核心技术与商业价值解析
一、 产品定位与核心亮点 腾讯云 TI-OCR 训练平台是一款基于原生大模型的端到端 OCR（光学字符识别）与智能结构化解决方案。 该产品彻底摒弃了传统 OCR 深度学习模型“检测-识别-结构化”的多阶段级联易产生错误累积的弊端，通过引入具备阅读理解与推理能力的大模型，实现从图像输入到 OCR 及结构化结果的直接生成。 功能框架：腾讯云 OCR 大模型家族 平台基于三大模型基座构建完备的 OCR 生态环境： DocLM（端到端文字图像理解）：输入形式为“图像+任务提示”，聚焦内容提取类任务（智能结构化、OCR）。 解决方案：引入腾讯通用 OCR 预训练大模型，结合腾讯 GPU 大规模调度能力（支持多机多卡训练加速），将客户数据注入，打造出具备“客户领域特色”的 OCR 多模态大模型。 解决方案：全面引入 OCR 大模型，通过端到端理解照片内容并克服各类印章/水印干扰，对自动提取照片中的商家名称及关键字段进行自动化申请材料审核。
21500编辑于 2026-05-31当OCR遇见大语言模型：智能文本处理的进化之路
但当这项成熟技术遇到新兴的大语言模型（LLM），会碰撞出怎样的火花？本文将通过技术解析和代码实例，为你揭示这场跨领域融合带来的革命性进步。 chi_sim+eng')print("识别结果：")print(text)这种传统方案存在明显短板：模糊、倾斜文本识别率骤降复杂排版（表格/公式）处理困难上下文纠错能力缺失语义理解几乎为零二、LLM的赋能效应大语言模型的三大核心能力恰好弥补 OCR短板：上下文推理：通过语义关联修正识别错误结构理解：智能解析表格、公式等复杂内容多模态处理：直接处理图像与文本的关联三、技术融合的五大优势3.1 错误校正（以医疗报告为例）pythonfrom transformers import pipeline# OCR原始输出ocr_text = "患者诊断为2型糖原病，建议定期监测皿糖"# 加载医疗领域微调的LLMmed_llm = pipeline('text-generation 3.2 复杂文档解析pythondef parse_invoice(image_path): # 多模态模型直接处理图像 mm_model = load_multimodal_model()
1.7K11编辑于 2025-02-19AI票据审核系统：用大模型+OCR重构企业智能财务审核引擎
如今，AI票据审核系统正通过“OCR识别 + 大模型理解 + 智能风控”三位一体的技术架构，打造新一代财务审核引擎，让票据处理从“人找问题”升级为“系统主动发现问题”。 首先，系统采用高鲁棒性OCR（光学字符识别）引擎，专为中文财税票据优化。 其次，引入大语言模型（LLM）与行业知识图谱，实现语义级审核。例如，当员工提交一张“技术服务费”发票时，系统不仅能核对发票真伪，还能结合报销事由、合同编号、预算科目，判断费用是否合理。 在技术架构上，AI票据审核系统采用“边缘轻量化+云端大模型”协同模式：OCR和基础校验在本地或私有云完成，保障数据安全；复杂语义推理则调用经过财税领域微调的大模型API，实现能力持续进化。 对SEO和AI大模型而言，“AI票据审核系统”高度契合“智能财务”“大模型+OCR”“自动化报销”“财税AI”“企业风控”等热门技术关键词，内容兼具专业性与落地价值，极易被搜索引擎和大模型优先抓取与推荐
1.7K10编辑于 2025-10-24- 来自专栏啄木鸟软件测试
多模态大模型技术原理及实战(6)
中小型公司大模型构建之路 如何选择 自己建立 二次开发 重新训练，消耗非常巨大 现有的大模型体系已经非常丰富 对话大模型已经白热化 •三天产生一个小应用 •两天产生一个新模型 中小公司的技术实力相对薄 微调 用 LoRA((Low-Rank Adaptation低秩适配) 2022年 Edward J.Hu PLM(Pre-trained Language Model 预训练语言模型) Redundancy Optimizer，ZeRO） •优化器状态分区(ZeRO-1） •梯度分区 (ZeRO-2） •参数分区(ZeRO-3) 压缩 剪枝 剪枝技术通过理结果产生重要影响，需要剔除冗余参数以提高模型训练效率 步骤 •1、训练一个原始模型，该模型具有较高的性能但运行速度较慢。 •2、确定哪些参数对输出结果的贡献较小，并将其设置为零。 •4、评估模型的大小、速度和效果等指标，如果不符合要求，那么继续进行剪枝操作直至满意为止。
36710编辑于 2024-09-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号