首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏姓王者的博客

    国产开源的文档转换器:MinerU

    简介 MinerU是由OpenDataLab团队打造的大模型时代的文档提取/转换神器 支持PDF、Word、PPT等多种文档的智能解析,可用于机器学习、大模型语料生产、RAG等场景 特点 多语种支持 多类型支持 导出格式为json markdown 客户端无需登录 开源免费 真国产(上海人工智能实验室) 使用效果 我用了一个很长的pdf文档来试了一下,解析的效果很好 渲染出来的markdown效果很好,但是某些公式识别的不够准确 ,导致我尝试在web渲染markdown时锚点全是h1,seo优化极差 : ( 总结 总体来说效果还是不错的,未来应该会推出更多的格式转换 推荐大家试一试,有硬件条件的可以本地部署一个玩玩

    87310编辑于 2025-03-28
  • 来自专栏四楼没电梯

    字节跳动 Dolphin vs Mineru:哪个才是你的文档解析最优解?

    一句话总结 Dolphin 更适合研究和多模态文档解析,Mineru 更适合实际生产和多类型文档处理。 种语言; 模块化设计:从解析、校对到导出全流程打通; 输出灵活:支持 Markdown、结构化 JSON,多种中间格式方便二次处理; 部署简单:支持 Windows、Mac、Linux,兼容 CPU/GPU MinerU 使用文档MinerU 文档中心 适用场景 各类生产环境文档自动化处理 OCR 文档、合同扫描件、旧档案清洗 NLP 项目数据预处理和知识库构建 性能实测亮点 Dolphin 页面级 、元素级解析准确率高 采用 HAP 技术,多个元素并行处理,效率高于传统 pipeline 更适合 GPU 高性能部署场景 ⚙️ Mineru 在 Docling 测试中表现优异(GPU 上 0.21 是研究人员 / 算法工程师 主要文档是学术论文、技术文档 对效率和多模态理解有强需求 ️ 你适合 Mineru 吗?

    3.7K10编辑于 2025-05-29
  • 来自专栏轩辕镜像

    MinerU Docker 部署指南:PDF 结构化解析服务实践

    以下分别介绍这三种服务的部署方法。1.vLLM后端服务部署vLLM后端服务是MinerU的核心组件,提供高性能的文档解析与处理能力。 接口,方便其他应用程序集成MinerU文档处理能力。 您可以上传测试文档并尝试解析功能,验证系统是否正常工作。生产环境建议硬件资源配置MinerU的性能很大程度上取决于硬件配置,特别是在处理大型文档或启用AI增强功能时。 ,可参考MinerU镜像文档(轩辕)https://xuanyuan.cloud/r/alexsuntop/mineru获取更多信息。 https://docs.vllm.aiGradio相关资源Gradio官方文档https://www.gradio.app/docs总结本文详细介绍了MinerU的Docker容器化部署方案,包括环境准备

    2.3K20编辑于 2025-12-31
  • MinerU JSTS SDK 深度指南:JavaScriptTypeScript 开发者的 PDF文档解析利器

    MinerU 是什么MinerU 是上海人工智能实验室开源的一站式文档解析工具,基于视觉语言模型(VLM)架构,能够将 PDF、图片、Word、PPT、Excel 等任意格式的文档转换为结构化的 Markdown ,稳居当前文档解析榜首。 本文聚焦 JavaScript/TypeScript SDK(包名 mineru-open-sdk),面向需要在前端工程、Node.js 后端服务或 AI Agent 中集成文档解析能力的开发者。 /output/");}相关链接官方网站:https://mineru.netSDK 源码:https://github.com/opendatalab/MinerU-EcosystemAPI 文档:https :只需一行代码,mineru-open-sdk 即可将任意文档转换为结构化的 Markdown,配合 Precision Extract 的多格式输出和 AI Agent 状态跟踪能力,是构建文档处理流水线

    18110编辑于 2026-04-14
  • 来自专栏自然语言处理

    基于MinerU的PDF解析API

    基于MinerU的PDF解析A - MinerU的GPU镜像构建 - 基于FastAPI的PDF解析接口 支持一键启动,已经打包到镜像中,自带模型权重,支持GPU推理加速,GPU速度相比CPU每页解析要快几十倍不等 主要功能 删除页眉、页脚、脚注、页码等元素,保持语义连贯 对多栏输出符合人类阅读顺序的文本 保留原文档的结构,包括标题、段落、列表等 提取图像、图片标题、表格、表格标题 自动识别文档中的公式并将公式转换成 latex 自动识别文档中的表格并将表格转换成latex 乱码PDF自动检测并启用OCR 支持CPU和GPU环境 支持windows/linux/mac平台 具体原理 请见PDF-Extract-Kit PDF文档中包含大量知识信息,然而提取高质量的PDF内容并非易事。 :0.2-models dockerhub地址:docker pull quincyqiang/mineru:0.2-models 启动命令: docker run -itd --name=mineru_server

    2.5K11编辑于 2024-11-23
  • 来自专栏TCR实践

    Harbor边缘部署文档

    access_secret 仓库access_key 仓库状态 仓库状态 仓库名称 在Harbor中仓库的唯一ID 仓库credential类型 仓库access_secret 仓库access_key Harbor边缘部署文档 tls.key /etc/docker/certs.d/yourdomain.com/ cp ca.crt /etc/docker/certs.d/yourdomain.com/ 使用边缘Harbor部署工作负载

    1.7K30编辑于 2022-03-06
  • 来自专栏开源部署

    MetaQ安装部署文档

    一.MetaQ安装部署情况: 地点 IP Broker ID Master/Slave Slave ID:Group 合肥 192.168.52.23 1 Slave 1:meta-slave-group-hf 部署 解压tar zxvfmetaq-server-1.4.6.2.tar.gz,将解压出来的taobao/metamorphosis-server-wrapper文件夹移动到/usr/lib下,并重命名为

    74710编辑于 2022-06-28
  • 来自专栏翩翩白衣少年

    开源的全能Markdown格式文件提取器:MinerU

    MinerU项目介绍 MinerU 是一款一站式的高质量数据提取工具,主要功能包括从PDF、网页和电子书中提取数据,并将其转换为Markdown格式。 无论是处理繁琐的PDF文档,还是从网页和电子书中提取有价值的信息,MinerU都能够轻松应对。 该项目采用PyMuPDF以实现高级功能。 作为一个程序员,Markdown格式文档使用的比较多,对于md格式的阅读习惯很深,而MinerU可以轻松实现从各种PDF文档、网页和电子书中提取数据并整理成Markdown格式。 Markdown 至于使用的方式,最方便的当然是官方在线Demo: https://opendatalab.com/OpenSourceTools/Extractor/PDF 也可以自己依据项目说明进行本地或在线部署 ,毕竟人家是开源的(不过部署起来有些许麻烦,涉及许多配置及模型) 具体的需访问GitHub项目主页(https://github.com/opendatalab/MinerU),根据文档进行安装配置,即可开始使用

    2.2K10编辑于 2024-08-13
  • 来自专栏AI进修生

    MinerU、Doc2X、OmniParse、llm_aided_ocr 四款流行OCR工具测评(LLM & RAG数据准备)

    部署实操了下面这几个近期流行的LLM OCR工具: MinerU MinerU曾在一两周前上过Github Trending榜,并且持续了好几天。 但是Doc2X可以很好的识别出来: 不过MinerU在公式识别上还不错,至少不会像OmniParse那样将原字符识别错误。 要在本地部署他大约需要8G显存,如果你用cpu的话它将变得非常慢。 我建议你在linux上部署MinerU,因为我在windows部署它时,出现了cpu运行正常,gpu不正常的情况(对环境依赖版本有要求,你可以issue中查看),并且他的部署下载过程会比较久,因为他要下载大模型文件 OmniParse 它的优势在于:无论你处理的是文档、表格、图像、视频、音频文件还是网页,OmniParse 都可以将您的数据准备得干净、结构化,并可用于 RAG、微调等 AI 应用程序。 但是根据我的实践它在处理pdf文档时尤其是公式会出现字符错误,远远不如Doc2X的准确性。

    8.3K10编辑于 2024-12-02
  • 来自专栏飞鸟的专栏

    Kafka集群部署文档

    /local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & 现在,我们的Kafka集群已经成功部署了 现在,我们已经成功地部署了Kafka集群,并使用Kafka提供的命令行工具测试了它的功能。

    90030编辑于 2023-03-28
  • 来自专栏Dotnet Dancer

    MinerU本地化部署教程——一款AI知识库建站的必备工具

    前言:来一个官方一点的介绍:MinerU是一个一站式、开源、高质量的数据提取工具,支持多种功能,如提取 PDF、markdown 等格式的内容。 MinerU可以用来做什么? 但是私有文档很多是PDF文件,RAG索引对PDF文件的处理效果有限,特别是如果还有图片内容,识别解析度准确度会更低。所以需要使用更适合的文档类型来提高识别的准确度,例如markdown文件等。 下载minerU,客户端版本下载地址: https://mineru.net/ 安装完成以后,可以直接上传文件进行解析。注意,这儿上传的文件,会被传输到远程的线上默认环境进行解析。 但是使用客户端的minerU,毕竟文档会被上传到云端,如果遇到私密的文档,还可能存在消息泄露的隐患。所以需要本地化部署minerU来解决这个问题,毕竟本地才最安全。接下来开始本地化部署操作教程。 至此,一切准备就绪,接下来就可以对自己的PDF文档进行处理啦! 以上就是minerU本地安装配置的全部过程。没了。

    11.6K10编辑于 2025-03-29
  • MinerU 生态实战_图片型PDF批量转Markdown

    MinerU 在这方面效果很好,版面分析、公式识别、表格结构化都能处理,但本地部署门槛不低——GPU、几个 G 的模型文件、CUDA 和 PyTorch 版本对齐,光配环境就可能折腾半天。 Token 在 mineru.net/apiManage/token 免费申请,支持最大 200MB / 200 页:from mineru import MinerUclient = MinerU(" LaTeX / JSONMD / DOCX / HTML / LaTeX / JSON编程集成原生 Python 对象,.markdown .images 直接用stdout 文本流,管道友好和本地部署怎么选云端方案 本地部署(pip install magic-pdf[full])适合数据不能出内网的场景:完全离线运行,但需要 GPU(推荐 8GB+ 显存)和比较折腾的环境配置。 文档mineru.net/apiManage/docs

    7710编辑于 2026-04-16
  • 来自专栏周拱壹卒

    内网环境在 RAGFlow 中使用 MinerU

    前提假设 已通过 docker 的形式在内网环境部署 RagFlow RAGFlow 版本 >= v0.21.1 有内网环境 pip 源 安装 MinerU 更新 .env 文件 在 .env[2] 文件中添加如下内容 : MINERU_EXECUTABLE=/ragflow/uv_tools/.venv/bin/mineru MINERU_MODEL_SOURCE=local 其中 MINERU_MODEL_SOURCE 创建 mineru.json 根据 MinerU 配置模板[4] 或下面内容,创建 mineru.json 配置文件,放在 volume 路径下供后面 docker-compose.yml 中使用: { /volume/mineru.json:/root/mineru.json + - . API 在 RAGFlow 中使用 RAGFlow 知识库配置中,选择 MinerU 作为 PDF 解析器后,上传文档执行解析任务,可在容器中看到 MinerU 进程在运行: $ ps -ef|grep

    56310编辑于 2026-03-16
  • MinerU LlamaIndex 集成深度指南:一键打通复杂文档与大模型数据索引架构

    MinerU 是什么MinerU 是上海人工智能实验室开源的一站式文档解析工具,基于视觉语言模型(VLM)架构,能够将 PDF、图片、Word、PPT、Excel 等任意格式的文档转换为结构化的 Markdown ,稳居当前文档解析榜首。 它将 MinerU 的高精度文档解析能力无缝桥接到 LlamaIndex 生态——只需一行代码,即可将 PDF、DOC、PPT、图片等复杂文档转换为结构化的 Markdown,并立即投入 RAG 检索链路 precision 模式必填,也可通过 MINERU_TOKEN 环境变量提供languagestr"ch"文档语言代码,如 "ch"(中文)、"en"(英文)pagesstr \| NoneNone页码范围 Python SDK:https://github.com/opendatalab/MinerU-Ecosystem/tree/main/sdk/pythonAPI 文档:https://mineru.net

    14910编辑于 2026-04-16
  • MinerU的python接口使用例子

    参考官方例子:mineru.readthedocs.io/en/latest/user_guide/quick_start/to_markdown.html 本地文件例子: import os from

    71110编辑于 2025-07-22
  • 来自专栏《Cloud Studio》

    免费部署PDF转Markdown文件的方法

    83e02aec0842b1f638728f53ee5e98f9&sharer_shareinfo_first=83e02aec0842b1f638728f53ee5e98f9&version=4.1.33.99589&platform=mac#rd免费部署 对于PDF文档,一个比较推荐的解决方案是,先将PDF文件转成Markdown文件,再录入知识库中。 MinerU关于PDF转Markdown的工具,一个比较不错的工具是MinerU,这是一个开源免费的转换工具。 一般来说,这种PDF转换工具,对硬件的要求都比较高,比如MinerU就给出了推荐的硬件配置,其中内存建议32G以上。为了更好的体验MinerU的功能,我们选择云服务器来部署。 Cloud Studio我们使用腾讯云的Cloud Studio来部署,腾讯云是专业的云服务器提供商,而腾讯云推出的 Cloud Studio,相当于在服务器机器之上提供了开发环境,开发模板,主流模型等

    1.5K00编辑于 2025-03-13
  • 来自专栏飞鸟的专栏

    etcd集群原理,部署文档

    本文将介绍etcd集群的原理和部署文档。etcd集群原理etcd是一个强一致性的系统,它采用Raft协议作为一致性算法。 etcd集群部署文档etcd集群可以在多台服务器上部署,以保证高可用性。下面是etcd集群的部署文档:步骤1:安装etcd在所有节点上安装etcd,可以从etcd官网下载二进制文件进行安装。 要部署etcd集群,需要在每个节点上安装etcd软件,并创建etcd配置文件,指定节点的IP地址、端口号、数据存储目录和集群配置。

    2K20编辑于 2023-03-27
  • 识别财报、试卷、合同绝了!几大开源 OCR 超强工具,你值得拥有

    市面上开源OCR方案五花八门,适配场景、识别精度、部署难度差得不少——有的主打中文精准识别,有的胜在轻量化开箱即用,有的靠大厂背书稳定性拉满。 /tesseract-ocr/tesseract 生态成熟、免费开源,支持插件扩展,多语言兼容性强 较低 简单印刷体、文档识别、自动化脚本批量处理 2 PaddleOCR-VL-1.5 https:// github.com/PaddlePaddle/PaddleOCR 中文优化突出,支持竖排/印章/手写体,可部署API,生态完善 中等 证件、票据、复杂排版、业务系统集成 3 MinerU 2.5 https /Tencent/HunyuanOCR 腾讯背书,支持表格/公式识别,稳定性强,中文适配好 中等 办公文档、表格提取、企业级轻量部署 6 智谱GLM OCR https://github.com/THUDM 输出路径 图形界面:终端输入 mineru --gui,打开后拖入图片,点击“识别”即可 ●4.

    5010编辑于 2026-04-17
  • 来自专栏cuijianzhe

    openstack系列- keystone部署文档

    -------------------------------------------------------------------+ ---- 标题:openstack系列- keystone部署文档

    1.3K10编辑于 2022-06-14
  • 来自专栏python前行者

    MinerU、Magic-PDF、Magic-Doc

    关于 MinerU MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能: Magic-PDF PDF文档提取 Magic-Doc 网页与电子书提取 github: https:// 支持转换本地文档或者位于支持S3协议对象存储上的文件。 主要功能包含: 支持多种前端模型输入 删除页眉、页脚、脚注、页码等元素 符合人类阅读顺序的排版格式 保留原文档的结构和格式,包括标题、段落、列表等 提取图像和表格并在markdown中展示 将公式转换成 安装magic-pdf conda create -n MinerU python=3.10 conda activate MinerU pip install -U magic-pdf[full] - 支持转换本地文档或者位于 AWS S3 上的文件 主要功能包含 Web网页提取 跨模态精准解析图文、表格、公式信息 电子书文献提取 支持 epub,mobi等多格式文献,文本图片全适配

    3.1K10编辑于 2024-11-24
领券