首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏轩辕镜像

    MinerU Docker 部署指南:PDF 结构化解析服务实践

    本指南将以Docker容器化部署为核心,详细介绍MinerU在vLLM等加速后端场景下的部署方式,包括环境准备、镜像拉取、服务启动、功能验证以及生产环境配置建议,帮助用户快速构建稳定、可复现的MinerU 以下分别介绍这三种服务的部署方法。1.vLLM后端服务部署vLLM后端服务是MinerU的核心组件,提供高性能的文档解析与处理能力。 部署GradioWebUI提供直观的图形界面,适合非技术用户使用MinerU的功能。 ,建议部署多实例并配置负载均衡,以提高系统可用性:多实例部署部署多个MinerU实例,避免单点故障负载均衡:使用Nginx或云服务提供商的负载均衡服务分发流量自动扩缩容:在Kubernetes环境中, Kubernetes环境中部署,以获得更强大的编排和管理能力通过本文提供的指南,相信您已能够顺利部署和使用MinerU容器化应用。

    1.9K20编辑于 2025-12-31
  • 来自专栏自然语言处理

    基于MinerU的PDF解析API

    基于MinerU的PDF解析A - MinerU的GPU镜像构建 - 基于FastAPI的PDF解析接口 支持一键启动,已经打包到镜像中,自带模型权重,支持GPU推理加速,GPU速度相比CPU每页解析要快几十倍不等 进行表格识别; 光学字符识别:使用PaddleOCR进行文本识别; 镜像地址: 阿里云地址:docker pull registry.cn-beijing.aliyuncs.com/quincyqiang/mineru :0.2-models dockerhub地址:docker pull quincyqiang/mineru:0.2-models 启动命令: docker run -itd --name=mineru_server --gpus=all -p 8888:8000 quincyqiang/mineru:0.2-models 具体截图请见博客:https://cloud.tencent.com/developer/article

    2.4K10编辑于 2024-11-23
  • MinerU的python接口使用例子

    参考官方例子:mineru.readthedocs.io/en/latest/user_guide/quick_start/to_markdown.html 本地文件例子: import os from

    66610编辑于 2025-07-22
  • 来自专栏姓王者的博客

    国产开源的文档转换器:MinerU

    简介 MinerU是由OpenDataLab团队打造的大模型时代的文档提取/转换神器 支持PDF、Word、PPT等多种文档的智能解析,可用于机器学习、大模型语料生产、RAG等场景 特点 多语种支持 多类型支持 ,导致我尝试在web渲染markdown时锚点全是h1,seo优化极差 : ( 总结 总体来说效果还是不错的,未来应该会推出更多的格式转换 推荐大家试一试,有硬件条件的可以本地部署一个玩玩

    81310编辑于 2025-03-28
  • 来自专栏Dotnet Dancer

    MinerU本地化部署教程——一款AI知识库建站的必备工具

    前言:来一个官方一点的介绍:MinerU是一个一站式、开源、高质量的数据提取工具,支持多种功能,如提取 PDF、markdown 等格式的内容。 MinerU可以用来做什么? 下载minerU,客户端版本下载地址: https://mineru.net/ 安装完成以后,可以直接上传文件进行解析。注意,这儿上传的文件,会被传输到远程的线上默认环境进行解析。 但是使用客户端的minerU,毕竟文档会被上传到云端,如果遇到私密的文档,还可能存在消息泄露的隐患。所以需要本地化部署minerU来解决这个问题,毕竟本地才最安全。接下来开始本地化部署操作教程。 conda create -n mineru python=3.10 创建成功以后,激活conda环境。 conda activate mineru 安装magic-pdf环境,主要解析工具是这个。 以上就是minerU本地安装配置的全部过程。没了。

    10.2K10编辑于 2025-03-29
  • 来自专栏python前行者

    MinerU、Magic-PDF、Magic-Doc

    关于 MinerU MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能: Magic-PDF PDF文档提取 Magic-Doc 网页与电子书提取 github: https:// github.com/opendatalab/MinerU/blob/master/README_zh-CN.md 在线体验地址: https://opendatalab.com/OpenSourceTools /Extractor/PDF https://www.modelscope.cn/studios/OpenDataLab/MinerU Magic-PDF 简介 Magic-PDF 是一款将 PDF 安装magic-pdf conda create -n MinerU python=3.10 conda activate MinerU pip install -U magic-pdf[full] - 存放图片目录 ├── some_pdf_layout.pdf # layout 绘图 ├── some_pdf_middle.json # minerU

    2.9K10编辑于 2024-11-24
  • 来自专栏周拱壹卒

    内网环境在 RAGFlow 中使用 MinerU

    本文可作为 使用教程:如何在 RAGFlow 中使用 MinerU[1] 的补充,介绍如何在内网环境下配置 MinerU 解析器以供 RAGFlow 使用。 前提假设 已通过 docker 的形式在内网环境部署 RagFlow RAGFlow 版本 >= v0.21.1 有内网环境 pip 源 安装 MinerU 更新 .env 文件 在 .env[2] 文件中添加如下内容 : MINERU_EXECUTABLE=/ragflow/uv_tools/.venv/bin/mineru MINERU_MODEL_SOURCE=local 其中 MINERU_MODEL_SOURCE 创建 mineru.json 根据 MinerU 配置模板[4] 或下面内容,创建 mineru.json 配置文件,放在 volume 路径下供后面 docker-compose.yml 中使用: { /volume/mineru.json:/root/mineru.json + - .

    33910编辑于 2026-03-16
  • 来自专栏AI进修生

    MinerU、Doc2X、OmniParse、llm_aided_ocr 四款流行OCR工具测评(LLM & RAG数据准备)

    部署实操了下面这几个近期流行的LLM OCR工具: MinerU MinerU曾在一两周前上过Github Trending榜,并且持续了好几天。 但是Doc2X可以很好的识别出来: 不过MinerU在公式识别上还不错,至少不会像OmniParse那样将原字符识别错误。 要在本地部署他大约需要8G显存,如果你用cpu的话它将变得非常慢。 我建议你在linux上部署MinerU,因为我在windows部署它时,出现了cpu运行正常,gpu不正常的情况(对环境依赖版本有要求,你可以issue中查看),并且他的部署下载过程会比较久,因为他要下载大模型文件 它有众多的导出形式 你最好选择$$,浙江更好地显示latex公式 但是他也有缺点他并不开源,并且无法本地部署,意味着你只能将数据交给云端。 Doc2X官网 https://doc2x.noedgeai.com/ 参考链接: [1] MinerU:https://github.com/opendatalab/MinerU [2] omniparse

    8.1K10编辑于 2024-12-02
  • 来自专栏《Cloud Studio》

    免费部署PDF转Markdown文件的方法

    83e02aec0842b1f638728f53ee5e98f9&sharer_shareinfo_first=83e02aec0842b1f638728f53ee5e98f9&version=4.1.33.99589&platform=mac#rd免费部署 MinerU关于PDF转Markdown的工具,一个比较不错的工具是MinerU,这是一个开源免费的转换工具。 Github地址是:https://github.com/opendatalab/MinerU,同时也给了官网Demo地址:https://mineru.net/,在官网Demo地址上同样可以免费体验, 一般来说,这种PDF转换工具,对硬件的要求都比较高,比如MinerU就给出了推荐的硬件配置,其中内存建议32G以上。为了更好的体验MinerU的功能,我们选择云服务器来部署。 Cloud Studio我们使用腾讯云的Cloud Studio来部署,腾讯云是专业的云服务器提供商,而腾讯云推出的 Cloud Studio,相当于在服务器机器之上提供了开发环境,开发模板,主流模型等

    1.5K00编辑于 2025-03-13
  • 来自专栏翩翩白衣少年

    开源的全能Markdown格式文件提取器:MinerU

    大家好,今天要给大家推荐一款堪称全能的开源Markdown格式文件提取器—MinerUMinerU项目介绍 MinerU 是一款一站式的高质量数据提取工具,主要功能包括从PDF、网页和电子书中提取数据,并将其转换为Markdown格式。 Markdown 至于使用的方式,最方便的当然是官方在线Demo: https://opendatalab.com/OpenSourceTools/Extractor/PDF 也可以自己依据项目说明进行本地或在线部署 ,毕竟人家是开源的(不过部署起来有些许麻烦,涉及许多配置及模型) 具体的需访问GitHub项目主页(https://github.com/opendatalab/MinerU),根据文档进行安装配置,即可开始使用 结语 总的来说,MinerU是一款非常实用且强大的数据提取工具。无论你是开发者、互联网从业者,还是有具体需求的新人小白,MinerU都能极大地提升你的工作效率,让你专注于更有价值的工作。

    2.1K10编辑于 2024-08-13
  • 来自专栏四楼没电梯

    字节跳动 Dolphin vs Mineru:哪个才是你的文档解析最优解?

    一句话总结 Dolphin 更适合研究和多模态文档解析,Mineru 更适合实际生产和多类型文档处理。 快速对比:Dolphin vs Mineru 对比维度 Dolphin Mineru 发布机构 字节跳动 Bytedance 上海人工智能实验室 OpenDataLab 发布时间 2025 年 5 OCR 核心特点 支持扫描 PDF:内置 OCR 模块,支持 84 种语言; 模块化设计:从解析、校对到导出全流程打通; 输出灵活:支持 Markdown、结构化 JSON,多种中间格式方便二次处理; 部署简单 MinerU 使用文档:MinerU 文档中心 适用场景 各类生产环境文档自动化处理 OCR 文档、合同扫描件、旧档案清洗 NLP 项目数据预处理和知识库构建 性能实测亮点 Dolphin 页面级 、元素级解析准确率高 采用 HAP 技术,多个元素并行处理,效率高于传统 pipeline 更适合 GPU 高性能部署场景 ⚙️ Mineru 在 Docling 测试中表现优异(GPU 上 0.21

    3.5K10编辑于 2025-05-29
  • 来自专栏通用文字识别信息技术白皮书

    用户的声音 | 文档结构化信息提取方案测评:LLM、开源模型部署与云端API,谁是合适选择?

    其算力要求相对低的特点也使其适用于本地部署,一个广受好评的解决方案是MinerU,作为开源的数据提取工具,目前在github上已经有24.3k stars.测试minerU的安装相对复杂些,且如果要安装 值得注意的是,由于markdown格式表格不易于显示复杂表,minerU的默认表格识别将会把表格转换为html格式,从纯文本打开的话会像是这样:issues中有人给出了能转换为markdown格式的替代方案 小结名称访问地址文本正确性表格正确性标题正确性识别速度成本本地部署便捷使用MinerUhttps://github.com/opendatalab/MinerU基本正确较差只能简单区分是否为标题,且识别准确性不高正相关于硬件算力 16s/页可行(基于视觉大模型,显存要求高)可行部署便捷MinerUhttps://github.com/opendatalab/MinerU基本正确较差只能简单区分是否为标题,且识别准确性不高正相关于硬件算力 本地部署

    81510编辑于 2025-02-19
  • 来自专栏医学和生信笔记

    现在的AI工具真的离谱,800多页的扫描版统计学PDF分分钟变成可编辑的word…

    想摘个数据都得手动敲,眼睛都要瞎了 昨天被人安利了 MinerU-真的太强了,太牛逼了!!! 一句话概括: 一个能把你任何PDF/Word/PPT,一键转成干净、结构化、可编辑文档的全能神器! 三种方式随便用: 1️⃣ 在线用:打开官网 https://mineru.net/ → 直接拖文件进去 2️⃣ 下客户端:Win/Mac都有,安装像微信一样快,全程点点点✅ 3️⃣ 本地搭建(极客向): 支持私有部署,数据完全不出内网 而且! 快去 https://mineru.net/ 试试! 800多页扫描版医学统计学都能搞定,你那几页报告算什么!

    11610编辑于 2026-03-17
  • 来自专栏沉浸式趣谈

    《Indie Tools • 半月刊》第001期

    它支持一键部署、反向代理域名以及自动 SSL 证书管理,极大地简化了网站的部署流程。 此外,Coolify 的本地化部署能力使得用户可以在自己的服务器上运行,确保数据的安全性和隐私性。使用场景Coolify 适用于需要快速部署和管理多个网站的开发者、小型团队以及个人项目。 对于那些希望摆脱云服务商限制,同时又需要高效部署工具的用户,Coolify 是一个理想的选择。 MinerU链接: https://github.com/opendatalab/MinerU特性MinerU 是一款专为数据提取和格式转换设计的开源工具,支持将 PDF 文件高效转换为 Markdown 高质量输出:MinerU 的智能算法确保输出格式整齐、数据结构清晰,减少后期处理工作量。跨平台支持:支持多种操作系统和开发环境,用户可以在不同平台上无缝使用 MinerU

    30410编辑于 2025-02-17
  • 来自专栏沉浸式趣谈

    《INDIE TOOLS • 半月刊》第 001 期

    它支持一键部署、反向代理域名以及自动 SSL 证书管理,极大地简化了网站的部署流程。 此外,Coolify 的本地化部署能力使得用户可以在自己的服务器上运行,确保数据的安全性和隐私性。 使用场景 Coolify 适用于需要快速部署和管理多个网站的开发者、小型团队以及个人项目。 对于那些希望摆脱云服务商限制,同时又需要高效部署工具的用户,Coolify 是一个理想的选择。 通过集成 GitHub Actions,Coolify 还能满足持续集成与持续部署的需求,特别适合需要频繁更新和发布的项目。 MinerU MinerU 链接: https://github.com/opendatalab/MinerU 特性 MinerU 是一款专为数据提取和格式转换设计的开源工具,支持将 PDF 文件高效转换为

    26500编辑于 2025-01-10
  • 来自专栏福大大架构师每日一题

    ragflow v0.23.0 全面发布:Memory、Agent、Ingestion Pipeline、数据源与模型支持重大升

    • 为Docker部署中的TEI配置文件设置默认嵌入模型。 • 修复了列表索引越界错误。 • 将CV模型聊天迁移至异步。 • 将Infinity升级至v0.6.11(要求Python>=3.11)。 • 将MinerU视为OCR模型进行处理。 • 修复了异步聊天流重复输出的问题。 • 将并发库从Trio替换为Asyncio。 • 将Python版本要求提升至>=3.12。 • MinerU支持新的后端VLM-MLX引擎。 • 通过正确调用异步主函数修复了数据同步启动崩溃问题。 • 为元数据过滤器添加了半自动模式。 • 修复了异步问题和敏感信息日志记录。 • 修复了流水线忽略MinerU后端配置以及缺少vllm模块的问题。 • 在用户填充表单提交时显示名称而非键值。 • 更新了数据集配置和检索测试。 • 修复了多个错误。 • 更新了本地LLM部署文档,增加了vLLM指南支持。 • 在检索节点中显示已选记忆列表。 • 允许更新记忆类型。 • 修复了更多内存相关错误。 • 修复了不允许检查的字段移除问题。

    1K10编辑于 2025-12-30
  • 来自专栏独立开发工具 • 半月刊

    《独立开发工具 • 半月刊》 第 001 期

    它支持一键部署、反向代理域名以及自动 SSL 证书管理,极大地简化了网站的部署流程。 此外,Coolify 的本地化部署能力使得用户可以在自己的服务器上运行,确保数据的安全性和隐私性。使用场景Coolify 适用于需要快速部署和管理多个网站的开发者、小型团队以及个人项目。 对于那些希望摆脱云服务商限制,同时又需要高效部署工具的用户,Coolify 是一个理想的选择。 MinerU链接: https://github.com/opendatalab/MinerU特性MinerU 是一款专为数据提取和格式转换设计的开源工具,支持将 PDF 文件高效转换为 Markdown 高质量输出:MinerU 的智能算法确保输出格式整齐、数据结构清晰,减少后期处理工作量。跨平台支持:支持多种操作系统和开发环境,用户可以在不同平台上无缝使用 MinerU

    38910编辑于 2025-05-27
  • 来自专栏RAG

    收藏!RAG核心工具大全: 7大解析工具+向量模型+数据库+检索排序

    但,在实际部署中,普遍面临「垃圾进,垃圾出」(GarbageIn,GarbageOut)的困境。 MinerU特别强调对边注和页眉页脚的剔除,确保生成的Markdown文本流在语义上是连续的,不会被页面元数据打断。 与学术界的实验性模型不同,PaddleOCR极其强调模型在服务器、移动端及嵌入式设备上的部署能力。 核心特性:支持分布式部署、Kubernetes编排、多租户隔离以及多种索引类型(HNSW,DiskANN)。它适合需要极高吞吐量和大规模数据分片的企业级应用。 这对于部署在AWSLambda等Serverless环境或边缘设备上的RAG应用至关重要。选型建议构建开源RAG系统已不再是简单的模型堆砌,而是对数据处理全链路的精细化工程。

    45910编辑于 2026-02-13
  • 来自专栏自然语言处理

    6 大 RAG 知识库PDF文档处理神器对比,谁才是你的最佳选择?

    适用场景:科研文献、书籍等基础 PDF 转换需求,适合技术背景用户快速部署。 ✅ 开源免费、处理速度快(比同类快 4 倍) ❌ 缺乏复杂布局解析能力,依赖本地 GPU 资源 MinerU 项目地址:https://github.com/opendatalab/MinerU 处理 100 万页 PDF 成本约 190 美元,性能超过 Marker、MinerU 和 GOT-OCR 2.0。

    3.7K00编辑于 2025-03-02
  • 来自专栏翩翩白衣少年

    开源本地文档翻译神器,完美保留原格式,还能自动生成术语表(带一键安装包)

    注意: DocuTranslate: 标准版,使用在线的 minerU 引擎解析PDF文档,如果不需要本地解析pdf选这个版本(推荐)。 import MarkdownBasedWorkflow, MarkdownBasedWorkflowConfig from docutranslate.converter.x2md.converter_mineru 构建转换器配置 (使用 minerU) converter_config = ConverterMineruConfig( mineru_token="YOUR_MINERU_TOKEN ", # 你的 minerU Token formula_ocr=True # 开启公式识别 ) # 3. 构建主工作流配置 workflow_config = MarkdownBasedWorkflowConfig( convert_engine="mineru", # 指定解析引擎

    28010编辑于 2026-03-16
领券