首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏轩辕镜像

    MinerU Docker 部署指南:PDF 结构化解析服务实践

    本指南将以Docker容器化部署为核心,详细介绍MinerU在vLLM等加速后端场景下的部署方式,包括环境准备、镜像拉取、服务启动、功能验证以及生产环境配置建议,帮助用户快速构建稳定、可复现的MinerU 以下分别介绍这三种服务的部署方法。1.vLLM后端服务部署vLLM后端服务是MinerU的核心组件,提供高性能的文档解析与处理能力。 部署GradioWebUI提供直观的图形界面,适合非技术用户使用MinerU的功能。 ,建议部署多实例并配置负载均衡,以提高系统可用性:多实例部署部署多个MinerU实例,避免单点故障负载均衡:使用Nginx或云服务提供商的负载均衡服务分发流量自动扩缩容:在Kubernetes环境中, Kubernetes环境中部署,以获得更强大的编排和管理能力通过本文提供的指南,相信您已能够顺利部署和使用MinerU容器化应用。

    2.3K20编辑于 2025-12-31
  • 来自专栏自然语言处理

    基于MinerU的PDF解析API

    基于MinerU的PDF解析A - MinerU的GPU镜像构建 - 基于FastAPI的PDF解析接口 支持一键启动,已经打包到镜像中,自带模型权重,支持GPU推理加速,GPU速度相比CPU每页解析要快几十倍不等 进行表格识别; 光学字符识别:使用PaddleOCR进行文本识别; 镜像地址: 阿里云地址:docker pull registry.cn-beijing.aliyuncs.com/quincyqiang/mineru :0.2-models dockerhub地址:docker pull quincyqiang/mineru:0.2-models 启动命令: docker run -itd --name=mineru_server --gpus=all -p 8888:8000 quincyqiang/mineru:0.2-models 具体截图请见博客:https://cloud.tencent.com/developer/article , 'page_idx': 5 }

    2.5K11编辑于 2024-11-23
  • 来自专栏姓王者的博客

    国产开源的文档转换器:MinerU

    简介 MinerU是由OpenDataLab团队打造的大模型时代的文档提取/转换神器 支持PDF、Word、PPT等多种文档的智能解析,可用于机器学习、大模型语料生产、RAG等场景 特点 多语种支持 多类型支持 ,导致我尝试在web渲染markdown时锚点全是h1,seo优化极差 : ( 总结 总体来说效果还是不错的,未来应该会推出更多的格式转换 推荐大家试一试,有硬件条件的可以本地部署一个玩玩

    86810编辑于 2025-03-28
  • MinerU的python接口使用例子

    参考官方例子:mineru.readthedocs.io/en/latest/user_guide/quick_start/to_markdown.html 本地文件例子: import os from

    70910编辑于 2025-07-22
  • 来自专栏周拱壹卒

    内网环境在 RAGFlow 中使用 MinerU

    前提假设 已通过 docker 的形式在内网环境部署 RagFlow RAGFlow 版本 >= v0.21.1 有内网环境 pip 源 安装 MinerU 更新 .env 文件 在 .env[2] 文件中添加如下内容 : MINERU_EXECUTABLE=/ragflow/uv_tools/.venv/bin/mineru MINERU_MODEL_SOURCE=local 其中 MINERU_MODEL_SOURCE "vlm": "" }, "config_version": "1.3.1" } 更新 docker-compose.yml 文件 更新 docker-compose.yml[5] ___5-2509-1___2B" }, "config_version": "1.3.1" } 验证功能 完成安装后通过命令行验证 MinerU 功能: $ mineru -p test.pdf [5] docker-compose.yml: https://github.com/infiniflow/ragflow/blob/main/docker/docker-compose.yml [

    54610编辑于 2026-03-16
  • 来自专栏Dotnet Dancer

    MinerU本地化部署教程——一款AI知识库建站的必备工具

    前言:来一个官方一点的介绍:MinerU是一个一站式、开源、高质量的数据提取工具,支持多种功能,如提取 PDF、markdown 等格式的内容。 MinerU可以用来做什么? 下载minerU,客户端版本下载地址: https://mineru.net/ 安装完成以后,可以直接上传文件进行解析。注意,这儿上传的文件,会被传输到远程的线上默认环境进行解析。 但是使用客户端的minerU,毕竟文档会被上传到云端,如果遇到私密的文档,还可能存在消息泄露的隐患。所以需要本地化部署minerU来解决这个问题,毕竟本地才最安全。接下来开始本地化部署操作教程。 conda create -n mineru python=3.10 创建成功以后,激活conda环境。 conda activate mineru 安装magic-pdf环境,主要解析工具是这个。 以上就是minerU本地安装配置的全部过程。没了。

    11.5K10编辑于 2025-03-29
  • 来自专栏python前行者

    MinerU、Magic-PDF、Magic-Doc

    关于 MinerU MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能: Magic-PDF PDF文档提取 Magic-Doc 网页与电子书提取 github: https:// github.com/opendatalab/MinerU/blob/master/README_zh-CN.md 在线体验地址: https://opendatalab.com/OpenSourceTools /Extractor/PDF https://www.modelscope.cn/studios/OpenDataLab/MinerU Magic-PDF 简介 Magic-PDF 是一款将 PDF 安装magic-pdf conda create -n MinerU python=3.10 conda activate MinerU pip install -U magic-pdf[full] - 存放图片目录 ├── some_pdf_layout.pdf # layout 绘图 ├── some_pdf_middle.json # minerU

    3.1K10编辑于 2024-11-24
  • 来自专栏《Cloud Studio》

    免费部署PDF转Markdown文件的方法

    mpshare=1&scene=1&srcid=0309fALktUg2OtrIvougpl27&sharer_shareinfo=83e02aec0842b1f638728f53ee5e98f9&sharer_shareinfo_first =83e02aec0842b1f638728f53ee5e98f9&version=4.1.33.99589&platform=mac#rd免费部署PDF转Markdown文件的方法为了能让AI大语言模型 MinerU关于PDF转Markdown的工具,一个比较不错的工具是MinerU,这是一个开源免费的转换工具。 一般来说,这种PDF转换工具,对硬件的要求都比较高,比如MinerU就给出了推荐的硬件配置,其中内存建议32G以上。为了更好的体验MinerU的功能,我们选择云服务器来部署。 Cloud Studio我们使用腾讯云的Cloud Studio来部署,腾讯云是专业的云服务器提供商,而腾讯云推出的 Cloud Studio,相当于在服务器机器之上提供了开发环境,开发模板,主流模型等

    1.5K00编辑于 2025-03-13
  • 来自专栏AI进修生

    MinerU、Doc2X、OmniParse、llm_aided_ocr 四款流行OCR工具测评(LLM & RAG数据准备)

    部署实操了下面这几个近期流行的LLM OCR工具: MinerU MinerU曾在一两周前上过Github Trending榜,并且持续了好几天。 但是Doc2X可以很好的识别出来: 不过MinerU在公式识别上还不错,至少不会像OmniParse那样将原字符识别错误。 要在本地部署他大约需要8G显存,如果你用cpu的话它将变得非常慢。 我建议你在linux上部署MinerU,因为我在windows部署它时,出现了cpu运行正常,gpu不正常的情况(对环境依赖版本有要求,你可以issue中查看),并且他的部署下载过程会比较久,因为他要下载大模型文件 它有众多的导出形式 你最好选择$$,浙江更好地显示latex公式 但是他也有缺点他并不开源,并且无法本地部署,意味着你只能将数据交给云端。 Doc2X官网 https://doc2x.noedgeai.com/ 参考链接: [1] MinerU:https://github.com/opendatalab/MinerU [2] omniparse

    8.2K10编辑于 2024-12-02
  • MinerU 生态实战_图片型PDF批量转Markdown

    MinerU 在这方面效果很好,版面分析、公式识别、表格结构化都能处理,但本地部署门槛不低——GPU、几个 G 的模型文件、CUDA 和 PyTorch 版本对齐,光配环境就可能折腾半天。 Token 在 mineru.net/apiManage/token 免费申请,支持最大 200MB / 200 页:from mineru import MinerUclient = MinerU(" LaTeX / JSONMD / DOCX / HTML / LaTeX / JSON编程集成原生 Python 对象,.markdown .images 直接用stdout 文本流,管道友好和本地部署怎么选云端方案 本地部署(pip install magic-pdf[full])适合数据不能出内网的场景:完全离线运行,但需要 GPU(推荐 8GB+ 显存)和比较折腾的环境配置。 相关链接MinerU 生态主页:mineru.net/ecosystemPython SDK:GitHubCLI 工具:GitHubAPI Token 申请:mineru.net/apiManage/tokenAPI

    1700编辑于 2026-04-16
  • 来自专栏四楼没电梯

    字节跳动 Dolphin vs Mineru:哪个才是你的文档解析最优解?

    一句话总结 Dolphin 更适合研究和多模态文档解析,Mineru 更适合实际生产和多类型文档处理。 快速对比:Dolphin vs Mineru 对比维度 Dolphin Mineru 发布机构 字节跳动 Bytedance 上海人工智能实验室 OpenDataLab 发布时间 2025 年 5 OCR 核心特点 支持扫描 PDF:内置 OCR 模块,支持 84 种语言; 模块化设计:从解析、校对到导出全流程打通; 输出灵活:支持 Markdown、结构化 JSON,多种中间格式方便二次处理; 部署简单 MinerU 使用文档:MinerU 文档中心 适用场景 各类生产环境文档自动化处理 OCR 文档、合同扫描件、旧档案清洗 NLP 项目数据预处理和知识库构建 性能实测亮点 Dolphin 页面级 、元素级解析准确率高 采用 HAP 技术,多个元素并行处理,效率高于传统 pipeline 更适合 GPU 高性能部署场景 ⚙️ Mineru 在 Docling 测试中表现优异(GPU 上 0.21

    3.7K10编辑于 2025-05-29
  • 来自专栏翩翩白衣少年

    开源的全能Markdown格式文件提取器:MinerU

    大家好,今天要给大家推荐一款堪称全能的开源Markdown格式文件提取器—MinerUMinerU项目介绍 MinerU 是一款一站式的高质量数据提取工具,主要功能包括从PDF、网页和电子书中提取数据,并将其转换为Markdown格式。 Markdown 至于使用的方式,最方便的当然是官方在线Demo: https://opendatalab.com/OpenSourceTools/Extractor/PDF 也可以自己依据项目说明进行本地或在线部署 ,毕竟人家是开源的(不过部署起来有些许麻烦,涉及许多配置及模型) 具体的需访问GitHub项目主页(https://github.com/opendatalab/MinerU),根据文档进行安装配置,即可开始使用 结语 总的来说,MinerU是一款非常实用且强大的数据提取工具。无论你是开发者、互联网从业者,还是有具体需求的新人小白,MinerU都能极大地提升你的工作效率,让你专注于更有价值的工作。

    2.1K10编辑于 2024-08-13
  • MinerU JSTS SDK 深度指南:JavaScriptTypeScript 开发者的 PDF文档解析利器

    token:import { MinerU } from "mineru-open-sdk";const client = new MinerU(); // 自动读取 MINERU_TOKEN方式二: 代码中显式传入import { MinerU } from "mineru-open-sdk";const client = new MinerU("your-api-token");如果没有传入 token import { MinerU } from "mineru-open-sdk";const client = new MinerU("your-api-token");const result = await const batchId = await client.submitBatch(["a.pdf", "b.pdf"], { fileParams: { "a.pdf": { pages: "1-5" }, // a.pdf 只解析前 5 页 "b.pdf": { pages: "10-20" }, // b.pdf 只解析 10-20 页 },});// 轮询直到完成while (

    12810编辑于 2026-04-14
  • 来自专栏时悦的学习笔记

    MySQL MHA部署 Part 5 MHA部署指南

    5.

    94911发布于 2020-08-19
  • 来自专栏devops探索

    redis5 cluster 部署

    192.168.152.130 ----- 7004 192.168.152.130 ----- 7005 192.168.152.131 ----- 7002 192.168.152.132 ----- 7003 部署 192.168.152.130:7004 slots:[10923-16383] (5461 slots) master 1 additional replica(s) S: e1686d5ce576e9446211fb9ae82999f4e98a8ad5 192.168.152.130:7004@17004 master - 0 1554433711000 5 connected 10923-16383 e1686d5ce576e9446211fb9ae82999f4e98a8ad5 192.168.152.129:7001@17001 slave d4e934df845735259d5d47204452df3d9089ee0c 0 1554433711531 5 connected 192.168.152.130:7004 slots:[10923-16383] (5461 slots) master 1 additional replica(s) S: e1686d5ce576e9446211fb9ae82999f4e98a8ad5

    1.8K10发布于 2020-07-31
  • 来自专栏生信情报站

    宝塔中部署 ThinkPHP5(tp5

    s=$1 last; break; } } 测试: 其他检测项: thinkPHP 版本 > 5 PHP 版本 5.4 ThinkPHP route.php 规则是否添加 ThinkPHP config.php

    1.7K20发布于 2021-01-13
  • 来自专栏医学和生信笔记

    现在的AI工具真的离谱,800多页的扫描版统计学PDF分分钟变成可编辑的word…

    想摘个数据都得手动敲,眼睛都要瞎了 昨天被人安利了 MinerU-真的太强了,太牛逼了!!! 一句话概括: 一个能把你任何PDF/Word/PPT,一键转成干净、结构化、可编辑文档的全能神器! 三种方式随便用: 1️⃣ 在线用:打开官网 https://mineru.net/ → 直接拖文件进去 2️⃣ 下客户端:Win/Mac都有,安装像微信一样快,全程点点点✅ 3️⃣ 本地搭建(极客向): 支持私有部署,数据完全不出内网 而且! (不像某些工具转5页就让你充VIP) 它到底强在哪?实测亮点拉满! ✅ PDF识别超猛! 扫描版?原生PDF?通通拿下!我拿800页《医学统计学》测试:⏱️ 100页 ≈ 2分钟! 快去 https://mineru.net/ 试试! 800多页扫描版医学统计学都能搞定,你那几页报告算什么!

    13410编辑于 2026-03-17
  • 来自专栏电光石火

    RocketMQ5部署

    Local模式部署 由于 Local 模式下 Proxy 和 Broker 是同进程部署,Proxy本身无状态,因此主要的集群配置仍然以 Broker 为基础进行即可。 rocketmqlogs/broker_default.log The broker[xxx, 192.169.1.2:10911] boot success 多组节点(集群)单副本模式 一个集群内全部部署 Master 角色,不部署Slave 副本,例如2个Master或者3个Master,这种模式的优缺点如下: 优点:配置简单,单个Master宕机或重启维护对应用无影响,在磁盘配置为RAID10时,即使机器宕机不可恢复情况下

    71820编辑于 2023-10-16
  • MinerU LangChain 集成深度指南:一行代码搞定 PDF 到 RAG

    langchain-mineruMinerU 官方维护的 LangChain 文档加载器(Document Loader)。 MinerULoader( source="/path/to/demo.pdf", mode="precision", token="your-token", pages="1-5" , # 只解析 1-5 页 split\_pages=True, language="en", timeout=300,)docs = loader.load()for | str \| None | None | 页码范围,如 "1-5",仅对 PDF 有效 || timeout | int | 1200 | 单文件最大等待时间(秒) || split\_pages /MinerU-Ecosystem/tree/main/sdk/pythonAPI 文档:https://mineru.net/apiManage/docsToken 申请:https://mineru.net

    3500编辑于 2026-04-16
  • 来自专栏沉浸式趣谈

    《Indie Tools • 半月刊》第001期

    Awesome-independent-toolsSEO 入门指南链接: https://www.indiehackers.com/post/seo-from-a-newbie-for-beginners-bcc8c5ca10 它支持一键部署、反向代理域名以及自动 SSL 证书管理,极大地简化了网站的部署流程。 此外,Coolify 的本地化部署能力使得用户可以在自己的服务器上运行,确保数据的安全性和隐私性。使用场景Coolify 适用于需要快速部署和管理多个网站的开发者、小型团队以及个人项目。 310 个网站小众点的网站宣传自己的产品链接: https://www.yuque.com/immerse_/ne8bnp/pcg09a87d5iby09k特性310 个网站小众点的网站是一个专注于发掘和推广小众产品的在线平台 MinerU链接: https://github.com/opendatalab/MinerU特性MinerU 是一款专为数据提取和格式转换设计的开源工具,支持将 PDF 文件高效转换为 Markdown

    31610编辑于 2025-02-17
领券