首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏姓王者的博客

    国产开源的文档转换器:MinerU

    简介 MinerU是由OpenDataLab团队打造的大模型时代的文档提取/转换神器 支持PDF、Word、PPT等多种文档的智能解析,可用于机器学习、大模型语料生产、RAG等场景 特点 多语种支持 多类型支持 导出格式为json markdown 客户端无需登录 开源免费 真国产(上海人工智能实验室) 使用效果 我用了一个很长的pdf文档来试了一下,解析的效果很好 渲染出来的markdown效果很好,但是某些公式识别的不够准确 ,导致我尝试在web渲染markdown时锚点全是h1,seo优化极差 : ( 总结 总体来说效果还是不错的,未来应该会推出更多的格式转换 推荐大家试一试,有硬件条件的可以本地部署一个玩玩

    86110编辑于 2025-03-28
  • 来自专栏四楼没电梯

    字节跳动 Dolphin vs Mineru:哪个才是你的文档解析最优解?

    一句话总结 Dolphin 更适合研究和多模态文档解析,Mineru 更适合实际生产和多类型文档处理。 种语言; 模块化设计:从解析、校对到导出全流程打通; 输出灵活:支持 Markdown、结构化 JSON,多种中间格式方便二次处理; 部署简单:支持 Windows、Mac、Linux,兼容 CPU/GPU MinerU 使用文档MinerU 文档中心 适用场景 各类生产环境文档自动化处理 OCR 文档、合同扫描件、旧档案清洗 NLP 项目数据预处理和知识库构建 性能实测亮点 Dolphin 页面级 、元素级解析准确率高 采用 HAP 技术,多个元素并行处理,效率高于传统 pipeline 更适合 GPU 高性能部署场景 ⚙️ Mineru 在 Docling 测试中表现优异(GPU 上 0.21 是研究人员 / 算法工程师 主要文档是学术论文、技术文档 对效率和多模态理解有强需求 ️ 你适合 Mineru 吗?

    3.7K10编辑于 2025-05-29
  • 来自专栏轩辕镜像

    MinerU Docker 部署指南:PDF 结构化解析服务实践

    以下分别介绍这三种服务的部署方法。1.vLLM后端服务部署vLLM后端服务是MinerU的核心组件,提供高性能的文档解析与处理能力。 接口,方便其他应用程序集成MinerU文档处理能力。 您可以上传测试文档并尝试解析功能,验证系统是否正常工作。生产环境建议硬件资源配置MinerU的性能很大程度上取决于硬件配置,特别是在处理大型文档或启用AI增强功能时。 ,可参考MinerU镜像文档(轩辕)https://xuanyuan.cloud/r/alexsuntop/mineru获取更多信息。 https://docs.vllm.aiGradio相关资源Gradio官方文档https://www.gradio.app/docs总结本文详细介绍了MinerU的Docker容器化部署方案,包括环境准备

    2.2K20编辑于 2025-12-31
  • MinerU JSTS SDK 深度指南:JavaScriptTypeScript 开发者的 PDF文档解析利器

    MinerU 是什么MinerU 是上海人工智能实验室开源的一站式文档解析工具,基于视觉语言模型(VLM)架构,能够将 PDF、图片、Word、PPT、Excel 等任意格式的文档转换为结构化的 Markdown ,稳居当前文档解析榜首。 本文聚焦 JavaScript/TypeScript SDK(包名 mineru-open-sdk),面向需要在前端工程、Node.js 后端服务或 AI Agent 中集成文档解析能力的开发者。 /output/");}相关链接官方网站:https://mineru.netSDK 源码:https://github.com/opendatalab/MinerU-EcosystemAPI 文档:https :只需一行代码,mineru-open-sdk 即可将任意文档转换为结构化的 Markdown,配合 Precision Extract 的多格式输出和 AI Agent 状态跟踪能力,是构建文档处理流水线

    5810编辑于 2026-04-14
  • 来自专栏自然语言处理

    基于MinerU的PDF解析API

    基于MinerU的PDF解析A - MinerU的GPU镜像构建 - 基于FastAPI的PDF解析接口 支持一键启动,已经打包到镜像中,自带模型权重,支持GPU推理加速,GPU速度相比CPU每页解析要快几十倍不等 主要功能 删除页眉、页脚、脚注、页码等元素,保持语义连贯 对多栏输出符合人类阅读顺序的文本 保留原文档的结构,包括标题、段落、列表等 提取图像、图片标题、表格、表格标题 自动识别文档中的公式并将公式转换成 latex 自动识别文档中的表格并将表格转换成latex 乱码PDF自动检测并启用OCR 支持CPU和GPU环境 支持windows/linux/mac平台 具体原理 请见PDF-Extract-Kit PDF文档中包含大量知识信息,然而提取高质量的PDF内容并非易事。 :0.2-models dockerhub地址:docker pull quincyqiang/mineru:0.2-models 启动命令: docker run -itd --name=mineru_server

    2.5K11编辑于 2024-11-23
  • 来自专栏AI进修生

    MinerU、Doc2X、OmniParse、llm_aided_ocr 四款流行OCR工具测评(LLM & RAG数据准备)

    部署实操了下面这几个近期流行的LLM OCR工具: MinerU MinerU曾在一两周前上过Github Trending榜,并且持续了好几天。 但是Doc2X可以很好的识别出来: 不过MinerU在公式识别上还不错,至少不会像OmniParse那样将原字符识别错误。 要在本地部署他大约需要8G显存,如果你用cpu的话它将变得非常慢。 我建议你在linux上部署MinerU,因为我在windows部署它时,出现了cpu运行正常,gpu不正常的情况(对环境依赖版本有要求,你可以issue中查看),并且他的部署下载过程会比较久,因为他要下载大模型文件 OmniParse 它的优势在于:无论你处理的是文档、表格、图像、视频、音频文件还是网页,OmniParse 都可以将您的数据准备得干净、结构化,并可用于 RAG、微调等 AI 应用程序。 但是根据我的实践它在处理pdf文档时尤其是公式会出现字符错误,远远不如Doc2X的准确性。

    8.2K10编辑于 2024-12-02
  • 来自专栏翩翩白衣少年

    开源的全能Markdown格式文件提取器:MinerU

    MinerU项目介绍 MinerU 是一款一站式的高质量数据提取工具,主要功能包括从PDF、网页和电子书中提取数据,并将其转换为Markdown格式。 无论是处理繁琐的PDF文档,还是从网页和电子书中提取有价值的信息,MinerU都能够轻松应对。 该项目采用PyMuPDF以实现高级功能。 作为一个程序员,Markdown格式文档使用的比较多,对于md格式的阅读习惯很深,而MinerU可以轻松实现从各种PDF文档、网页和电子书中提取数据并整理成Markdown格式。 Markdown 至于使用的方式,最方便的当然是官方在线Demo: https://opendatalab.com/OpenSourceTools/Extractor/PDF 也可以自己依据项目说明进行本地或在线部署 ,毕竟人家是开源的(不过部署起来有些许麻烦,涉及许多配置及模型) 具体的需访问GitHub项目主页(https://github.com/opendatalab/MinerU),根据文档进行安装配置,即可开始使用

    2.1K10编辑于 2024-08-13
  • 来自专栏TCR实践

    Harbor边缘部署文档

    access_secret 仓库access_key 仓库状态 仓库状态 仓库名称 在Harbor中仓库的唯一ID 仓库credential类型 仓库access_secret 仓库access_key Harbor边缘部署文档 tls.key /etc/docker/certs.d/yourdomain.com/ cp ca.crt /etc/docker/certs.d/yourdomain.com/ 使用边缘Harbor部署工作负载

    1.7K30编辑于 2022-03-06
  • 来自专栏开源部署

    MetaQ安装部署文档

    一.MetaQ安装部署情况: 地点 IP Broker ID Master/Slave Slave ID:Group 合肥 192.168.52.23 1 Slave 1:meta-slave-group-hf 部署 解压tar zxvfmetaq-server-1.4.6.2.tar.gz,将解压出来的taobao/metamorphosis-server-wrapper文件夹移动到/usr/lib下,并重命名为

    74310编辑于 2022-06-28
  • 来自专栏Dotnet Dancer

    MinerU本地化部署教程——一款AI知识库建站的必备工具

    前言:来一个官方一点的介绍:MinerU是一个一站式、开源、高质量的数据提取工具,支持多种功能,如提取 PDF、markdown 等格式的内容。 MinerU可以用来做什么? 但是私有文档很多是PDF文件,RAG索引对PDF文件的处理效果有限,特别是如果还有图片内容,识别解析度准确度会更低。所以需要使用更适合的文档类型来提高识别的准确度,例如markdown文件等。 下载minerU,客户端版本下载地址: https://mineru.net/ 安装完成以后,可以直接上传文件进行解析。注意,这儿上传的文件,会被传输到远程的线上默认环境进行解析。 但是使用客户端的minerU,毕竟文档会被上传到云端,如果遇到私密的文档,还可能存在消息泄露的隐患。所以需要本地化部署minerU来解决这个问题,毕竟本地才最安全。接下来开始本地化部署操作教程。 至此,一切准备就绪,接下来就可以对自己的PDF文档进行处理啦! 以上就是minerU本地安装配置的全部过程。没了。

    11.4K10编辑于 2025-03-29
  • 来自专栏飞鸟的专栏

    Kafka集群部署文档

    /local/kafka/bin/kafka-server-start.sh /usr/local/kafka/config/server.properties & 现在,我们的Kafka集群已经成功部署了 现在,我们已经成功地部署了Kafka集群,并使用Kafka提供的命令行工具测试了它的功能。

    89930编辑于 2023-03-28
  • 来自专栏周拱壹卒

    内网环境在 RAGFlow 中使用 MinerU

    前提假设 已通过 docker 的形式在内网环境部署 RagFlow RAGFlow 版本 >= v0.21.1 有内网环境 pip 源 安装 MinerU 更新 .env 文件 在 .env[2] 文件中添加如下内容 : MINERU_EXECUTABLE=/ragflow/uv_tools/.venv/bin/mineru MINERU_MODEL_SOURCE=local 其中 MINERU_MODEL_SOURCE 创建 mineru.json 根据 MinerU 配置模板[4] 或下面内容,创建 mineru.json 配置文件,放在 volume 路径下供后面 docker-compose.yml 中使用: { /volume/mineru.json:/root/mineru.json + - . API 在 RAGFlow 中使用 RAGFlow 知识库配置中,选择 MinerU 作为 PDF 解析器后,上传文档执行解析任务,可在容器中看到 MinerU 进程在运行: $ ps -ef|grep

    53310编辑于 2026-03-16
  • MinerU的python接口使用例子

    参考官方例子:mineru.readthedocs.io/en/latest/user_guide/quick_start/to_markdown.html 本地文件例子: import os from

    70510编辑于 2025-07-22
  • 来自专栏《Cloud Studio》

    免费部署PDF转Markdown文件的方法

    83e02aec0842b1f638728f53ee5e98f9&sharer_shareinfo_first=83e02aec0842b1f638728f53ee5e98f9&version=4.1.33.99589&platform=mac#rd免费部署 对于PDF文档,一个比较推荐的解决方案是,先将PDF文件转成Markdown文件,再录入知识库中。 MinerU关于PDF转Markdown的工具,一个比较不错的工具是MinerU,这是一个开源免费的转换工具。 一般来说,这种PDF转换工具,对硬件的要求都比较高,比如MinerU就给出了推荐的硬件配置,其中内存建议32G以上。为了更好的体验MinerU的功能,我们选择云服务器来部署。 Cloud Studio我们使用腾讯云的Cloud Studio来部署,腾讯云是专业的云服务器提供商,而腾讯云推出的 Cloud Studio,相当于在服务器机器之上提供了开发环境,开发模板,主流模型等

    1.5K00编辑于 2025-03-13
  • 来自专栏飞鸟的专栏

    etcd集群原理,部署文档

    本文将介绍etcd集群的原理和部署文档。etcd集群原理etcd是一个强一致性的系统,它采用Raft协议作为一致性算法。 etcd集群部署文档etcd集群可以在多台服务器上部署,以保证高可用性。下面是etcd集群的部署文档:步骤1:安装etcd在所有节点上安装etcd,可以从etcd官网下载二进制文件进行安装。 要部署etcd集群,需要在每个节点上安装etcd软件,并创建etcd配置文件,指定节点的IP地址、端口号、数据存储目录和集群配置。

    2K20编辑于 2023-03-27
  • 来自专栏cuijianzhe

    openstack系列- keystone部署文档

    -------------------------------------------------------------------+ ---- 标题:openstack系列- keystone部署文档

    1.3K10编辑于 2022-06-14
  • 来自专栏python前行者

    MinerU、Magic-PDF、Magic-Doc

    关于 MinerU MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能: Magic-PDF PDF文档提取 Magic-Doc 网页与电子书提取 github: https:// 支持转换本地文档或者位于支持S3协议对象存储上的文件。 主要功能包含: 支持多种前端模型输入 删除页眉、页脚、脚注、页码等元素 符合人类阅读顺序的排版格式 保留原文档的结构和格式,包括标题、段落、列表等 提取图像和表格并在markdown中展示 将公式转换成 安装magic-pdf conda create -n MinerU python=3.10 conda activate MinerU pip install -U magic-pdf[full] - 支持转换本地文档或者位于 AWS S3 上的文件 主要功能包含 Web网页提取 跨模态精准解析图文、表格、公式信息 电子书文献提取 支持 epub,mobi等多格式文献,文本图片全适配

    3.1K10编辑于 2024-11-24
  • 来自专栏Laoqi's Linux运维专列

    SubversionEdge部署研发团队文档管理

    为了提高公司办公效率,需要搭建一款文档分享server,windows可轻轻松松搭建一个文档服务器,但是为了配合研发同事的工作需要,综合考虑最终使用了Linux下的SVN作为首选。

    1.6K40发布于 2018-05-31
  • 来自专栏SerMsBlog

    BMP项目部署参考文档

    后台代码部署 前言: 需要环境有,JDK1.8,Maven3.8,Mysql8.0,Redis,Tomcat(自己百度安装),本项目内不含该服务部署 如有细微不同之处,会一对一进行讲诉 打开idea 找到application配置文件,修改数据库端口号、数据库名称、用户名、密码 随后即可点击运行按钮运行此工程 数据库部署 新建数据库,导入项目包里的sql文件即可,太基础这里不做讲解 前台工程项目部署

    1.3K10编辑于 2022-11-22
  • 来自专栏顾宇的研习笔记

    通过 Github Actions 部署 Mkdocs 文档

    Mkdocs 是一个采用 Python 构建轻量级的静态 HTML 在线文档框架,内置部署到 Github Pages 的功能。我用来创建实践指南,用来做个人的知识积累。 更多的主题请参考 Wiki 页:https://github.com/mkdocs/mkdocs/wiki/MkDocs-Themes 创建并测试站点 通过mkdocs new <目录>就可以快速创建文档站点 在所在目录执行mkserve,你就可以在http://localhost:8000看到初始化的文档。Mkdocs 会监测目录的改动并重新生成站点更新浏览器。 但如果你修改了配置,比如主题。 HTML 生成和部署 执行mkdocs build会新建site目录,并将 markdown 文件构建为 html 文件。 - run: pip install mkdocs-material - run: mkdocs gh-deploy --force 提交后,你就可以看到自己的站点自动部署

    1.8K10编辑于 2022-01-17
领券