首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏Dotnet Dancer

    MinerU本地化部署教程——一款AI知识库建站的必备工具

    前言:来一个官方一点的介绍:MinerU是一个一站式、开源、高质量的数据提取工具,支持多种功能,如提取 PDF、markdown 等格式的内容。 MinerU可以用来做什么? 下载minerU,客户端版本下载地址: https://mineru.net/ 安装完成以后,可以直接上传文件进行解析。注意,这儿上传的文件,会被传输到远程的线上默认环境进行解析。 但是使用客户端的minerU,毕竟文档会被上传到云端,如果遇到私密的文档,还可能存在消息泄露的隐患。所以需要本地化部署minerU来解决这个问题,毕竟本地才最安全。接下来开始本地化部署操作教程。 以下内容教程,基于Windows系统进行操作。 本地安装minerU之前,需要确保你的电脑上已经安装有Conda环境,如果有显卡资源(8G显存起步),还需要提前安装好Cuda环境、显卡驱动等。 以上就是minerU本地安装配置的全部过程。没了。

    11.3K10编辑于 2025-03-29
  • 来自专栏轩辕镜像

    MinerU Docker 部署指南:PDF 结构化解析服务实践

    本指南将以Docker容器化部署为核心,详细介绍MinerU在vLLM等加速后端场景下的部署方式,包括环境准备、镜像拉取、服务启动、功能验证以及生产环境配置建议,帮助用户快速构建稳定、可复现的MinerU 以下分别介绍这三种服务的部署方法。1.vLLM后端服务部署vLLM后端服务是MinerU的核心组件,提供高性能的文档解析与处理能力。 部署GradioWebUI提供直观的图形界面,适合非技术用户使用MinerU的功能。 ,建议部署多实例并配置负载均衡,以提高系统可用性:多实例部署部署多个MinerU实例,避免单点故障负载均衡:使用Nginx或云服务提供商的负载均衡服务分发流量自动扩缩容:在Kubernetes环境中, Kubernetes环境中部署,以获得更强大的编排和管理能力通过本文提供的指南,相信您已能够顺利部署和使用MinerU容器化应用。

    2.2K20编辑于 2025-12-31
  • 来自专栏周拱壹卒

    内网环境在 RAGFlow 中使用 MinerU

    本文可作为 使用教程:如何在 RAGFlow 中使用 MinerU[1] 的补充,介绍如何在内网环境下配置 MinerU 解析器以供 RAGFlow 使用。 前提假设 已通过 docker 的形式在内网环境部署 RagFlow RAGFlow 版本 >= v0.21.1 有内网环境 pip 源 安装 MinerU 更新 .env 文件 在 .env[2] 文件中添加如下内容 : MINERU_EXECUTABLE=/ragflow/uv_tools/.venv/bin/mineru MINERU_MODEL_SOURCE=local 其中 MINERU_MODEL_SOURCE /volume/mineru.json:/root/mineru.json + - . /20251126-090158.pdf -o /tmp/mineru_pdf_k3y3cwp7 -m auto -b pipeline 执行效果: RAGFlow 参考资料 [1] 使用教程:如何在

    51410编辑于 2026-03-16
  • 来自专栏自然语言处理

    基于MinerU的PDF解析API

    基于MinerU的PDF解析A - MinerU的GPU镜像构建 - 基于FastAPI的PDF解析接口 支持一键启动,已经打包到镜像中,自带模型权重,支持GPU推理加速,GPU速度相比CPU每页解析要快几十倍不等 进行表格识别; 光学字符识别:使用PaddleOCR进行文本识别; 镜像地址: 阿里云地址:docker pull registry.cn-beijing.aliyuncs.com/quincyqiang/mineru :0.2-models dockerhub地址:docker pull quincyqiang/mineru:0.2-models 启动命令: docker run -itd --name=mineru_server --gpus=all -p 8888:8000 quincyqiang/mineru:0.2-models 具体截图请见博客:https://cloud.tencent.com/developer/article

    2.5K11编辑于 2024-11-23
  • 来自专栏姓王者的博客

    国产开源的文档转换器:MinerU

    简介 MinerU是由OpenDataLab团队打造的大模型时代的文档提取/转换神器 支持PDF、Word、PPT等多种文档的智能解析,可用于机器学习、大模型语料生产、RAG等场景 特点 多语种支持 多类型支持 ,导致我尝试在web渲染markdown时锚点全是h1,seo优化极差 : ( 总结 总体来说效果还是不错的,未来应该会推出更多的格式转换 推荐大家试一试,有硬件条件的可以本地部署一个玩玩

    85910编辑于 2025-03-28
  • 来自专栏四楼没电梯

    字节跳动 Dolphin vs Mineru:哪个才是你的文档解析最优解?

    快速对比:Dolphin vs Mineru 对比维度 Dolphin Mineru 发布机构 字节跳动 Bytedance 上海人工智能实验室 OpenDataLab 发布时间 2025 年 5 OCR 核心特点 支持扫描 PDF:内置 OCR 模块,支持 84 种语言; 模块化设计:从解析、校对到导出全流程打通; 输出灵活:支持 Markdown、结构化 JSON,多种中间格式方便二次处理; 部署简单 MinerU 使用文档:MinerU 文档中心 适用场景 各类生产环境文档自动化处理 OCR 文档、合同扫描件、旧档案清洗 NLP 项目数据预处理和知识库构建 性能实测亮点 Dolphin 页面级 、元素级解析准确率高 采用 HAP 技术,多个元素并行处理,效率高于传统 pipeline 更适合 GPU 高性能部署场景 ⚙️ Mineru 在 Docling 测试中表现优异(GPU 上 0.21 秒/页) OCR 支持丰富,扫描 PDF 表现亮眼 社区维护活跃,支持 CUDA 加速配置:加速教程 如何选型?

    3.7K10编辑于 2025-05-29
  • MinerU的python接口使用例子

    参考官方例子:mineru.readthedocs.io/en/latest/user_guide/quick_start/to_markdown.html 本地文件例子: import os from

    70110编辑于 2025-07-22
  • 来自专栏python前行者

    MinerU、Magic-PDF、Magic-Doc

    关于 MinerU MinerU 是一款一站式、开源、高质量的数据提取工具,主要包含以下功能: Magic-PDF PDF文档提取 Magic-Doc 网页与电子书提取 github: https:// github.com/opendatalab/MinerU/blob/master/README_zh-CN.md 在线体验地址: https://opendatalab.com/OpenSourceTools /Extractor/PDF https://www.modelscope.cn/studios/OpenDataLab/MinerU Magic-PDF 简介 Magic-PDF 是一款将 PDF 安装magic-pdf conda create -n MinerU python=3.10 conda activate MinerU pip install -U magic-pdf[full] - 存放图片目录 ├── some_pdf_layout.pdf # layout 绘图 ├── some_pdf_middle.json # minerU

    3.1K10编辑于 2024-11-24
  • 来自专栏AI进修生

    MinerU、Doc2X、OmniParse、llm_aided_ocr 四款流行OCR工具测评(LLM & RAG数据准备)

    部署实操了下面这几个近期流行的LLM OCR工具: MinerU MinerU曾在一两周前上过Github Trending榜,并且持续了好几天。 但是Doc2X可以很好的识别出来: 不过MinerU在公式识别上还不错,至少不会像OmniParse那样将原字符识别错误。 要在本地部署他大约需要8G显存,如果你用cpu的话它将变得非常慢。 我建议你在linux上部署MinerU,因为我在windows部署它时,出现了cpu运行正常,gpu不正常的情况(对环境依赖版本有要求,你可以issue中查看),并且他的部署下载过程会比较久,因为他要下载大模型文件 它有众多的导出形式 你最好选择$$,浙江更好地显示latex公式 但是他也有缺点他并不开源,并且无法本地部署,意味着你只能将数据交给云端。 Doc2X官网 https://doc2x.noedgeai.com/ 参考链接: [1] MinerU:https://github.com/opendatalab/MinerU [2] omniparse

    8.2K10编辑于 2024-12-02
  • 来自专栏Se7en的架构笔记

    CDH 部署教程

    节点规划 Cloudera Manager Server 节点提供 WebUI 操作界面,管理 Cloudera Manager Agent 节点,在运行 Agent 的机器上部署大数据相关组件。 集群开始安装部署,启动服务。 ? 完成安装。 ? CDH 集群安装检查 登陆 Clouder Manager 管理界面,可以检查集群各组件运行情况。 ?

    4.5K20发布于 2021-07-23
  • 来自专栏《Cloud Studio》

    免费部署PDF转Markdown文件的方法

    83e02aec0842b1f638728f53ee5e98f9&sharer_shareinfo_first=83e02aec0842b1f638728f53ee5e98f9&version=4.1.33.99589&platform=mac#rd免费部署 MinerU关于PDF转Markdown的工具,一个比较不错的工具是MinerU,这是一个开源免费的转换工具。 Github地址是:https://github.com/opendatalab/MinerU,同时也给了官网Demo地址:https://mineru.net/,在官网Demo地址上同样可以免费体验, 一般来说,这种PDF转换工具,对硬件的要求都比较高,比如MinerU就给出了推荐的硬件配置,其中内存建议32G以上。为了更好的体验MinerU的功能,我们选择云服务器来部署。 Cloud Studio我们使用腾讯云的Cloud Studio来部署,腾讯云是专业的云服务器提供商,而腾讯云推出的 Cloud Studio,相当于在服务器机器之上提供了开发环境,开发模板,主流模型等

    1.5K00编辑于 2025-03-13
  • 来自专栏翩翩白衣少年

    开源的全能Markdown格式文件提取器:MinerU

    大家好,今天要给大家推荐一款堪称全能的开源Markdown格式文件提取器—MinerUMinerU项目介绍 MinerU 是一款一站式的高质量数据提取工具,主要功能包括从PDF、网页和电子书中提取数据,并将其转换为Markdown格式。 Markdown 至于使用的方式,最方便的当然是官方在线Demo: https://opendatalab.com/OpenSourceTools/Extractor/PDF 也可以自己依据项目说明进行本地或在线部署 ,毕竟人家是开源的(不过部署起来有些许麻烦,涉及许多配置及模型) 具体的需访问GitHub项目主页(https://github.com/opendatalab/MinerU),根据文档进行安装配置,即可开始使用 结语 总的来说,MinerU是一款非常实用且强大的数据提取工具。无论你是开发者、互联网从业者,还是有具体需求的新人小白,MinerU都能极大地提升你的工作效率,让你专注于更有价值的工作。

    2.1K10编辑于 2024-08-13
  • prometheus部署教程(二)

    安装prometheus的详细过程看:prometheus部署教程(一)-腾讯云开发者社区-腾讯云1、部署mysql-exporter(1)操作准备安装MySQL:参考连接:Mysql 安装教程-腾讯云开发者社区 5s static_configs: -targets:['IP:9104'] #mysql服务器的ip加端口 systemctl restart prometheus(7)登录页面查看2、部署 redis_exporter(1)部署前准备安装redis集群,参考连接redis(Cluster)集群-腾讯云开发者社区-腾讯云(2)在客户端主机创建app日录,并上传gz又件cd /apptar -

    58200编辑于 2025-04-14
  • 来自专栏分享学习

    DeepSeek本地部署教程

    DeepSeek是一款强大的知识检索和问答工具,通过本地部署,用户可以更加便捷地进行知识检索和问答操作。本文将详细介绍如何在本地部署DeepSeek,以便用户能够充分利用其强大的功能。 环境要求 在本地部署DeepSeek之前,需要确保计算机满足以下环境要求: 操作系统:Linux(推荐)或Windows。 Python版本:Python 3.7及以上。 DeepSeekModel model = DeepSeekModel() result = model.predict(input_data) print(result) 使用与调试 使用DeepSeek 在成功部署并启动

    1.5K10编辑于 2025-05-18
  • Promethues部署教程(三)

    实现目标:创建普通告警,严重告警两个飞书群,当cpu高的时候发送告警到普通群,服务器宕机时发送告警到严重告警群。

    47210编辑于 2025-04-18
  • OpenTenBase 单机部署教程

    适用范围:本教程只适用于RedHat系列(CentOS、RockyLinux)说明:本文档演示单机集中式部署方案,适用于开发测试环境。 wheelALL=(ALL)ALL%wheelALL=(ALL)NOPASSWD:ALL切换用户展开代码语言:BashAI代码解释su-opentenbase二、源码编译(不想和各种依赖打架的可以直接跳至三、安装与部署 makeinstall#安装contrib模块chmod+xcontrib/pgxc_ctl/make_signaturecdcontribmake-sj$(nproc)makeinstall三、安装与部署 v5.0/opentenbase-5.21.8-i.x86_64.tar.gz赋予工具执行权限展开代码语言:BashAI代码解释chmod+xopentenbase_ctl分支B:如果进行了源码编译获取部署工具 /opentenbase_ctlinstall-cconfig.ini部署过程展开代码语言:BashAI代码解释======StarttoInstallinstanceopentenbase_c====

    27620编辑于 2025-12-12
  • 来自专栏群晖NAS的技术分享

    linux部署frp教程

    通过 getconf LONG_BIT Linux查看系统位数命令:返回的结果如果是64,说明linux系统属于64位;返回32,系统属于32位。

    1.7K20编辑于 2022-11-01
  • 来自专栏N同学的知识分享

    Bitwarden 部署安装教程

    结果这玩意必须要钱才能私有化部署,这直接就被我pass了。 后来就发现了 Bitwarden这个工具,因为他是我Google 1Password开源版 而搜索到的。然后也看了下,确实不错。 就来部署一下他吧。 安装Bitwarden 我们先部署bitwarden,然后使用Nginx作为反向代理,将请求转发到bitwarden服务器上。 Docker部署bitwarden mkdir /data/bitwarden docker run -d \ --rm \ --name bitwarden 成功部署完毕。 其他平台客户端 直接前往 https://bitwarden.com/download 进行下载其他平台客户端,和插件设置方法相似,设置完url直接登录即可。

    5.4K21编辑于 2022-11-29
  • 来自专栏springBoot3.0

    rebbitMQ博客部署教程

    19010编辑于 2024-03-19
  • 来自专栏虚拟化技术

    Docker部署安装教程

    Docker部署安装首先我们可以去官网进行学习:Docker官网链接: https://docs.docker.com/一、部署安装1、卸载旧的docker版本先检查环境,使用纯净的安装环境,卸载原来安装过的

    2.2K10编辑于 2025-04-17
领券