📌 项目地址opendatalab/MinerU | ⭐ 69,352 颗星 | 🔧 Python | 📜 未标注

项目到底在解决什么问题

在LLM、RAG和Agent工作流中,一个常见的瓶颈是将非结构化文档(PDF、扫描件、Office文件)转化为模型可消费的结构化文本。传统方案往往在复杂版面、公式、表格、跨页合并等场景下出现乱序、信息丢失或OCR精度不足。MinerU 正是为此而生:它以高精度版面重排 + VLM/OCR双引擎为核心,将复杂文档直接输出为Markdown或JSON,输出顺序符合人类阅读习惯,并能自动剔除页眉页脚。

项目由 OpenDataLab 开源,在 GitHub 上获得 69k+ Star,支持 109 种语言 OCR,已与 LangChain、Dify、FastGPT、MCP Server 等主流工具原生集成,同时提供在线 Web 版、桌面客户端、API、Docker 等多种使用形态。

核心能力一览

  • 输入格式:PDF、DOCX、PPTX、XLSX、图片、网页。
  • 输出格式:Markdown(含 LaTeX 公式、HTML 表格)和 JSON。
  • 引擎选择
  • pipeline 引擎:速度快、无幻觉,可在 CPU/GPU 运行,最新版本已升级为 PP‑OCR v6,OCR 精度提升约 11%(OmniDocBench v1.6 测试)。
  • vlm-engine:基于视觉语言模型,高精度,支持 vLLM、LMDeploy、mlx 等后端。
  • hybrid-engine:结合原生文本提取与 VLM,兼顾准确率和低幻觉。
  • 特色功能
  • 扫描件、手写体、多栏布局自动排版。
  • 跨页表格自动合并。
  • 公式 → LaTeX,表格 → HTML。
  • 109 语言 OCR(同时包含日文、繁中、英文、拉丁文等)。

实际用法(基于官方文档)

由于 MinerU 提供多种接入方式,以下列出常见的几种使用路径。注意:具体命令请以项目 README / 官方文档为准。

使用形态 简介 参考入口
Python SDK 通过 pip install mineru 安装后,在代码中调用解析函数 PyPI
CLI 命令行 安装后使用 mineru 命令直接处理单个文件或目录 README 中的 CLI 说明
Docker 拉取镜像一键部署,支持私有机离线环境 README 中的 Docker 章节
MCP Server 集成到 Cursor、Claude Desktop、Windsurf 等 AI 编程工具 项目文档的 MCP 集成部分
在线体验 无需安装,直接在浏览器中使用 mineru.net
桌面客户端 完整功能的全平台 GUI 程序 项目主页下载
REST API 通过 HTTP 接口远程调用 官方文档 API 部分

典型场景示例:在 RAG 流程中将 PDF 转化为结构化 Markdown,然后直接喂给 LangChain 的 Document Loader。MinerU 官方已提供 LangChain 集成组件,无需手动转换。

与同类工具的差异

常见的 PDF 解析库(如 PyMuPDF、pdfplumber、Camelot、Unstructured)各有侧重:

工具 主要优势 主要局限
PyMuPDF 轻量,支持文本/图片提取 缺少版面重排,表格/公式处理弱
pdfplumber 精确的文字定位与表格提取 不处理扫描件,版面恢复差
Unstructured 多格式支持,有分区标注 对复杂版式容易丢序,OCR 依赖第三方
MinerU 双引擎(传统OCR + VLM),版面重排跨页表格公式 LaTeXOffice 原生支持 模型文件较大,首次下载需一定时间

MinerU 的独特价值在于输出质量直接面向 LLM/RAG:它不仅提取文字,还保留阅读顺序、数学公式、表格结构,并且支持 VLM 引擎处理模糊或手写文档。对于需要高精度结构化数据的 Agent 工作流,MinerU 是目前开源方案中完成度最高的选择之一。

需要注意的事项

  • 许可证:项目采用 Apache 2.0 开源协议,可商用,但需注意使用的模型(如 PP‑OCR、VLM 权重)可能附带各自许可证。
  • 模型下载:首次运行 pipelinevlm-engine 时会自动下载模型文件(数百 MB 至数 GB),请确保网络通畅。如需完全离线部署,可提前在官方指南中获取模型包。
  • 硬件要求
  • pipeline 引擎:CPU 即可运行(速度尚可),GPU 可显著加速 OCR 和版面分析。
  • vlm-engine 推荐至少 8GB 显存(具体取决于模型大小)。
  • 局限性
  • 极复杂的表格(如斜线表头、嵌套表格)可能无法完美还原,但在主流文档上表现优于多数同类工具。
  • 对于纯图像型 PDF(扫描件),依赖 OCR 准确性,新版 PP‑OCRv6 已有大幅提升。
  • 生态依赖:若与 LangChain、Dify 等框架集成,需额外安装对应的 Integration 包(文档中有详细指引)。

总结

MinerU 是一个生产级别的文档解析引擎,尤其适合需要将 PDF、Office 文档转化为 LLM 可用的结构化 Markdown/JSON 的场景。它的双引擎架构、跨页表格合并、公式 LaTeX 输出以及对国产芯片的支持,使其在 RAG 知识库构建、Agent 数据预处理、AI 编程工具集成等实际任务中非常实用。如果你的项目目前还在用 pdfplumber 加正则处理表格,或者因为多栏文档乱序而头疼,不妨直接试试 MinerU 的在线版或 Docker 一键部署。

这篇文章对你有帮助吗?

发表回复