📌 项目地址:opendatalab/MinerU | ⭐ 69,352 颗星 | 🔧 Python | 📜 未标注
项目到底在解决什么问题
在LLM、RAG和Agent工作流中,一个常见的瓶颈是将非结构化文档(PDF、扫描件、Office文件)转化为模型可消费的结构化文本。传统方案往往在复杂版面、公式、表格、跨页合并等场景下出现乱序、信息丢失或OCR精度不足。MinerU 正是为此而生:它以高精度版面重排 + VLM/OCR双引擎为核心,将复杂文档直接输出为Markdown或JSON,输出顺序符合人类阅读习惯,并能自动剔除页眉页脚。
项目由 OpenDataLab 开源,在 GitHub 上获得 69k+ Star,支持 109 种语言 OCR,已与 LangChain、Dify、FastGPT、MCP Server 等主流工具原生集成,同时提供在线 Web 版、桌面客户端、API、Docker 等多种使用形态。
核心能力一览
- 输入格式:PDF、DOCX、PPTX、XLSX、图片、网页。
- 输出格式:Markdown(含 LaTeX 公式、HTML 表格)和 JSON。
- 引擎选择:
pipeline引擎:速度快、无幻觉,可在 CPU/GPU 运行,最新版本已升级为 PP‑OCR v6,OCR 精度提升约 11%(OmniDocBench v1.6 测试)。vlm-engine:基于视觉语言模型,高精度,支持 vLLM、LMDeploy、mlx 等后端。hybrid-engine:结合原生文本提取与 VLM,兼顾准确率和低幻觉。- 特色功能:
- 扫描件、手写体、多栏布局自动排版。
- 跨页表格自动合并。
- 公式 → LaTeX,表格 → HTML。
- 109 语言 OCR(同时包含日文、繁中、英文、拉丁文等)。
实际用法(基于官方文档)
由于 MinerU 提供多种接入方式,以下列出常见的几种使用路径。注意:具体命令请以项目 README / 官方文档为准。
| 使用形态 | 简介 | 参考入口 |
|---|---|---|
| Python SDK | 通过 pip install mineru 安装后,在代码中调用解析函数 |
PyPI |
| CLI 命令行 | 安装后使用 mineru 命令直接处理单个文件或目录 |
README 中的 CLI 说明 |
| Docker | 拉取镜像一键部署,支持私有机离线环境 | README 中的 Docker 章节 |
| MCP Server | 集成到 Cursor、Claude Desktop、Windsurf 等 AI 编程工具 | 项目文档的 MCP 集成部分 |
| 在线体验 | 无需安装,直接在浏览器中使用 | mineru.net |
| 桌面客户端 | 完整功能的全平台 GUI 程序 | 项目主页下载 |
| REST API | 通过 HTTP 接口远程调用 | 官方文档 API 部分 |
典型场景示例:在 RAG 流程中将 PDF 转化为结构化 Markdown,然后直接喂给 LangChain 的 Document Loader。MinerU 官方已提供 LangChain 集成组件,无需手动转换。
与同类工具的差异
常见的 PDF 解析库(如 PyMuPDF、pdfplumber、Camelot、Unstructured)各有侧重:
| 工具 | 主要优势 | 主要局限 |
|---|---|---|
| PyMuPDF | 轻量,支持文本/图片提取 | 缺少版面重排,表格/公式处理弱 |
| pdfplumber | 精确的文字定位与表格提取 | 不处理扫描件,版面恢复差 |
| Unstructured | 多格式支持,有分区标注 | 对复杂版式容易丢序,OCR 依赖第三方 |
| MinerU | 双引擎(传统OCR + VLM),版面重排,跨页表格,公式 LaTeX,Office 原生支持 | 模型文件较大,首次下载需一定时间 |
MinerU 的独特价值在于输出质量直接面向 LLM/RAG:它不仅提取文字,还保留阅读顺序、数学公式、表格结构,并且支持 VLM 引擎处理模糊或手写文档。对于需要高精度结构化数据的 Agent 工作流,MinerU 是目前开源方案中完成度最高的选择之一。
需要注意的事项
- 许可证:项目采用 Apache 2.0 开源协议,可商用,但需注意使用的模型(如 PP‑OCR、VLM 权重)可能附带各自许可证。
- 模型下载:首次运行
pipeline或vlm-engine时会自动下载模型文件(数百 MB 至数 GB),请确保网络通畅。如需完全离线部署,可提前在官方指南中获取模型包。 - 硬件要求:
pipeline引擎:CPU 即可运行(速度尚可),GPU 可显著加速 OCR 和版面分析。vlm-engine推荐至少 8GB 显存(具体取决于模型大小)。- 局限性:
- 极复杂的表格(如斜线表头、嵌套表格)可能无法完美还原,但在主流文档上表现优于多数同类工具。
- 对于纯图像型 PDF(扫描件),依赖 OCR 准确性,新版 PP‑OCRv6 已有大幅提升。
- 生态依赖:若与 LangChain、Dify 等框架集成,需额外安装对应的 Integration 包(文档中有详细指引)。
总结
MinerU 是一个生产级别的文档解析引擎,尤其适合需要将 PDF、Office 文档转化为 LLM 可用的结构化 Markdown/JSON 的场景。它的双引擎架构、跨页表格合并、公式 LaTeX 输出以及对国产芯片的支持,使其在 RAG 知识库构建、Agent 数据预处理、AI 编程工具集成等实际任务中非常实用。如果你的项目目前还在用 pdfplumber 加正则处理表格,或者因为多栏文档乱序而头疼,不妨直接试试 MinerU 的在线版或 Docker 一键部署。