MinerU — парсер документов для LLM

источник ↗ ·

Высокоточный инструмент с открытым кодом, преобразующий PDF, DOCX, PPTX, XLSX и изображения в структурированный Markdown/JSON с помощью VLM+OCR-движка.

document-parsing ocr vlm rag pdf-to-markdown open-source mineru llm

privacy

Эта заметка участвует в semantic memory.

AI Summary

🚀 TL;DR MinerU — это open-source движок для высокоточного парсинга документов (PDF, DOCX, PPTX, XLSX, изображения) в Markdown/JSON. Поддерживает 109 языков, VLM+OCR, работает на CPU/GPU, интегрируется с LangChain, Dify, FastGPT и MCP-серверами.

📖 Что это такое MinerU — инструмент для извлечения структурированного текста, формул (LaTeX), таблиц (HTML), изображений и метаданных из сложных документов. Создан для RAG, Agent и LLM-пайплайнов. Разработан в OpenDataLab, лицензия — MinerU Open Source License (на базе Apache 2.0).

🔑 Ключевые факты

  • Форматы входа: PDF, DOCX, PPTX, XLSX, изображения, веб-страницы
  • Форматы выхода: Markdown (NLP / multimodal), JSON (по порядку чтения), HTML-таблицы, LaTeX-формулы
  • Точность: pipeline — 86.47, hybrid/vlm — 95.39 (OmniDocBench v1.6)
  • OCR: PP-OCRv6, 109 языков, поддержка вертикального текста, печатей, рукописей
  • Бэкенды: pipeline (CPU/GPU, низкие ресурсы), hybrid-engine (medium/high effort), vlm-engine
  • Интеграции: LangChain, LlamaIndex, RAGFlow, Dify, FastGPT, Cursor, Claude Desktop, MCP Server
  • Аппаратные требования: pipeline — 4 ГБ VRAM / 16 ГБ RAM; vlm — 8 ГБ VRAM / 32 ГБ RAM
  • Поддержка отечественных чипов: Ascend, Cambricon, Enflame, MetaX, Moore Threads, Kunlunxin, Iluvatar, Hygon, Biren, T-Head
  • Последние версии: 3.4 (2026-06-18) — PP-OCRv6 + ускорение OCR в 2×; 3.3 — effort=medium/high, MinerU2.5-Pro-2605-1.2B; 3.1.0 — лицензия Apache 2.0, нативный PPTX/XLSX; 3.0.0 — нативный DOCX, mineru-router, thread-safety

⚙️ Как это работает

  1. Установка: pip install mineru[all] или uv pip install -e .[all]
  2. CLI: mineru -p input.pdf -o output -b pipeline (для CPU)
  3. Бэкенды:
    • pipeline — быстрый, без галлюцинаций, CPU/GPU
    • hybrid-engine — effort=medium (по умолчанию) или high (максимальная точность + анализ изображений)
    • vlm-engine — максимальная точность, vLLM / LMDeploy / mlx
  4. Docker, REST API, Gradio WebUI, Desktop client, mineru-router (балансировка задач)
  5. Выходные артефакты: Markdown, JSON, визуализации layout/span, изображения, таблицы

💡 Вывод и значение MinerU предоставляет production-ready решение для извлечения данных из документов любого формата и сложности. Сочетание высокой точности (95.39), поддержки CPU, многоформатного ввода и готовых интеграций делает его ключевым компонентом для RAG, LLM-приложений и корпоративных систем обработки документов.

📌 Важные детали

  • Автоматический выбор источника моделей и кэширование
  • Поддержка скользящего окна и потоковой записи для документов >10 000 страниц
  • Удалены модели AGPLv3 и CC-BY-NC-SA 4.0
  • Полная многопоточность и one-click multi-GPU deployment
  • Ссылки: GitHub — github.com/opendatalab/MinerU, Discord — discord.gg/Tdedn9GTXq, WeChat — mineru.net/community-portal

Мои мысли

graph

Карта связей