Xiaomi-OCR-0: 0.8B модель OCR

источник ↗ ·

Унифицированная 0.8B vision-language модель для парсинга документов и OCR-задач, обученная на 170M примерах с Q-Mask и Mix-RL.

privacy

Эта заметка участвует в semantic memory.

AI Summary

  1. Короткий обзор сути: Xiaomi-OCR-0 — это 0.8B модель на базе Qwen3.5-0.8B, обученная на 170M OCR-ориентированных примерах с Q-Mask text anchoring, CPT и Mix-RL для парсинга документов, извлечения информации и VQA. 🔑 Ключевые факты: 95.24 на Real5-OmniDocBench (#1), 96.83 на OmniDocBench v1.6 (#2), 87.94 на Wild-OmniDocBench (#2), 97.84 на UniMER-Test, 92.27 TEDS на PubTabNet, 73 на Chronicles-OCR Mature Scripts, средний 83.2 по пяти OCR-VQA бенчмаркам (превышает Qwen3.5-2B). 📌 Важные детали: поддерживает document parsing в Markdown (OTSL→HTML таблицы, LaTeX формулы), KIE в JSON, OCR-centric VQA; двухэтапный метод оценки; region parsing с PaddlePaddle/PP-DocLayoutV3 или whole-page parsing; MCP-сервис и браузерный демо; GGUF/BF16 конверсии от сообщества; валидация Ollama на Apple Silicon (7/7 токенов, 5/7 точных ответов). 💡 Вывод и значение: клонировать репозиторий, установить SGLang/vLLM/Ollama, запустить demo/server.py на 8787 порту; для region mode добавить PaddleX; цитировать arXiv:2609.36136; использовать MCP или браузер для локального агента.

Мои мысли

graph

Карта связей