DFlash 2 — обновление метода параллельного speculative decoding, которое даёт +16–25 % acceptance length при 1 % overhead и сохраняет точность оригинальной модели.
источник ↗#sglang
2 записейМодель baidu/Unlimited-OCR для однокадрового парсинга документов и OCR с поддержкой Transformers, vLLM, SGLang и Docker.
источник ↗