#quantization

Новая открытая 308-миллионная модель от Google DeepMind для генерации эмбеддингов, оптимизированная для работы на мобильных устройствах и без интернета.

27B uncensored модель OrcaSAQ2 с квантизацией до 15.7 GB для локального запуска, оптимизированная под кибербезопасность, red teaming и vulnerability research.

8B-A1B MoE-модель размером 6.3 ГБ, оптимизированная для 8–16 ГБ Mac и работы с инструментами Osaurus.

Объясняет, почему GPU при генерации токенов загружен на 100 %, но выдаёт лишь десятки токенов в секунду — из-за дисбаланса между скоростью арифметики и пропускной способностью памяти.

Rust-библиотека с Python-обёрткой для сжатого векторного поиска, дающая 8× экономию RAM и 3.4× ускорение поиска по сравнению с FAISS.

Новая линейка моделей Qwen3.8 с поддержкой vision, reasoning, 256K контекста и квантизацией до 1-битных GGUFs, запускаемая через Unsloth и llama.cpp.

Руководство по запуску open-weight модели DeepSeek-V4-Flash-0731 (284B параметров, 13B активных) с 1M контекстом и улучшенным шаблоном чата.