TensorFold — локальный инференс на Apple Silicon
Инференс-движок TensorFold ускоряет генерацию на Apple Silicon, предлагая несколько токенов параллельно и проверяя их за один проход целевой модели.
privacy
Эта заметка участвует в semantic memory.
AI Summary
- TensorFold — это локальный inference engine для Apple Silicon, который использует speculative decoding: один поток входа, несколько параллельных черновиков токенов, проверка целевой моделью и фиксация совпавших токенов. 🔑 Ключевые факты: сохраняет точность оригинальной модели, ускоряет генерацию за счёт параллельной проверки нескольких кандидатов, работает через OpenAI-совместимый API, полностью open-source. 📌 Важные детали: измерения на M3 Ultra / M5 Max (Nemotron 3.5 Lightning 30B-A3B — 188–206 t/s, Qwen3.8-27B — 120–124 t/s, Qwen3.8 Flash Next — 88–92 t/s); требует Python 3.11+, MLX, Metal; модель скачивается с Hugging Face; контекст до 65536 токенов; 32 ГБ+ unified memory для 30B модели. 💡 Вывод и значение: установка одной командой pip, запуск через tensorfold serve, подключение любого OpenAI-совместимого клиента к http://127.0.0.1:8080/v1; исходный код и инструкции на GitHub.