#speculative-decoding

Инференс-движок TensorFold ускоряет генерацию на Apple Silicon, предлагая несколько токенов параллельно и проверяя их за один проход целевой модели.

27B uncensored модель Qwen3.8-27B, сжатая до 15.7 GB с сохранением 94.4% точности и +0.80% perplexity для локального запуска.

Объясняет, почему GPU при генерации токенов загружен на 100 %, но выдаёт лишь десятки токенов в секунду — из-за дисбаланса между скоростью арифметики и пропускной способностью памяти.

DFlash 2 — обновление метода параллельного speculative decoding, которое даёт +16–25 % acceptance length при 1 % overhead и сохраняет точность оригинальной модели.