FreeToken: MoE на персональных GPU

AI Summary

🚀 TL;DR FreeToken — это edge-native система, которая превращает обычный ПК или ноутбук в полноценную платформу для запуска больших MoE-моделей (до 753B параметров) без дата-центра.

📖 Что это такое FreeToken — это полностью переработанный стек инференса, ориентированный на персональные устройства. Он учитывает, что агентные нагрузки постоянно меняют паттерн выполнения, а железо на разных машинах сильно различается. Вместо фиксированной стратегии offloading'а система динамически распределяет вычисления и состояние модели по доступным ресурсам.

🔑 Ключевые факты

• Поддерживает более 20 MoE-моделей
• Работает на GPU от 8 ГБ (ноутбук) до одной рабочей станции
• Запускает 35B модель на ноутбуке, 284B на игровом ПК, 753B GLM-5.2 на одной GPU
• Авторы: Shuo Yang, Xiaoze Fan, Melissa Pan, Haocheng Xi, Zhe Wang, Shanlin Sun, Kurt Keutzer, Song Han, Matei Zaharia, Chenfeng Xu, Ion Stoica
• Код и система доступны по ссылке: this http URL
• Дата первой версии: 17 августа 2026

⚙️ Как это работает FreeToken перепроектирует весь пайплайн инференса:

• Layout и загрузка модели
• Residency экспертов (MoE)
• CPU–GPU исполнение
• Переиспользование состояния агентов
• Управление памятью в рантайме Система непрерывно отображает вычисления и состояние модели на реально доступные ресурсы, а не использует заранее заданную стратегию offloading'а.

💡 Вывод и значение FreeToken превращает открытые веса в локальное ПО, делая обычные пользовательские машины практичной платформой для frontier-scale интеллекта. Это меняет парадигму: вместо аренды GPU в облаке можно запускать большие модели локально на уже имеющемся железе.

📌 Важные детали

• Система ориентирована именно на MoE-архитектуры
• Поддерживает реальные coding- и tool-using агенты
• Авторы подчёркивают, что edge-устройства имеют гетерогенные ресурсы, баланс которых отличается от машины к машине
• Статья доступна в PDF (1,344 KB) и экспериментальном HTML

Автор: Shuo Yang et al. (первый автор Shuo Yang)

Мои мысли