#qwen3

Ternary Bonsai 2 27B — 27-миллиардная модель с 1.72 бит/вес, сохраняющая 98.2% интеллекта FP16 и работающая на ноутбуке или одной GPU.

Atlas — LLM-движок на чистом Rust и CUDA без Python, с Docker-образом 2.5 ГБ, дающим до 3x ускорение инференса на DGX Spark.

oLLM — легковесная Python-библиотека для инференса больших LLM на потребительских GPU с 8GB VRAM без квантизации, поддерживает 100k контекст и мультимодальные модели.