turbovec — векторный индекс на TurboQuant
Rust-библиотека с Python-обёрткой для сжатого векторного поиска, дающая 8× экономию RAM и 3.4× ускорение поиска по сравнению с FAISS.
privacy
Эта заметка участвует в semantic memory.
AI Summary
turbovec — это высокопроизводительный векторный индекс на Rust с Python-обёрткой, построенный на алгоритме TurboQuant от Google Research. Главное преимущество — отсутствие фазы обучения: векторы можно добавлять онлайн, без rebuild'ов и настройки параметров. 10 млн документов в float32 занимают 31 ГБ RAM, turbovec сжимает их до 4 ГБ и при этом быстрее ищет, чем FAISS IndexPQFastScan (3.4× на 4-битном и 23 % на 2-битном квантовании). Поддерживаются инкрементальные сохранения через sync(), фильтрация allowlist'ом прямо в SIMD-ядре, IdMapIndex для стабильных внешних идентификаторов и drop-in интеграции с LangChain, LlamaIndex, Haystack и Agno. Алгоритм включает нормализацию, случайную ротацию, TQ+-калибровку, Lloyd-Max скалярное квантование и length-renormalized scoring. Библиотека полностью локальная, без managed-сервисов, и даёт R@1, сравнимый или превосходящий FAISS, при этом сжатие достигает 16×.