Openjutsu: open-source Genjutsu swap
Open-source приложение на Next.js + ComfyUI, которое заменяет персонажей в видео по фото с сохранением камеры, движения и звука, используя MiniMax H3, SAM 3.1 и Qwen3-VL 8B.
privacy
Эта заметка участвует в semantic memory.
AI Summary
🚀 TL;DR Openjutsu — это локальное open-source приложение для замены людей и объектов в видео по референсным фото. Всё работает на своих GPU с открытыми весами (MiniMax H3, SAM 3.1, Qwen3-VL 8B) и сохраняет оригинальные камеру, монтаж, движение и саундтрек.
📖 Что это такое Next.js фронтенд над ComfyUI workflow, который позволяет: • заменить главного персонажа видео на фото • поменять волосы/одежду/объекты • удалить объекты • сменить фон • переставить персонажа в новую позу и освещение из одного фото • исправить лица и цвета после генерации
🔑 Ключевые факты • Модели: MiniMax H3 (int8), SAM 3.1, Qwen3-VL 8B (describer), Qwen3-VL 32B (H3 text encoder) • Режимы: Simple motion transfer, Advanced (1–4 персонажа), Object swap, From picture + Relight, Post-processing (Fix faces, Fix colours) • Требования: NVIDIA GPU (тестировано на RTX 4060 Ti 16 GB + 64 GB RAM), ComfyUI ≥0.41.2, Node.js ≥22.6 • Кастомные ноды: SolarRenderer, ComfyUI-MiniMaxH3-Context-Loop, comfyui-h3-oneclick-swap, ComfyUI-H3-FaceRefine и др. • Время генерации: 6 с при 480p — 6–13 мин на 4060 Ti; 736p по умолчанию, 1080p в 2.5× медленнее • Ограничения: зеркала/отражения не работают, lip-sync по умолчанию включён, максимум 512 MB на загрузку
⚙️ Как это работает
- SAM 3.1 трекает людей/объекты на 1008 px
- H3 People Mask создаёт маску с запасом 10 % над головой + 40 px роста
- Motion reference — серый манекен силуэта исходного персонажа
- H3 генерит только замаскированную область, сохраняя движение и звук
- Для Advanced: Qwen3-VL 8B именует треки, H3 Role Mask маскирует только нужных людей
- Object swap: SAM трекает по промпту, H3 Object Swap Plan пишет видео-редактирующий промпт
- Fix faces: InsightFace + SAM face mask, H3 Face Fix Chunks по 6.5 с с перекрытием
- Fix colours: Image Detail Contrast + Orion4D DCTL Tone Mapper
💡 Вывод и значение Openjutsu даёт полный контроль над deepfake-подобной заменой персонажей без облачных сервисов и с открытыми весами. Проект документирован, имеет готовые скрипты сборки workflow и инструкции по деплою на Comfy Developer Platform. MIT-лицензия, но InsightFace buffalo_l — только non-commercial research, Ultralytics YOLO — AGPL-3.0.
📌 Важные детали • Hat fix маскирует и шляпу (добавляет ~45 с на клип) • No lip-sync отключает генерацию речи (+30 с на клип) • Motion reference: 512/768/1376 px — чем больше, тем точнее позы, но дольше • Seed можно менять для новых вариантов; одинаковые входы возобновляют с последнего клипа • Montage режим для сцен без жёстких склеек (whip pans, селфи-передачи) • Find people (~3 мин на 18 с видео) — отдельный предпросмотр треков и ролей