Marlin: 2B VLM для видео

источник ↗ ·

Marlin — 2B-параметровая видео-VLM, которая извлекает структурированные описания сцен и событий с точными таймкодами и находит временные интервалы по естественному языку.

video-vlm temporal-grounding dense-captioning qwen open-model vllm hf-transformers simpo

privacy

Эта заметка участвует в semantic memory.

AI Summary

  1. Короткий обзор сути: Marlin — это дообученная на Qwen3.5-2B видео-VLM, которая решает две задачи: dense captioning (Scene + Events с таймкодами) и natural-language temporal grounding (поиск интервала по запросу).

  2. Ключевые тезисы: 2B параметров, SOTA на CaReBench и TimeLens-Bench среди открытых моделей своего класса; обходит Qwen2.5-VL-7B на +6.4 mIoU; сопоставима с Gemini-2.5-Flash при значительно меньших затратах; обучена в два этапа (SFT + SimPO).

  3. Важные детали и нюансы: обучающий корпус ~400K клипов (ActivityNet, LSMDC, Charades, HC-STVG, VidSTG, TimeLens + Gemini-3-Flash re-annotations); два режима (.caption и .find) через modeling_marlin.py; требуется transformers >= 5.7.0, torchcodec, qwen-vl-utils; поддерживает raw generate() с кастомными промптами; выводит токен в начале ответа (нужно удалять при прямом вызове generate).

  4. Практические выводы/следующие шаги: модель готова к использованию через HF с trust_remote_code=True; для production можно запускать на одной consumer GPU через vLLM; при необходимости доступен custom fine-tuning от авторов.

Мои мысли

graph

Карта связей