Финтюнинг 1.5B модели для питч-копирайтинга
Полное руководство по созданию узкоспециализированной 1.5B модели для генерации funding-pitch копии из startup brief с использованием QLoRA, Google Colab и строгого контроля качества данных.
privacy
Эта заметка участвует в semantic memory.
AI Summary
🚀 TL;DR: автор утверждает, что 1.5B модель, дообученная на 200-500 качественных примерах, может превзойти 70B модель с generic-промптами на узкой задаче генерации funding-pitch копии из startup brief. 2) Ключевые тезисы: fine-tuning не делает модель умнее, а делает её предсказуемо лучше на одной узкой задаче; нужно строить три baseline (prompt-only, RAG, fine-tuned) и начинать обучение только после провала prompt-only; данные должны быть разделены по компаниям, а не по страницам; все метрики и числа должны быть проверены на галлюцинации. 3) Важные детали и нюансы: Qwen/Qwen2.5-1.5B-Instruct как стартовая модель; QLoRA с r=16, lora_alpha=32, learning_rate=2e-4, 2 эпохи; строгий учёт прав на данные (source_record с rights_status, permission_scope); каскад OCR (native PDF → Docling/PaddleOCR → manual review); JSONL-формат с system/user/assistant сообщениями; метрики оценки (useful copy 1-10, unsupported claims %, numeric errors %); стратегия инфраструктуры (Colab → Spot GPU → Dedicated). 4) Практические выводы: 14-шаговая последовательность действий от сбора данных до мониторинга в продакшене; проектная структура с разделением raw/processed/splits; cost estimation ~$1.70 за один запуск, но 5-10x на эксперименты; необходимость rollback-плана и явного opt-in для retraining.