Fine-tune LLM на ваших данных

RAG (retrieval-augmented generation) даёт модели в контекст найденные куски документов — это работает когда нужно отвечать по фактам из вашей базы знаний. Fine-tune меняет саму модель, прививая ей стиль, формат ответов, доменный язык или специфическую логику рассуждения. Часто оба подхода работают вместе: дообученная модель плюс RAG для актуальных данных. Если задача "ответь по моим документам" — начинайте с RAG. Если "пиши в моём стиле / по моему формату / на моём языке" — нужен fine-tune.

Для LoRA на 7B модели — минимум 500-1000 качественно размеченных примеров, оптимально 2-5 тыс. Для full fine-tune — от 5-10 тыс. примеров, лучше 50 тыс.+. Качество важнее количества: 800 чистых примеров дадут результат лучше чем 5 тыс. шума. На аудите смотрю ваш корпус и честно говорю, хватит ли его или сначала нужно собрать больше.

Full fine-tune — переобучаем все 7-70 миллиардов параметров модели, требует много GPU и времени. LoRA (Low-Rank Adaptation) — обучаем маленький "адаптер" размером 100-500 МБ, который добавляется к замороженной базовой модели. QLoRA — то же что LoRA, но базовая модель сжата до 4-бит, помещается на одну GPU 24GB даже для 13B-моделей. PEFT — общий термин для всех методов parameter-efficient fine-tuning, куда входят LoRA, QLoRA, prefix-tuning и другие. Для 95% задач достаточно LoRA или QLoRA.

LoRA на 7B модели — одна GPU 24GB (RTX 4090, A10, A100 40GB), стоимость аренды у Selectel/Cloud.ru от 100 ₽/час, обучение 4-12 часов. LoRA на 70B — нужна A100/H100 80GB или две по 40GB. Full fine-tune на 7B — 4-8 GPU A100 на день-два, аренда обойдётся в 30-80 тыс. ₽ за раунд. Full fine-tune на 70B — кластер из 32-64 GPU, это уже 500 тыс. - 2 млн ₽ за раунд. Своя GPU окупается на 3-5 раундах обучения.

HuggingFace Transformers — база. axolotl (yaml-конфиг, готовые рецепты, поддержка большинства моделей) или unsloth (в 2 раза быстрее axolotl, ниже потребление VRAM, но поддержка модельных архитектур уже). PyTorch + accelerate под капотом. Мониторинг через wandb или tensorboard. Для деплоя — vLLM, TGI или Ollama в зависимости от нагрузки и бюджета.

Три уровня проверки. Автоматические метрики (loss, perplexity, BLEU, ROUGE, F1) — необходимы, но недостаточны. Holdout test set — 5-10% от датасета, которые модель не видела при обучении: смотрим как отвечает. Human eval — ваши доменные эксперты слепо оценивают 50-100 ответов дообученной модели против базовой по чек-листу. Решающее слово за людьми, метрики — для контроля что не сломалось.

Сильно зависит от размера модели и подхода. LoRA на 7B — 30-80 тыс. ₽ за раунд (1 GPU на день + работа). QLoRA на 14-34B — 50-150 тыс. ₽. LoRA на 70B — 150-300 тыс. ₽. Full fine-tune на 7B — 200-400 тыс. ₽ (кластер на сутки-двое). Full fine-tune на 70B — 500 тыс. - 1.5 млн ₽. Раундов обычно нужно 2-4: первый эксперимент, корректировка, финальный. Бюджет проекта закладывайте на 3 раунда.

GPT-4 — да, через OpenAI fine-tuning API (доступен для GPT-4o и GPT-4o-mini). Claude — нет, Anthropic fine-tune API не открывают. GigaChat и YandexGPT — да, через их платформы Cloud. Это удобно если не хочется возиться с инфраструктурой, но дороже на 1-2 порядка чем self-hosted LoRA на открытой модели и данные уходят на сервера вендора. Если данные чувствительные или объёмы большие — берите Qwen/Llama/Mistral и обучайте у себя.

Переобучение (overfitting) ловится на валидационной выборке: если train-loss падает, а val-loss растёт — стоп. Решается уменьшением lr, увеличением dropout, ранней остановкой, регуляризацией. Также используем early stopping, валидируемся каждые N шагов. На моей практике из 30+ проектов случаев "стало хуже чем было" — не было ни одного, потому что я не выкатываю в прод модели которые в evaluation проигрывают базовой.

Для русского сейчас лучший выбор Qwen2.5 (7B/14B/32B/72B) — китайская модель, но русский тянет уверенно, лучше Llama по большинству бенчмарков на RU. Для специфических задач — YandexGPT-Lite если нужна интеграция с Yandex Cloud. GigaChat-Lite дообучается через API Сбера. Llama 3.1 — рабочая лошадка для смешанного русско-английского. Mistral — для скорости и низких ресурсов.

При готовом датасете — 1-2 недели. Если датасет нужно собирать и размечать — добавляйте 2-4 недели в зависимости от объёма и сложности разметки. Деплой и интеграция с вашими сервисами — ещё 3-7 дней. Итого средний срок проекта end-to-end — 3-6 недель. Самое долгое обычно не обучение (это часы), а подготовка качественного датасета.

Раз в 2-3 месяца я рекомендую переобучать на расширенном датасете: за это время накапливаются новые примеры, исправления ошибок модели, новая терминология. Этот процесс автоматизируется (continuous learning pipeline) — раз в N дней пересборка адаптера на актуальных данных, регрессионное тестирование, и если метрики не упали — деплой нового адаптера без остановки сервиса.