Локальные LLM на вашем сервере

Минимум: 1×NVIDIA H100 80GB (FP8 или AWQ Q4) или 2×A100 80GB (FP16). Бюджетный вариант: 2×RTX A6000 48GB или 4×RTX 4090 24GB (с тензорным параллелизмом, медленнее). Сервер от 1.8-3.5 млн ₽ в зависимости от GPU. Память системы 256+ GB RAM, NVMe от 4TB для весов и кэша. Питание 2-3 kW, охлаждение серверной стойки обязательно. Можно арендовать у Selectel, Cloud.ru, immers.cloud — от 80-200 тыс. ₽/мес за хост с A100.

1×RTX 4090 (24 GB) комфортно держит 7-8B модели в FP16 с контекстом до 8k, или с квантизацией Q4 — до 32k. Бюджет железа: 350-500 тыс. ₽. Для production с несколькими параллельными пользователями лучше A100 40GB. Для CPU-only варианта подойдёт сервер с 64+ GB RAM, llama.cpp Q4_K_M даёт 5-15 tok/s — приемлемо для batch-задач, медленно для интерактива.

Ollama — для прототипов, одиночного использования, разработки на ноутбуке. Простой запуск (одна команда), но throughput низкий и нет batching. vLLM — для production с несколькими пользователями: PagedAttention, continuous batching, OpenAI-совместимый API. На одной A100 vLLM выдаёт в 5-10 раз больше токенов в секунду чем Ollama при той же модели. Любой коммерческий сервис — это vLLM. Ollama — для R&D и пилотов.

Квантизация снижает точность весов с FP16 (16 бит на параметр) до Q4 (4 бита) — модель занимает в 4 раза меньше памяти и работает быстрее. Современные методы (AWQ, GPTQ) теряют примерно 1-3% качества на бенчмарках — на практике незаметно. Q8 теряет меньше 1%, Q4 теряет 1-3%, Q3 уже заметно деградирует. Стандарт production — AWQ Q4 для GPU и GGUF Q4_K_M / Q8 для CPU. Для критичных задач (медицина, юр-документы) можно держать FP16 ценой большего железа.

Зависит от объёма. При 50-100k запросов в месяц облачные API стоят 80-200 тыс. ₽/мес. Свой сервер с 1×A100 (аренда 100 тыс. ₽/мес) обслуживает 200-500k запросов в месяц с запасом. Break-even — обычно 4-8 месяцев. При собственном железе (CAPEX 2-3 млн ₽) окупается за 12-18 месяцев против OpenAI. Плюс снимаются риски утечек и зависимости от провайдера, которые сложно перевести в деньги до инцидента.

Да. Делаем LoRA-адаптеры (Low-Rank Adaptation) — это в 100-1000 раз дешевле и быстрее полного fine-tune. Нужно 500-5000 пар вопрос-ответ в нужном стиле. Тренировка LoRA для 7B модели — несколько часов на 1×A100, для 70B — 12-48 часов. Адаптер весит 50-500 MB, грузится поверх базовой модели за секунды. Можно держать несколько LoRA под разные задачи на одной базе.

Сначала пробуем базовую модель (Qwen 2.5 72B, Llama 3.3 70B) + RAG по доменным документам — в 80% случаев этого хватает с лихвой. Если нужна специфическая терминология и стиль — добавляем LoRA на 1-5к доменных примеров. Полный fine-tune базовой модели на домене — дорого (от 500 тыс. ₽ за прогон) и нужен только в редких случаях. Для медицины есть готовые домен-модели типа BioMistral, для русского права — есть LoRA-адаптеры в open-source.

Технически да — llama.cpp с GGUF-квантами работает на любом x86 сервере с AVX2. Реально: 7B Q4 даёт 5-15 tok/s на хорошем сервере (Xeon Gold, Epyc) — приемлемо для batch-задач (классификация, разметка ночью), не годится для интерактивного чата. 70B на CPU даёт 0.5-2 tok/s — практически непригодно. Если бюджет на GPU отсутствует — лучше арендовать GPU в Selectel/Cloud.ru за 80-150 тыс. ₽/мес чем мучаться с CPU.

В Docker-стеке заменяем тег образа и pull новых весов с HuggingFace (или зеркала). Прогоняем регресс-тесты на наборе из 200-500 эталонных запросов, сравниваем по метрикам (точность ответов, latency, throughput). Если всё ок — переключаем production трафик через reverse-proxy. Откат за минуту если что-то пошло не так. Делаем такие обновления раз в квартал, либо когда выходит заметно более сильная модель.

Часто оптимально держать 2-3 модели разного размера: маленькая (7B) для простых задач (классификация, извлечение полей, короткие ответы), средняя (Qwen 2.5 32B) для большинства, большая (70B) для сложного reasoning. Роутер на входе классифицирует запрос и направляет на нужную модель. Экономия 60-80% железа vs «всё гоняем на 70B».

Open-source модели проходят safety-тюнинг от производителей (Meta, Alibaba), но он слабее чем у OpenAI. Дополнительно ставим content-filter (Llama Guard, Saiga Moderator или собственные правила) на входе и выходе. Для критичных применений (саппорт клиентам, медицина) добавляем faithfulness-проверку: вторая модель проверяет что ответ опирается на контекст и не противоречит фактам.

Со стороны клиента: 1 встреча 2 часа с IT (требования, контур, доступы), сборка/закупка/аренда железа (2-6 недель, лидтайм A100 в РФ может быть длинным), 1 встреча с владельцем процесса по бизнес-требованиям. Дальше мы разворачиваем стек, бенчмаркаем модели, настраиваем мониторинг. Сетевая часть и интеграция в ваш контур — параллельно с IT. Итого 5-10 часов на команду заказчика, остальное на нас.