🏭 Как создаются языковые модели

Чтобы осмысленно выбирать модель (05-vybor-modeli) и понимать, что значат в вакансиях слова «fine-tuning», «RLHF» и «SFT», не нужно знать математики. Достаточно понимать три этапа, через которые проходит любая современная ассистент-модель, — и один важный вывод: вам почти никогда не нужно обучать модель с нуля.

Три этапа жизни модели

flowchart LR
    P["1️⃣ Pre-training<br/>Предобучение"]:::stage
    P --> Base["Базовая модель<br/>(«голос», но бесполезна)"]:::model
    Base --> S["2️⃣ SFT<br/>Под надзором"]:::stage
    S --> Tuned["Модель отвечает<br/>в нужном формате"]:::model
    Tuned --> R["3️⃣ RLHF<br/>На оценках людей"]:::stage
    R --> Final["💬 Ассистент<br/>(ChatGPT, Claude)"]:::model
    classDef stage fill:#fff4e6,stroke:#e8a04e,stroke-width:2px;
    classDef model fill:#e3f2fd,stroke:#4a90d9;

1. Pre-training — предобучение

Модель учится простейшему: предсказывать следующий токен на гигантском массиве текста (весь общедоступный интернет, книги, код). Это занимает тысячи видеокарт и недели-месяцы работы; стоит миллионы долларов.

Результат — базовая модель (base model): она отлично продолжает текст, но не знает, что надо отвечать как ассистент. Если спросить её «Как оформить договор?», она может продолжить следующим вопросом («…и где его зарегистрировать?»), а не дать ответ. Это ещё не ChatGPT.

2. SFT (Supervised Fine-Tuning) — дообучение с учителем

На базовую модель показывают тысячи готовых пар «вопрос → хороший ответ», написанных людьми. Модель учится формату и поведению: отвечать прямо, признавать незнание, следовать стилю. После SFT модель уже ведёт себя как ассистент.

3. RLHF (Reinforcement Learning from Human Feedback)

Финальная полировка. Людям показывают несколько вариантов ответа модели на один запрос; они расставляют их от лучшего к худшему. По этим оценкам модель подстраивается так, чтобы чаще выдавать то, что людям нравится — полезное, безопасное, в нужном тоне.

Что вы получаете на выходе

Именно SFT + RLHF превращают «голосовую предсказательную машину» в ChatGPT, который здоровается, извиняется, отказывается от вредного и старается быть полезным. Воспитание модели не менее важно, чем её «знания».

На практике

Когда вендор хвастает «нашей собственной моделью», уточните, что именно у них своё: полную базу с нуля (это единицы компаний в мире), файн-тюн чужой базы (редко и обычно не оправдано), или просто промпт/RAG поверх чужой модели (подавляющее большинство). Это три совершенно разных уровня заявки.

Открытые vs проприетарные модели

	Проприетарные (закрытые)	Открытые (open-source / open-weights)
Доступ	Только через API владельца	Веса можно скачать и запустить у себя
Примеры	GPT, Claude, Gemini	Llama, Qwen, DeepSeek, GLM
Контроль данных	Данные уходят к поставщику	Можно держать в своём контуре
Затраты	Платите за токены	Платите за своё «железо» (GPU/сервер)
Качество (флагман)	Обычно выше	Догоняет, иногда на уровне прошлого поколения

Подробнее о конкретных моделях и доступности — в 04-landshaft-modeley. Юридические аспекты — где можно отправлять данные — в 15-compliance-i-bezopasnost.

Fine-tuning — дообучение под себя

Fine-tuning (файн-тюн) — это когда вы берёте уже готовую модель и дополнительно учитёте её на своих данных, чтобы «встроить» в неё стиль, формат или специфику домена. Это не «обучение с нуля» — это тонкая подстройка.

Самый частый промах

Команды тянутся к fine-tuning, когда на самом деле им нужен RAG. Правило: если проблема в знаниях (модель не знает ваших документов) → нужен RAG. Если проблема в поведении/стиле (модель не отвечает в нужном формате, не соблюдает тон) → нужен fine-tuning (или просто лучший промпт). Подробное сравнение — в 09-rag.

flowchart TD
    Q{"В чём проблема?"}
    Q -->|«Не знает наши документы»| RAG["🔎 RAG<br/>подсунуть факты в момент"]
    Q -->|«Не тот стиль/формат»| FT["🏭 Fine-tuning<br/>(или просто промпт)"]
    Q -->|«Нужны действия, а не текст»| Tools["🔧 Инструменты / агент<br/>(см. 10, 11)"]

Почему вам не нужно обучать модель с нуля

Полное предобучение флагманской модели — это сотни миллионов рублей, специализированные инженеры и месяцы работы. Для роли AI Solution Architect / CDTO это почти никогда не целевая задача. Реальные рычаги влияния на «интеллект» системы — другие:

1. Выбор подходящей готовой модели (05-vybor-modeli) — даёт 80% результата.
2. Промпт-инжиниринг (07-prompt-engineering) — правильная постановка задачи.
3. RAG (09-rag) — подключение ваших знаний.
4. Инструменты и агенты (11-tools-mcp, 10-agent-architecture) — способность действовать.
5. Fine-tuning — точечная подстройка стиля/формата, последний пункт, а не первый.

Аналогия

Обучать модель с нуля — как построить своё электроснабжение, чтобы зажечь лампочку. В 99% случаев достаточно «подключиться к розетке» (API готовой модели) и сосредоточиться на самой лампе (сценарии, данные, процессы).

---

📌 Что запомнить

• Любая ассистент-модель проходит pre-training → SFT → RLHF.
• SFT и RLHF — это «воспитание», без которого модель не была бы ChatGPT.
• Закрытые модели — через API; открытые (Llama, Qwen, DeepSeek, GLM) — можно держать у себя.
• Fine-tuning подстраивает стиль/формат; RAG даёт знания. Не путать.
• Обучение с нуля — не ваш уровень решения; рычаги управления — выбор модели, промпт, RAG, инструменты.

Дальше: 🌐 Ландшафт моделей → — какие модели есть на рынке, чем отличаются и что реально доступно.