Что такое LLM?

LLM расшифровывается как Large Language Model — большая языковая модель. Это тип искусственной нейронной сети, обученной на колоссальных объёмах текста (миллиарды веб-страниц, книг, статей, исходного кода), чтобы научиться предсказывать следующее слово в предложении. ChatGPT, Claude, Gemini, Llama, Mistral, DeepSeek — все эти названия, которые вы видите повсюду с 2023 года, это LLM или продукты, построенные на LLM.

Принцип может показаться до смешного простым для технологии, которая генерирует код, пишет эссе, резюмирует 500-страничные документы и сдаёт медицинские экзамены: предсказать следующее слово. Но когда вы обучаете достаточно большую нейронную сеть на достаточном количестве текста, эта задача предсказания порождает способности, которых никто толком не предвидел: рассуждение, перевод, решение задач, генерация кода и форма понимания языка, которая, не будучи человеческой, даёт результаты, часто неотличимые от человеческих.

Как работает LLM

LLM — это очень сложная математическая функция. Она принимает последовательность слов (точнее, «токенов» — фрагментов слов) на вход и выдаёт распределение вероятностей по всем возможным токенам на выход. Токен с наибольшей вероятностью выбирается как следующее слово, добавляется к последовательности, и процесс повторяется. Так модель генерирует текст, слово за словом (или токен за токеном).

Лежащая в основе архитектура называется Transformer, представленная исследователями Google в 2017 году в статье «Attention Is All You Need». Ключевое нововведение Transformer — механизм внимания (attention): вместо обработки слов по одному слева направо (как делали рекуррентные сети до этого) Transformer может рассматривать все слова последовательности одновременно и вычислять связи между каждой парой слов. Это позволяет понимать контекст: когда вы пишете «берег реки», модель знает, что «берег» относится к краю воды, а не к чему-то другому, потому что вычислила связь между «берег» и «реки».

В 2026 году доминирующей архитектурой является Mixture of Experts (MoE): модель содержит триллионы параметров в целом, но только малая доля (несколько десятков миллиардов) активируется для каждого токена. Это как здание с сотнями специализированных кабинетов: для каждого вопроса вас направляют только в 2-3 нужных, а не во все 200. Это позволяет получать качество гигантской модели при значительно меньших вычислительных затратах.

Три этапа создания LLM

LLM не рождается способным вести беседу. Его создание проходит через три отдельных этапа, каждый из которых наделяет его разными способностями.

Предварительное обучение (pre-training). Модель обучается на огромном корпусе текста (миллиарды веб-страниц, книги, исходный код, научные статьи, обсуждения на форумах). Цель проста: предсказать следующее слово. Делая это миллиарды раз на миллиардах текстов, модель учит грамматику, факты, логическое рассуждение, стиль и форму «знания о мире», закодированную в статистических связях между словами. Предварительное обучение — самый дорогой этап: обучение GPT-3 потребовало 1 287 МВт·ч электроэнергии, что эквивалентно электроснабжению 330 американских домов в течение года. Модели 2026 года потребляют ещё больше.

Контролируемая доводка (SFT). После предварительного обучения модель умеет дополнять текст, но не умеет отвечать на вопросы, следовать инструкциям или вести структурированный диалог. Контролируемая доводка заключается в обучении на качественных примерах диалогов: парах вопрос-ответ, написанных людьми, примерах следования инструкциям, задачах на рассуждение. Именно этот этап превращает «дописывалку текста» в разговорного ассистента.

Выравнивание (RLHF, DPO, GRPO). Третий этап состоит в выравнивании поведения модели с предпочтениями людей. Исторический метод — RLHF (Reinforcement Learning from Human Feedback): люди сравнивают два ответа модели и указывают, какой лучше. Модель вознаграждения обучается на этих предпочтениях, а затем используется для оптимизации LLM через обучение с подкреплением. Более новые методы вроде DPO (Direct Preference Optimization) и GRPO (Group Relative Policy Optimization) упрощают этот процесс. Выравнивание — то, что не даёт модели генерировать токсичный контент, следовать опасным инструкциям или отвечать излишне многословно.

Токены: базовая единица

LLM работают не со словами, а с токенами. Токен — это фрагмент текста: распространённое слово часто является одним токеном, редкое слово может быть разбито на несколько токенов, а специальный символ или знак пунктуации обычно представляет собой отдельный токен. В среднем для текста на русском или английском один токен соответствует примерно 3/4 слова. Текст из 1 000 слов — это примерно 1 300 токенов.

Это различие важно, потому что LLM тарифицируют и ограничивают по токенам, а не по словам. «Окно контекста» (объём текста, который модель может обработать за раз) измеряется в токенах. В 2026 году передовые модели предлагают окна контекста от 128 000 до 1 миллиона токенов (Gemini, Claude), а Meta Llama 4 Scout достигает 10 миллионов токенов. Но «окно контекста» и «эффективный контекст» — не одно и то же: большинство моделей теряют точность на информации, расположенной в середине длинного контекста.

Что умеют LLM

Список возможностей LLM в 2026 году длинный и растёт с каждым новым поколением моделей.

Генерация текста. Писать письма, отчёты, статьи, сценарии, посты в соцсетях. Это самый распространённый и заметный вариант использования.

Резюмирование и анализ. Сжать 200-страничный документ до нескольких абзацев, извлечь ключевые тезисы, определить основные аргументы, сравнить два текста.

Перевод. LLM переводят между десятками языков с качеством, часто не уступающим профессиональным переводчикам для повседневных текстов (менее надёжны для узкоспециализированных или художественных текстов).

Генерация и анализ кода. Написание кода практически на любом языке программирования, отладка существующего кода, объяснение работы программы, конвертация кода с одного языка на другой. В 2026 году около 85 % разработчиков регулярно используют инструменты кодирования на базе LLM.

Рассуждение. Модели рассуждения (GPT-5 с настраиваемой глубиной, Claude с «extended thinking», Gemini 3, DeepSeek R1) могут решать сложные математические задачи, логические головоломки и задачи, требующие многоэтапного планирования. Они «думают», генерируя внутреннюю цепочку рассуждений перед выдачей итогового ответа.

Мультимодальность. Современные LLM больше не ограничиваются текстом. Они могут анализировать изображения (описывать фото, читать текст на картинке, интерпретировать графики), обрабатывать аудиофайлы (транскрипция, голосовой перевод), а в некоторых случаях генерировать изображения или видео.

Чего LLM не умеют

Несмотря на впечатляющие возможности, у LLM есть фундаментальные ограничения, которые нужно понимать для корректного использования.

Галлюцинации. LLM иногда выдумывают ложную информацию с полной уверенностью. Они могут ссылаться на несуществующие исследования, приписывать цитаты людям, которые их никогда не произносили, или давать полностью вымышленные цифры. Проблема в самой их природе: они генерируют наиболее вероятный текст, а не наиболее правдивый. Для LLM ложное утверждение, которое «звучит правильно», может иметь более высокую вероятность, чем истинное, но необычно сформулированное. Уровень галлюцинаций снижается с каждым поколением моделей, но не равен нулю и, вероятно, никогда не будет.

Надёжное рассуждение на длинных цепочках. LLM способны надёжно связывать 3-5 шагов рассуждения. Далее ошибки накапливаются. Задача, требующая 15 шагов логического рассуждения, будет решена непоследовательно даже лучшими моделями. Модели рассуждения (которые «думают» дольше) поднимают этот потолок, но не устраняют его.

Актуальные знания. LLM заморожена во времени. Она знает информацию из обучающих данных, но ничего не знает о событиях после даты отсечки обучения. Для доступа к свежей информации нужны инструменты (поиск в интернете, доступ к базам данных), что по сути означает построение ИИ-агента вокруг LLM.

Математика и подсчёт. Парадоксально, LLM плохо справляются с базовой арифметикой, когда нужно делать её «в уме» (подсчитать буквы в слове, перемножить большие числа). Они хорошо работают в математическом рассуждении (понять задачу и сформулировать подход), но не в голом вычислении. Поэтому лучшие системы дают им доступ к интерпретатору кода для выполнения вычислений, вместо того чтобы делать это самостоятельно.

Память между разговорами. По умолчанию LLM не имеет памяти между двумя разговорами. Каждый обмен начинается с нуля. Системы памяти (резюме предыдущих бесед, базы данных контекста) — это надстройки, добавленные приложениями, а не нативная способность модели.

Основные LLM в 2026 году

Экосистема LLM структурировалась вокруг двух категорий: проприетарные модели (доступные только через API или веб-интерфейс) и модели с открытым кодом (скачиваемые и запускаемые локально).

GPT-5 (OpenAI) — флагманская модель OpenAI, преемник GPT-4. Включает настраиваемый режим рассуждения, позволяющий «думать» дольше или короче в зависимости от сложности задачи. ChatGPT, построенный на GPT-5, достиг 900 миллионов еженедельно активных пользователей в 2026 году.

Claude (Anthropic) — семейство моделей Anthropic с архитектурой, ориентированной на безопасность и выравнивание. Claude доступен в нескольких размерах (Haiku, Sonnet, Opus), адаптированных к различным соотношениям качество/цена/скорость. Anthropic обслуживает более 300 000 корпоративных клиентов.

Gemini (Google) — семейство моделей Google, интегрированное в поиск Google, Gmail, Google Docs и Android. Приложение Gemini превысило 900 миллионов ежемесячно активных пользователей в 2026 году. Gemini выделяется очень большими окнами контекста (до 1 миллиона токенов).

Llama (Meta) — ведущее семейство моделей с открытым кодом, свободно скачиваемых и модифицируемых. Llama 4 Scout достигает 10 миллионов токенов контекста. Модели Llama массово используются компаниями, которые хотят размещать собственную LLM без зависимости от облачного провайдера.

DeepSeek (DeepSeek) — китайская модель с открытым кодом, которая потрясла индустрию в начале 2025 года, продемонстрировав производительность, сопоставимую с GPT-4, при значительно меньшей стоимости обучения. DeepSeek доказал, что передовая производительность не обязательно требует передовых бюджетов.

Mistral (Mistral AI) — ведущая европейская модель, разработанная французским стартапом. Mistral делает ставку на эффективность: модели меньшего размера, но очень конкурентоспособные для своих параметров, особенно подходящие для случаев, где важны задержка или стоимость.

Параметры: что они означают

Когда говорят о модели с «70 миллиардами параметров» или «триллионом параметров», параметры — это числовые значения, настраиваемые в ходе обучения, которые определяют поведение модели. Каждый параметр — число с плавающей точкой, хранящееся в нейронной сети. Грубо говоря, больше параметров означает, что модель может закодировать больше знаний и более сложные связи между словами.

Но размер — не всё. Модель с 8 миллиардами параметров, хорошо обученная на качественных данных, может превзойти модель с 70 миллиардами, плохо обученную на посредственных данных. Качество обучающих данных, архитектура модели и техники пост-обучения значат не меньше, а то и больше, чем сырое число параметров. Это урок, который DeepSeek преподал индустрии: производительность зависит не только от бюджета.

Проприетарные модели vs модели с открытым кодом

Дискуссия между проприетарными моделями и моделями с открытым кодом — одна из самых активных в индустрии в 2026 году.

Проприетарные модели (GPT-5, Claude, Gemini) доступны только через API или веб-интерфейс. Вы не можете увидеть их исходный код, скачать или модифицировать. Преимущество: как правило, самые производительные, постоянно обновляются, не нужно управлять инфраструктурой. Недостаток: зависимость от поставщика (цены, условия использования, доступность, политика конфиденциальности данных).

Модели с открытым кодом (Llama, DeepSeek, Mistral, Qwen) можно скачать, модифицировать и запускать на собственной инфраструктуре. Преимущество: полный контроль над данными (ничего не покидает ваших серверов), возможность дообучения модели под конкретный случай использования, отсутствие зависимости от поставщика. Недостаток: нужно управлять инфраструктурой (дорогие GPU), производительность обычно немного ниже лучших проприетарных моделей, обновления реже.

В 2026 году разрыв в производительности между двумя категориями сокращается. DeepSeek V3.2, Qwen3 и Llama 4 конкурируют с проприетарными моделями по многим бенчмаркам. Для многих компаний выбор основывается не столько на сырой производительности, сколько на требованиях к конфиденциальности, стоимости и контролю.

Стоимость использования

Проприетарные LLM тарифицируются по токенам (входным и выходным). Цены значительно различаются в зависимости от модели и поставщика. Передовая модель стоит обычно от 2 до 15 долларов за миллион входных токенов и от 8 до 60 долларов за миллион выходных. Модели поменьше или постарше стоят долю этих цен.

Для самостоятельно размещённых моделей с открытым кодом основная статья расходов — оборудование: профессиональный GPU (NVIDIA A100 или H100) стоит от 10 000 до 30 000 долларов, а крупная модель требует нескольких GPU. Стоимость на токен ниже после развёртывания инфраструктуры, но начальные вложения и обслуживание значительны.

Глобальный рынок LLM оценивается в 7,81 миллиарда долларов в 2025 году и, по прогнозам, достигнет 130 миллиардов к 2034. OpenAI превысила 20 миллиардов долларов годовой выручки, Anthropic достигла 14 миллиардов.

Риски и ограничения, которые нужно учитывать

Конфиденциальность данных. Когда вы отправляете текст в LLM через облачный API, этот текст передаётся на серверы поставщика. Всегда проверяйте политику конфиденциальности: некоторые поставщики могут использовать ваши данные для обучения будущих моделей. Если конфиденциальность критична, рассмотрите самостоятельно размещённую модель с открытым кодом или корпоративный договор с явными гарантиями.

Предвзятость (bias). LLM отражают предвзятости, присутствующие в обучающих данных. Если данные избыточно представляют определённые культурные, географические или демографические перспективы, модель воспроизведёт эти предвзятости. Поставщики работают над их снижением через выравнивание и фильтрацию, но проблема не решена.

Энергопотребление. Обучение и использование LLM потребляют значительные объёмы энергии. Сектор ИИ может потреблять от 85 до 134 ТВт·ч в год к 2027, почти столько же, сколько Нидерланды. Это растущая экологическая проблема.

Зависимость. Концентрация рынка вокруг нескольких поставщиков (OpenAI, Google, Anthropic, Meta) создаёт риски зависимости. Изменение цен, политики использования или сбой может затронуть миллионы пользователей и приложений.

LLM — это нейронная сеть, обученная предсказывать следующее слово. Эта простая задача, применённая в колоссальном масштабе, порождает способности к рассуждению, письму, переводу и программированию, которые преобразили информатику за три года. В 2026 году LLM используются сотнями миллионов людей, но их ограничения (галлюцинации, хрупкое рассуждение на длинных последовательностях, отсутствие нативной памяти) остаются реальными. Понимание того, что LLM есть и чем не является — условие для его эффективного использования.