Разные архитектуры искусственного интеллекта и чем они отличаются

Искусственный интеллект — это не одна конкретная технология, а целый набор разных подходов. За последние годы появилось множество архитектур, и каждая из них решает свои задачи и по-своему обрабатывает данные.

Ниже — основные типы моделей, которые сегодня чаще всего обсуждаются в контексте современных ИИ-систем.

LLM — большие языковые модели

LLM (Large Language Models) — это модели, которые работают с текстом, разбивая его на небольшие части и последовательно предсказывая следующий элемент.

Их сила в том, что они умеют находить закономерности в огромных объёмах текстов и генерировать связные ответы, тексты и рассуждения.

Самые известные примеры — GPT-4, Claude 3, Grok и Llama 3. Эти модели обучаются на сотнях терабайт текста из книг, сайтов и кодовых репозиториев. Интересный факт: у больших LLM часто проявляются «emergent abilities» — способности, которые внезапно появляются только после определённого размера модели (например, умение решать математические задачи или шутить). Однако они очень ресурсоёмкие: обучение одной топ-модели может стоить десятки миллионов долларов и потреблять энергии как небольшой город.

LCM — большие концептуальные модели

LCM (Large Concept Models) — более новый подход, в котором модель работает не с отдельными словами, а с целыми смысловыми единицами.

Вместо пошаговой обработки текста такие модели оперируют «концептами», что позволяет им лучше улавливать общий смысл и структуру информации.

LCM пытаются преодолеть главный недостаток классических LLM — «потерю смысла» при длинных цепочках рассуждений. Вместо токенов они работают с высокоуровневыми идеями, что делает их перспективными для сложного планирования, научных исследований и долгосрочного диалога. Такие модели могут лучше понимать причинно-следственные связи и меньше «галлюцинировать» в абстрактных темах.

VLM — модели, объединяющие зрение и язык

VLM (Vision-Language Models) объединяют обработку изображений и текста.

Они способны анализировать визуальную информацию и описывать её словами, а также отвечать на вопросы, связанные с изображениями.

Яркие примеры — GPT-4V, Claude-3-Opus, LLaVA, Qwen-VL и Gemini. Эти модели уже используются в реальной жизни: от помощи незрячим людям (описание окружающего мира) до автоматического анализа медицинских снимков и контроля производства на заводах. Интересно, что современные VLM могут не только описывать картинку, но и понимать мемы, читать текст на изображениях и даже рассуждать о последовательности кадров в видео.

SLM — малые языковые модели

SLM (Small Language Models) — компактные версии языковых моделей, которые оптимизированы для работы на устройствах с ограниченными ресурсами.

Они быстрее и легче, но обычно уступают большим моделям по качеству и глубине рассуждений.

Примеры: Microsoft Phi-3 (3.8B параметров), Google Gemma 2B/7B, Apple OpenELM. Эти модели можно запускать на смартфоне или ноутбуке без интернета, что критично для приватности и регионов с плохим соединением. Хотя они меньше, благодаря продвинутым техникам дистилляции и квантизации они иногда удивительно близко подходят по качеству к гораздо более крупным моделям.

MoE — смесь экспертов

MoE (Mixture of Experts) — архитектура, в которой модель состоит из множества специализированных подсистем.

При каждом запросе активируется только часть этих «экспертов», что делает систему более эффективной и масштабируемой.

Классический пример — Mixtral 8x7B и Grok-1 (314B). Вместо того чтобы использовать все 314 миллиардов параметров одновременно, MoE активирует лишь 20–30%. Это даёт огромную экономию энергии и позволяет создавать по-настоящему гигантские модели. Именно MoE сейчас считается одним из главных путей к дальнейшему масштабированию ИИ.

MLM — маскированные языковые модели

MLM (Masked Language Models) обучаются на задачах восстановления пропущенных частей текста.

Они анализируют контекст одновременно с обеих сторон, что помогает лучше понимать смысл фраз.

Самый известный представитель — BERT от Google и его потомки (RoBERTa, DistilBERT). Именно MLM-подход революционизировал поиск в Google, рекомендательные системы и анализ тональности текста. Эти модели особенно сильны в задачах понимания (classification, named entity recognition), а не генерации, поэтому их часто используют как «мозг» внутри более сложных систем.

LAM — модели действий

LAM (Large Action Models) — это модели, которые выходят за рамки генерации текста и могут выполнять действия в цифровой среде.

Они способны интерпретировать запросы и превращать их в последовательность операций.

LAM — это следующий шаг после чат-ботов: модели, которые могут управлять браузером, заполнять формы, работать с приложениями или даже управлять роботами. Примеры — проекты типа Adept, Anthropic Computer Use и различные Agent-фреймворки. Они открывают путь к настоящим цифровым ассистентам, которые не просто советуют, а реально делают работу за человека.

SAM — модели сегментации изображений

SAM (Segment Anything Models) предназначены для работы с изображениями на уровне отдельных объектов.

Они позволяют выделять и разделять любые элементы на изображении с высокой точностью.

Модель Segment Anything (Meta, 2023) стала настоящим прорывом: она может сегментировать практически любой объект на фото или видео по одной точке или текстовому описанию. Её используют в фоторедакторах, медицине (выделение опухолей), автономном вождении, AR/VR и генеративных инструментах (например, для точного редактирования в Midjourney и Runway). Это одна из самых универсальных моделей компьютерного зрения на сегодня.

Разные архитектуры ИИ существуют не случайно — каждая из них решает свой класс задач. Где-то важнее скорость, где-то понимание изображений, а где-то — способность выполнять действия или работать с большими объёмами текста.

тут последжнее видео

Современный искусственный интеллект развивается не в сторону одной универсальной модели, а в сторону целых специализированных решений.

Современный искусственный интеллект развивается не в сторону одной универсальной модели, а в сторону целых специализированных решений и их комбинаций (например, MoE + VLM + LAM в одном агенте). В ближайшие годы мы скорее всего увидим «оркестры» из разных архитектур, где каждая часть делает то, в чём она сильнее всего.