Как запускать ИИ локально: что поставить на Windows и Linux

Если у вас уже есть достаточно мощный компьютер или вы как раз думаете о покупке нового, стоит заранее учитывать, что на нем можно будет запускать ИИ-модели локально. Для этого в первую очередь важны видеокарта и объем оперативной памяти.

У себя дома для разработки я использую NVIDIA GeForce RTX 5060 Ti с 16 ГБ видеопамяти. Это не самая дорогая видеокарта, но здесь для меня было важно взять именно версию на 16 ГБ, а не на 8 ГБ. Современные модели быстро расходуют VRAM, и даже не самые крупные из них могут не поместиться в 8 ГБ.

Также в компьютере установлено 128 ГБ оперативной памяти. Если модель целиком не помещается в видеопамять, часть данных можно перенести в обычную RAM. Работать она будет медленнее, чем полностью на видеокарте, но зато модель вообще запустится. Для большинства моделей среднего размера такой конфигурации мне хватает.

На практике при локальном запуске ИИ я в первую очередь смотрю на объем видеопамяти. Производительность видеокарты тоже важна, но лишние гигабайты VRAM часто оказываются полезнее небольшой прибавки в скорости.

Процессор тоже участвует в работе системы, но основные вычисления при нормальной настройке выполняет видеокарта. Поэтому при сборке компьютера для локального ИИ я бы сначала вкладывался в GPU и память, а уже потом выбирал процессор.

Еще один момент, о котором легко забыть, — свободное место на диске. Веса моделей занимают много места. Обычная модель может весить несколько десятков гигабайт, а крупные модели — сотни. Если хочется скачать несколько вариантов и сравнивать их между собой, свободный SSD заканчивается довольно быстро.

Сейчас многие ИИ-модели можно запускать прямо на своем компьютере. Они умеют писать и редактировать тексты, помогать с кодом, разбирать документы, создавать изображения и расшифровывать аудио.

Но с программами быстро возникает путаница. Ollama, LM Studio, Open WebUI, ComfyUI и AnythingLLM часто упоминают рядом, хотя предназначены они для разных задач.

Я собрал программы, которыми действительно есть смысл пользоваться. Отдельно разберем, что удобнее поставить на Windows, а что лучше работает на Linux.

Коротко: что выбрать

• LM Studio — простой запуск языковых моделей на Windows и Linux.
• Ollama и Open WebUI — локальный ИИ-сервер с удобным интерфейсом.
• ComfyUI — генерация изображений, видео и сложные процессы из узлов.

Мой совет: не устанавливайте сразу десять похожих программ. Для начала выберите одну программу для текста и одну для изображений. Остальное можно добавить позже, когда станет понятно, чего именно не хватает.

Какие ИИ-модели можно запускать дома

Чаще всего локально запускают несколько видов моделей.

Работают с текстом. Они отвечают на вопросы, пишут код, переводят, сокращают статьи и помогают разбирать документы.

Создают и редактируют изображения. К этой категории относятся Stable Diffusion, SDXL, Flux и другие графические модели.

Переводят речь из аудио или видео в текст. Самый известный пример — Whisper.

Работают не только с текстом, но и с изображениями. Такой модели можно показать фотографию, схему или скриншот и задать вопрос по содержимому.

Одной программы, которая одинаково хорошо справляется со всеми этими задачами, пока нет. Поэтому приложения лучше выбирать под конкретную работу.

LM Studio — проще всего начать на Windows

Если нужно скачать языковую модель и сразу открыть чат, я бы начал с LM Studio.

Это обычная настольная программа. Внутри есть поиск моделей, загрузка и окно диалога. Не нужно отдельно ставить Python, Docker или разбираться с командами в терминале.

LM Studio подходит для следующих задач:

• общение с локальной нейросетью;
• написание и проверка кода;
• перевод и редактирование текстов;
• сравнение разных языковых моделей;
• работа с моделями в формате GGUF;
• запуск локального API.

Программа доступна для Windows, Linux и macOS. Но именно на Windows она особенно удобна: скачал установщик, выбрал модель и можно работать.

Скачать LM Studio с официального сайта

Кому подойдет: тем, кто впервые запускает LLM на своем компьютере и не хочет начинать с терминала.

Ollama — когда нужен не только чат

Ollama тоже запускает языковые модели, но устроена немного иначе. Это в первую очередь локальный движок и сервер, к которому можно подключать другие программы.

Через Ollama модель можно связать с сайтом, Telegram-ботом, редактором кода, собственным скриптом или веб-интерфейсом.

Запуск модели выглядит примерно так:

ollama run qwen3

Ollama скачает необходимые файлы и запустит модель. После этого с ней можно работать через терминал или локальный API.

Ollama я бы использовал для таких задач:

• создание собственного ИИ-ассистента;
• обработка текстов через API;
• подключение ИИ к сайту или программе;
• работа с редакторами кода;
• запуск моделей на домашнем сервере;
• доступ к одной модели с нескольких устройств.

Ollama работает на Windows, Linux и macOS. На Windows есть обычный установщик. На Linux ее удобно держать запущенной как системную службу.

Скачать Ollama с официального сайта

Посмотреть доступные модели для Ollama

Open WebUI — удобный интерфейс для Ollama

Сама Ollama может работать через терминал, но для постоянного общения этого обычно мало. Поэтому вместе с ней часто ставят Open WebUI.

Это веб-интерфейс, похожий на ChatGPT. В нем есть история диалогов, выбор моделей, пользователи, загрузка файлов и работа с базами знаний.

Ollama — запускает языковые модели

Open WebUI — показывает удобный интерфейс

На Linux я чаще выбрал бы именно эту связку. Особенно если компьютер работает как домашний сервер, а открывать чат нужно с ноутбука, телефона или другого компьютера.

На Windows Open WebUI тоже работает. Но если нужен только простой локальный чат, LM Studio установить легче.

Самый распространенный способ установки Open WebUI — через Docker:

docker run -d \
  -p 3000:8080 \
  -v open-webui:/app/backend/data \
  --name open-webui \
  --restart always \
  ghcr.io/open-webui/open-webui:main

После запуска интерфейс откроется по адресу:

http://localhost:3000

Официальная инструкция по установке Open WebUI

Jan — простой локальный чат для Windows и Linux

Jan похож на LM Studio. Это готовое приложение с окном чата, загрузкой моделей и локальным хранением данных.

Мне он особенно нравится как вариант для Linux, когда не хочется ставить Docker и поднимать отдельный веб-интерфейс. Можно установить программу, скачать модель и сразу начать работу.

Jan подойдет тем, кому нужны:

• обычный локальный чат;
• понятный графический интерфейс;
• работа с моделями GGUF;
• хранение истории на своем компьютере;
• поддержка Windows и Linux.

На Linux доступны Flatpak, AppImage и DEB-пакет. Для Windows есть обычный установщик.

По возможностям Jan и LM Studio во многом пересекаются. Ставить обе программы сразу необязательно. Я бы попробовал каждую и оставил ту, чей интерфейс покажется удобнее.

Скачать Jan с официального сайта

GPT4All — если нет мощной видеокарты

GPT4All рассчитан на обычные компьютеры и ноутбуки. Небольшие языковые модели можно запускать на процессоре, используя оперативную память.

Без видеокарты ответы будут появляться медленнее. Но для коротких запросов, перевода, черновиков и работы с небольшими документами этого часто хватает.

В GPT4All есть:

• каталог моделей;
• локальный чат;
• работа с собственными файлами;
• локальный API;
• версии для Windows, Linux и macOS.

Я бы рассматривал GPT4All в двух случаях: если компьютер не имеет дискретной видеокарты или если хочется быстро проверить, насколько вообще удобно работать с локальными моделями.

Скачать GPT4All с официального сайта

AnythingLLM — когда нужно работать со своими документами

Обычная языковая модель не знает, что лежит в ваших PDF, инструкциях и рабочих файлах. Для таких задач можно использовать AnythingLLM.

В программу загружаются документы, после чего им можно задавать вопросы по содержимому. Например, собрать в одном месте техническую документацию, инструкции, заметки или архив статей.

AnythingLLM пригодится для:

• анализа PDF и текстовых документов;
• поиска информации в собственных файлах;
• создания личной базы знаний;
• работы с технической документацией;
• создания отдельных рабочих пространств;
• подключения локальных моделей и ИИ-агентов.

Для одного пользователя проще взять настольную версию. Если системой будут пользоваться несколько человек, можно развернуть серверную версию.

AnythingLLM доступен для Windows, Linux и macOS.

Скачать AnythingLLM с официального сайта

ComfyUI — для изображений и видео

Для локальной генерации изображений я бы выбрал ComfyUI.

Поначалу программа выглядит непривычно. Вместо обычной формы с промптом на экране находится схема из блоков. Один блок загружает модель, другой обрабатывает текст, третий создает изображение, а четвертый сохраняет результат.

Через некоторое время к этому привыкаешь. Тогда и становится понятно, почему ComfyUI так популярен: каждый этап можно менять отдельно и собирать собственные процессы.

ComfyUI используют для:

• генерации изображений;
• работы со Stable Diffusion, SDXL и Flux;
• изменения отдельных частей изображения;
• увеличения разрешения;
• подключения LoRA и ControlNet;
• пакетной генерации;
• создания анимаций и видео;
• построения сложных процессов из нескольких моделей.

Как установить ComfyUI на Windows

На Windows проще всего использовать официальный Comfy Desktop или переносную версию ComfyUI. Desktop-приложение само управляет Python, зависимостями и установленными экземплярами ComfyUI.

Как установить ComfyUI на Linux

Для Linux надежнее использовать ручную установку через Python или собрать Comfy Desktop из исходного кода. Готовая настольная версия для Linux пока официально не поддерживается так же, как версия для Windows.

Скачать ComfyUI с официального сайта

Официальная инструкция по ручной установке ComfyUI

Если нужна только кнопка «создать картинку», ComfyUI может показаться сложным. Но для постоянной работы с изображениями я бы все равно выбрал его. Возможности растут вместе с вашими задачами, и менять программу через месяц не придется.

Stable Diffusion WebUI Forge — более привычный интерфейс

Не всем нравятся узлы и схемы ComfyUI. В таком случае можно поставить Stable Diffusion WebUI Forge.

Здесь все выглядит привычнее: поле для промпта, выбор модели, размер изображения, количество шагов и кнопка запуска.

Forge подходит для:

• обычной генерации изображений;
• работы с моделями Stable Diffusion и SDXL;
• использования LoRA;
• подключения ControlNet;
• увеличения разрешения;
• работы через знакомый интерфейс Stable Diffusion WebUI.

Для первого знакомства Forge может оказаться проще. Но если понадобится собирать сложные процессы, объединять несколько моделей или автоматизировать генерацию, ComfyUI будет удобнее.

Официальный репозиторий Stable Diffusion WebUI Forge

Buzz и whisper.cpp — расшифровка аудио и видео

Для распознавания речи удобно использовать Buzz. Это графическая программа, которая работает с моделями Whisper и переводит речь из аудио или видео в текст.

Buzz умеет:

• расшифровывать аудиозаписи;
• извлекать речь из видео;
• распознавать разные языки;
• создавать субтитры;
• сохранять результат в TXT, SRT и VTT;
• работать локально после загрузки модели.

Buzz доступен для Windows, Linux и macOS. На Linux его можно установить через Flatpak или Snap.

flatpak install flathub io.github.chidiwilliams.Buzz

Скачать Buzz и открыть инструкцию по установке

Когда лучше использовать whisper.cpp

Если распознавание речи нужно встроить в сайт, сервер или собственную программу, я бы выбрал whisper.cpp.

У него нет такого удобного настольного интерфейса, зато его проще запускать из скриптов и подключать к своим проектам.

Официальный репозиторий whisper.cpp

Что поставить для локального ИИ на Windows

На Windows я бы начал со следующего набора:

Для начала хватит LM Studio и ComfyUI. Ollama стоит добавлять тогда, когда понадобится API, автоматизация или подключение ИИ к собственным проектам.

Что поставить для локального ИИ на Linux

На Linux я бы собрал систему немного иначе:

Для настольного компьютера мне хватило бы Jan или LM Studio. Для домашнего сервера я бы выбрал Ollama и Open WebUI.

Сколько памяти нужно для локального ИИ

Требования зависят не столько от программы, сколько от самой модели. Главные ограничения — объем оперативной памяти и видеопамяти.

Без видеокарты языковые модели тоже работают. Просто ответы появляются медленнее.

С изображениями сложнее. Чем новее модель и выше разрешение, тем больше памяти она требует.

Также стоит заранее освободить место на SSD. Одна модель может занимать несколько десятков гигабайт. Когда начинаешь сравнивать разные версии, свободное место заканчивается неожиданно быстро.

Все цифры примерные. На расход памяти влияют размер модели, квантование, длина контекста, разрешение изображения и используемый программный движок.

Где скачивать локальные модели

Многие программы имеют собственные каталоги моделей. Например, в LM Studio и GPT4All модель можно найти прямо внутри приложения, а Ollama использует собственную библиотеку.

Самый большой каталог открытых моделей находится на Hugging Face. Там публикуются языковые, графические, голосовые и мультимодальные модели.

Открыть каталог моделей Hugging Face

Скачивайте программы с официальных сайтов и проверяйте лицензию выбранной модели. Некоторые модели можно свободно использовать дома, но нельзя применять в коммерческих проектах без дополнительных условий.

Ollama или LM Studio: что выбрать

Этот вопрос возникает чаще всего, хотя программы не совсем конкурируют друг с другом.

LM Studio я бы выбрал для обычной работы на компьютере. Она проще, нагляднее и почти не требует настройки.

Ollama нужна, когда модель должна работать как сервис. Например, принимать запросы от сайта, программы, редактора кода или бота.

Использовать можно обе программы. В LM Studio удобно быстро проверять новые модели, а Ollama оставить для постоянной работы и автоматизации.

Можно ли использовать локальный ИИ без интернета

После установки программы и загрузки модели интернет в большинстве случаев уже не нужен.

Запросы обрабатываются на компьютере. Тексты, документы и изображения не нужно отправлять в облако, если вы сами не подключили внешний сервис.

Интернет все равно понадобится для:

• первоначального скачивания программы;
• загрузки моделей;
• установки дополнительных компонентов;
• обновления приложений и расширений;
• подключения веб-поиска.

Есть и другое ограничение. Локальная модель не знает, что произошло сегодня. Чтобы она получала свежую информацию, придется отдельно подключить веб-поиск, API или собственную базу данных.

Что выбрать в итоге

Я бы не советовал начинать с большого количества программ. Сначала лучше понять, что именно вы хотите делать.

• Для текстов и кода — LM Studio, Jan или Ollama.
• Для домашнего ИИ-сервера — Ollama и Open WebUI.
• Для PDF и собственных документов — AnythingLLM.
• Для изображений и видео — ComfyUI.
• Для более простого интерфейса Stable Diffusion — Forge.
• Для расшифровки аудио — Buzz или whisper.cpp.

На Windows проще всего начать с LM Studio и ComfyUI Desktop.

На Linux я бы выбрал Jan для обычного чата или Ollama с Open WebUI для сервера. Для изображений в обоих случаях подойдет ComfyUI.

Этого набора хватает почти для всех домашних задач. Остальные программы имеет смысл устанавливать уже тогда, когда становится понятно, чего именно не хватает.

Частые вопросы