如何在本地运行人工智能：在Windows和Linux上需要安装什么

如果您已经拥有足够强大的计算机，或者正考虑购买新计算机，提前考虑到可以在其上本地运行AI模型是值得的。为此，首先重要的是显卡和内存大小。

在家里进行开发时，我使用的是NVIDIA GeForce RTX 5060 Ti，配备16GB显存。这不是最贵的显卡，但对我来说，选择16GB版本而非8GB版本非常重要。现代模型快速消耗VRAM，即使是较小的模型也可能无法适应8GB的显存。

计算机中还安装有128GB内存。如果模型完全无法放入显存，可以将部分数据转移到普通的RAM中。它的工作速度将比完全在显卡上慢，但模型仍然可以启动。对于大多数中等大小的模型，这种配置对我来说是足够的。

在本地运行AI时，我首先关注显存的大小。显卡的性能也是重要的，但多余的几GB VRAM往往比小幅度的速度提升更有用。

处理器在系统工作中也起着作用，但在正常设置下，主要计算由显卡执行。因此，在组装本地AI计算机时，我会首先投入GPU和内存，然后再选择处理器。

还有一个容易被遗忘的点是磁盘上的可用空间。模型占用大量空间。普通模型可能占用几十GB，而大型模型则可能占用数百GB。如果希望下载多个版本并进行比较，空闲的SSD很快就会用完。

现在，许多AI模型可以直接在自己的计算机上运行。它们可以写作和编辑文本，帮助处理代码，分析文档，创建图像和转录音频。

但使用这些程序很快就会感到困惑。Ollama，LM Studio，Open WebUI，ComfyUI和AnythingLLM经常被提及，尽管它们用于不同的任务。

我汇总了实际有意义的程序。我们将分别讨论在Windows上安装哪些更方便，以及在Linux上哪些效果更好。

简而言之：选择什么

• LM Studio — 在Windows和Linux上简单运行语言模型。
• Ollama和Open WebUI — 带有便利界面的本地AI服务器。
• ComfyUI — 图像生成、视频和复杂的节点流程。

我的建议：不要立即安装十个类似的程序。首先选择一个文本程序和一个图像程序。其他程序可以在以后添加，当有确切需要时。

可以在家中运行哪些AI模型

本地运行的模型主要有几种类型。

处理文本。它们回答问题，编写代码，翻译，缩写文章并帮助分析文件。

创建和编辑图像。此类别包括Stable Diffusion，SDXL，Flux等图形模型。

将音频或视频中的语音转换为文本。最著名的例子是Whisper。

不仅处理文本，还处理图像。这样的模型可以给出照片、图表或截图，并根据内容提问。

目前还没有一种程序可以同样好地处理所有这些任务。因此，最好根据特定的工作选择应用程序。

LM Studio — 在Windows上最容易开始

如果需要下载语言模型并立即打开聊天，我会从LM Studio开始。

这是一款普通的桌面程序。里面有模型搜索、下载和对话窗口。不需要单独安装Python、Docker或在终端中处理命令。

LM Studio适合以下任务：

• 与本地神经网络聊天；
• 编写和验证代码；
• 翻译和编辑文本；
• 比较不同的语言模型；
• 处理GGUF格式的模型；
• 启动本地API。

该程序适用于Windows、Linux和macOS。但在Windows上尤其便利：下载安装程序，选择模型，然后就可以开始工作。

从官方网站下载LM Studio

适用于：首次在计算机上运行LLM并且不想从终端开始的用户。

Ollama — 当不仅需要聊天

Ollama也是启动语言模型，但它的构造略有不同。它主要是一个本地引擎和服务器，可以连接其他程序。

通过Ollama，模型可以与网站、Telegram机器人、代码编辑器、自定义脚本或Web界面连接。

启动模型的方式大致如下：

ollama run qwen3

Ollama将下载所需文件并启动模型。之后，可以通过终端或本地API与其工作。

我会将Ollama用于以下任务：

• 创建自己的AI助手；
• 通过API处理文本；
• 将AI连接到网站或程序；
• 与代码编辑器配合使用；
• 在家庭服务器上启动模型；
• 从多个设备访问同一模型。

Ollama可以在Windows、Linux和macOS上工作。在Windows上有普通的安装程序。在Linux上，方便将其作为系统服务运行。

从官方网站下载Ollama

查看Ollama可用的模型

Open WebUI — Ollama的便利接口

Ollama本身可以通过终端工作，但对于持续对话，通常这一点不够。因此，通常与它一起安装Open WebUI。

这是一个类似于ChatGPT的Web界面。它包含对话历史、模型选择、用户管理、文件上传和知识库工作。

Ollama — 启动语言模型Open WebUI — 提供方便的界面

在Linux上，我更倾向于选择这一组合。如果计算机充当家庭服务器，并且需要通过笔记本、手机或其他计算机打开聊天时。

在Windows上，Open WebUI也可以工作。但是如果只需要一个简单的本地聊天，LM Studio安装起来更容易。

安装Open WebUI的最常见方法是通过Docker：

docker run -d \  -p 3000:8080 \  -v open-webui:/app/backend/data \  --name open-webui \  --restart always \  ghcr.io/open-webui/open-webui:main

启动后，界面将通过以下地址打开：

http://localhost:3000

Open WebUI官方安装指南

Jan — Windows和Linux的简单本地聊天

Jan类似于LM Studio。这是一个现成的应用程序，带有聊天窗口、模型下载和本地数据存储。

我尤其喜欢将其作为Linux的选择，当不想安装Docker并提起单独的Web界面时。可以安装程序，下载模型，然后立即开始工作。

Jan适用于需要：

• 普通本地聊天；
• 清晰的图形界面；
• 处理GGUF模型；
• 在自己的计算机上保存历史；
• 支持Windows和Linux。

在Linux上可用Flatpak、AppImage和DEB包。Windows上有普通的安装程序。

Jan和LM Studio在功能上有很多重叠。直接安装两个程序并不是必须的。我会尝试每一个，并保留那个界面我觉得更方便的。

从官方网站下载Jan

GPT4All — 如果没有强大的显卡

GPT4All是为普通计算机和笔记本设计的。小型语言模型可以在处理器上运行，使用内存。

没有显卡时，回复的速度将较慢。但对于短请求、翻译、草稿和处理小文档，这通常足够。

在GPT4All中有：

• 模型目录；
• 本地聊天；
• 处理自己的文件；
• 本地API；
• 适用于Windows、Linux和macOS的版本。

我会在两种情况下考虑GPT4All：如果计算机没有独立显卡，或者想要快速检查使用本地模型的便利性。

从官方网站下载GPT4All

AnythingLLM — 当需要处理自己的文档时

普通的语言模型不知道您的PDF、说明书和工作文件里有什么。对于这些任务，可以使用AnythingLLM。

将文档加载到程序中后，可以根据内容提出问题。例如，将技术文档、指南、笔记或文章归档在一个地方。

AnythingLLM适合：

• 分析PDF和文本文件；
• 在自己的文件中查找信息；
• 创建个人知识库；
• 处理技术文档；
• 创建单独的工作空间；
• 连接本地模型和AI代理。

对于单个用户来说，更简单的是使用桌面版本。如果有多个人使用该系统，可以展开服务器版本。

AnythingLLM支持Windows、Linux和macOS。

从官方网站下载AnythingLLM

ComfyUI — 图像和视频生成

对于本地图像生成，我会选择ComfyUI。

起初，该程序看起来不太习惯。屏幕上没有常规的提示框，而是一个由模块组成的图表。一个模块加载模型，另一个处理文本，第三个创建图像，第四个保存结果。

过一段时间，您就会习惯它。然后，您会明白ComfyUI为何如此受欢迎：每个步骤都可以单独更改，构建自己的流程。

ComfyUI用于：

• 图像生成；
• 与Stable Diffusion、SDXL和Flux一起工作；
• 更改图像的某些部分；
• 提高分辨率；
• 连接LoRA和ControlNet；
• 批量生成；
• 创建动画和视频；
• 将多个模型组合成复杂的流程。

如何在Windows上安装ComfyUI

在Windows上，最简单的方法是使用官方的Comfy Desktop或便携版本的ComfyUI。桌面应用程序自行管理Python、依赖项和已安装的ComfyUI实例。

如何在Linux上安装ComfyUI

对于Linux，最可靠的方法是通过Python手动安装或从源代码构建Comfy Desktop。目前Linux版本的桌面版本的官方支持尚未达到Windows版本的水平。

从官方网站下载ComfyUI

ComfyUI手动安装的官方指南

如果只需要“创建图像”按钮，ComfyUI可能显得复杂。但对于频繁处理图像的工作，我还是会选择它。随着您的需求增加，功能也会增强，一个月后不需要更换程序。

Stable Diffusion WebUI Forge — 更熟悉的界面

并非所有人都喜欢ComfyUI的模块和图表。在这种情况下，可以安装Stable Diffusion WebUI Forge。

这里看起来更加熟悉：有提示框、模型选择、图像大小、步骤数和启动按钮。

Forge适用于：

• 普通图像生成；
• 与Stable Diffusion和SDXL模型一起工作；
• 使用LoRA；
• 连接ControlNet；
• 提高分辨率；
• 通过熟悉的Stable Diffusion WebUI界面操作。

对于首次接触，Forge可能更简单。但如果需要构建复杂流程，结合多个模型或自动化生成，ComfyUI会更方便。

Stable Diffusion WebUI Forge的官方仓库

Buzz和whisper.cpp — 音频和视频转录

方便使用Buzz进行语音识别。这是一个图形程序，可以使用Whisper模型，将音频或视频中的语音转换为文本。

Buzz的功能包括：

• 转录音频记录；
• 从视频中提取语音；
• 识别不同的语言；
• 创建字幕；
• 将结果保存为TXT、SRT和VTT；
• 在加载模型后进行本地操作。

Buzz可用于Windows、Linux和macOS。在Linux上，可以通过Flatpak或Snap安装。

flatpak install flathub io.github.chidiwilliams.Buzz

下载Buzz并查看安装指南

何时最好使用whisper.cpp

如果需要将语音识别嵌入网站、服务器或自定义程序，我会选择whisper.cpp。

它没有那种便捷的桌面界面，但从脚本中更容易启动并连接到自己的项目。

whisper.cpp的官方仓库

在Windows上应该放置什么进行本地AI

在Windows上，我会开始以下组合：

初步可以使用LM Studio和ComfyUI。如果需要API、自动化或将AI连接到自己的项目，则值得添加Ollama。

在Linux上应该放置什么进行本地AI

在Linux上，我会另一种方式构建系统：

对于台式计算机，我也只需要Jan或LM Studio。对于家庭服务器，我会选择Ollama和Open WebUI。

本地AI需要多少内存

要求不仅取决于程序，也取决于模型本身。主要限制是内存和显存的大小。

没有显卡，语言模型也能工作。只是回复出现的速度会慢。

图像则更复杂。模型越新，分辨率越高，所需的内存就越多。

还应提前释放SSD上的空间。一种模型可能占用几十GB。当开始比较不同版本时，剩余空间会意外地迅速被用完。

所有数字都是近似的。内存消耗受模型大小、量子化、上下文长度、图像分辨率和使用的引擎的影响。

在哪里下载本地模型

许多程序都有自己的模型目录。例如，在LM Studio和GPT4All中，模型可以在应用程序内部找到，而Ollama使用自己的库存。

最大的开放模型目录在Hugging Face上。那里发布语言、图形、语音和多模态模型。

打开Hugging Face模型目录

请从官方网站下载程序，并检查所选模型的许可证。某些模型可以在家中自由使用，但在商业项目中使用则需要额外条件。

Ollama还是LM Studio：选择什么

这个问题最常被提起，尽管这些程序并不完全相互竞争。

LM Studio适合普通计算机上的工作。它更简单、更直观，并且几乎不需要配置。

Ollama需要在模型作为服务运行时使用。例如，从网站、程序、代码编辑器或机器人接收请求。

可以同时使用两个程序。在LM Studio中可以方便快捷地检查新模型，将Ollama留作长期工作和自动化使用。

是否可以在没有互联网的情况下使用本地AI

安装程序和下载模型后，在大多数情况下不再需要互联网。

请求在计算机上处理。文本、文档和图像不需要发送到云中，除非您自己连接外部服务。

互联网仍然是必需的用于：

• 首次下载程序；
• 下载模型；
• 安装额外组件；
• 更新应用程序和扩展；
• 连接网络搜索。

还有其他限制。本地模型不知道今天发生了什么。为了让它获得最新的信息，必须单独连接网络搜索、API或自己的数据库。

最终该选择什么

我建议不要从大量程序开始。最好先弄清楚您想做什么。

• 文本和代码 — LM Studio、Jan或Ollama。
• 家庭AI服务器 — Ollama和Open WebUI。
• PDF和自己的文档 — AnythingLLM。
• 图像和视频 — ComfyUI。
• 更简单的Stable Diffusion界面 — Forge。
• 音频转录 — Buzz或whisper.cpp。

在Windows上，最简单的开始是LM Studio和ComfyUI Desktop。

在Linux上，我会选择Jan用于普通聊天或Ollama与Open WebUI用于服务器。在这两种情况下，ComfyUI都适合图像处理。

这个组合几乎可以应对所有家庭任务。其他程序在明确缺失时再安装是有意义的。

常见问题