上周帮刚学Python的学弟装本地对话AI，他手里只有台8G内存的核显轻薄本，既不想给云API充钱，又怕装一堆环境把系统搞乱，翻了半天教程全是吹某款工具神乎其神，装完才发现根本跑不起来。干脆把我平时常用的几个轻量部署路子摊开说，各有各的适配场景，照着自己设备和需求挑就行。
零命令上手的图形化选择：LM Studio
这个方案最适合完全不想碰命令行、只是想本地跑个模型写文案、查资料的普通用户。优点是全图形界面，自带模型库搜索下载，打开就能用，会自动识别核显、独显开硬件加速，跨平台支持做得也全；缺点是自定义程度不高，想接自定义插件、改深度参数比较麻烦，缓存文件默认存C盘，装的时候要手动改路径。
实操步骤没什么门槛：
- 去官网下载对应系统的安装包，安装时手动把模型存储路径改到非系统盘，单个7B级别的量化模型就有4G左右，存C盘很容易红
- 打开后左侧栏直接搜想要的模型，优先选后缀带q4_K_M的量化版本，普通8G内存设备跑7B参数级别的刚好，别头铁下13B以上的版本
- 模型下载完成后点顶部的聊天图标，选中刚下的模型就能直接对话；需要兼容OpenAI格式的本地API的话，去Local Server栏点启动，默认端口1234，接自己写的小脚本很方便
兼顾灵活与效率的命令行方案：Ollama
平时要写脚本接AI能力、或者想搭个多人用的本地AI服务的话，这个是我用得最多的。优点是命令极简，一条命令就能拉模型启动，内存调度比较灵活，支持自定义模型提示词、接RAG插件，还能一键搭可视化前端；缺点是核心交互靠命令行，纯新手刚上手会有点懵，Windows版本依赖WSL2，太老的Windows系统装不了。
安装和使用的命令都是现成的，直接抄就行：
# macOS/Linux 一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh
# Windows直接去官网下安装包，会自动帮你启用WSL2组件
装完跑模型只需要一行命令：
# 这里以通义千问2 7B量化版为例，内存够可以换13B版本
ollama run qwen2:7b-instruct-q4_K_M
想要类似ChatGPT的可视化界面，装了Docker的话一条命令就能部署Open WebUI：
docker run -d -p 3000:3000 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
部署完访问本地3000端口就能用，支持存对话记录、上传文档做知识库。
适配嵌入式设备的极致轻量方案：llama.cpp
如果是想在树莓派、软路由这类物联网设备上跑小模型，或者要做二次开发定制，直接用llama.cpp裸跑最合适。优点是资源占用是几个方案里最低的，所有编译、运行参数都能自己按需调整，没有多余的冗余功能；缺点是需要自己处理编译依赖、转换模型格式，纯新手第一次折腾大概率会踩环境坑，没有自带界面。
核心操作步骤大概是这样：
- 先拉取仓库源码，安装cmake、对应平台的编译工具链，根据自己的硬件开编译选项：苹果硅开METAL加速，N卡开CUDA，普通核显开OpenBLAS，嵌入式设备就关掉多余的加速选项减体积
- 下载对应gguf格式的模型文件放到程序目录，运行时根据自己的CPU核心数设线程数，一般设成逻辑核心数左右就行，上下文长度根据内存大小调整
# 编译完成后的运行示例，参数要按自己设备改
./main -m qwen2-7b-instruct-q4_K_M.gguf -c 2048 -t 8 -i
不管选哪个方案，第一次跑如果速度特别慢，先检查是不是没开硬件加速，或是下了精度太高的模型——q4量化是普通消费级设备的甜点精度，再低回答质量会掉得很明显，再高内存大概率扛不住。
我自己平时写脚本调接口就开Ollama，帮完全不懂技术的朋友装就选LM Studio，折腾软路由、开发板这类物联网设备的时候才会掏llama.cpp，没必要人云亦云追着某款工具吹，适合自己的设备和使用场景就好。对了，不管装哪个，一定要记得把模型存到非系统盘。
评论一下？