本地跑轻量大模型做编程助手 怎么选部署方式

昨晚帮学弟调ESP32的MQTT上报代码，翻了三四个版本的旧驱动样例找寄存器定义，嫌翻文档麻烦索性想本地起个轻量大模型当代码助手，试了三四种部署路径，发现根本没有通吃所有场景的最优解，索性把每种的操作步骤、适用情况整理出来，大家按需挑就行。

最快上手的命令行部署路径

这套方案说白了就是用Ollama做单模型启动，优点是步骤极少，依赖少，没有花里胡哨的多余功能，装完很快就能用上；缺点是灵活性有限，原生不支持便捷的私有知识库挂载，要做RAG得自己额外搭向量库链路，对新手来说步骤太碎。

1. 根据自己的系统下载对应安装包，Linux设备直接在终端跑下面的命令就能自动完成安装：

   curl -fsSL https://ollama.com/install.sh | sh

2. 安装完成后直接拉取适合写代码的量化模型，比如通义千问2.5的7B指令版4bit量化，命令行输入ollama run qwen2.5:7b-instruct-q4_0，等模型拉取完成就能直接在终端交互提问
3. 要给VS Code等编辑器对接的话，装个Continue插件，接口地址填默认的http://localhost:11434 就行，不用额外配置API密钥

适合场景：临时赶小项目写零散代码，设备内存在16G上下，不想在配置环境上花时间的朋友，整个流程快的话几分钟就能搞定。

零代码带知识库的图形化方案

这套是用LM Studio做可视化部署，优点是全程点鼠标就能操作，内置基础的RAG功能，不用自己敲命令起服务、写文本分块代码；缺点是资源调度逻辑比较粗放，要是电脑同时开着PCB设计、虚拟机这类占内存的软件，切模型的时候可能会出现无响应，等一会就好不用强退。

1. 去官网下载对应系统的安装包，打开后在模型搜索栏找需要的代码模型，选q4_k_m量化级别的版本下载就行，写外设驱动、简单业务逻辑的精度完全够用，没必要下更高参数的版本占空间
2. 点左侧的「Local Server」标签，选好已经下载完成的模型，点启动服务，默认服务端口是1234，大部分代码插件都能直接对接这个接口
3. 需要引用自己的项目笔记、旧驱动样例的话，去「Knowledge Files」板块把存资料的文件夹直接拖进去，提问的时候勾选对应知识库即可，模型生成内容的时候会自动参考里面的内容

适合场景：平时攒了很多自己的项目代码片段、器件手册，希望生成的代码符合自己的编码习惯，又不想折腾命令行配置的朋友。如果是用机械硬盘的老设备，加载模型慢一点是正常的，等几十秒就好。

扩展性拉满的容器化部署方式

这套是基于Docker搭多组件的LLM服务，优点是灵活性极强，想加向量库、多模型路由、语音转写、文生图组件都能直接拼，配置好的环境打包之后换设备直接就能迁移；缺点是前期部署需要对Docker Compose、目录挂载有基本了解，第一次配可能会遇到端口冲突、权限不足的问题，踩完坑之后就特别顺。

1. 先装好Docker和Docker Compose，把当前用户加到docker用户组，避免每次执行命令都要加sudo提权
2. 找成熟的开源LLM前端的compose配置文件，比如带Chroma向量库的Open WebUI栈，把配置里的模型存储挂载路径改到非系统盘，避免容器删除的时候把模型文件弄丢
3. 在配置文件所在目录执行

   docker compose up -d

   等所有容器启动完成，浏览器访问本地3000端口就能进入交互界面，后续要加新功能直接在compose文件里追加对应服务即可

小提示：别把模型存在Docker默认的系统盘挂载目录里，单个模型动辄几个G，用久了很容易把系统盘空间占满。

适合场景：平时需要来回切换不同模型处理写代码、剪视频脚本、查资料等不同任务，或者有小团队共用本地模型服务的需求，搭一次能用很久。

反正我自己三台设备分别装了不同的部署方案，赶急活、写复用代码、搭常驻服务各用各的，没必要为了所谓的“最优方案”在装环境上耗一下午。