本地部署Ollama大模型的常见问题排查

昨天在技术群摸鱼，十分钟里刷到三个问Ollama部署问题的，全是刚接触本地大模型的新手踩的共性坑，先把问得最多的几个问题列出来，都是照着步骤做就能解决的事。

1. 装完Ollama本机跑模型正常，同局域网的手机、其他电脑连不上11434端口
2. 电脑显存放得下模型，但加载速度特别慢，任务管理器里GPU占用几乎没动
3. 跟着教程改完配置文件/环境变量，重启Ollama之后设置完全没生效

局域网连不上的问题

说白了这个问题九成以上都是因为Ollama默认只监听本地回环地址，外部请求当然接不到，改下监听地址就行，不同系统操作稍微有点区别：

• Linux用户先停服务，编辑服务配置：

  sudo systemctl stop ollama
  sudo systemctl edit ollama.service

  在打开的配置文件[Service]段落下加一行：Environment="OLLAMA_HOST=0.0.0.0:11434"，保存退出后重载配置重启服务：

  sudo systemctl daemon-reload
  sudo systemctl start ollama

• Windows用户直接右键「此电脑」-「属性」-「高级系统设置」-「环境变量」，在系统变量里新建一个变量，变量名填OLLAMA_HOST，值填0.0.0.0:11434，保存之后去服务管理器找到Ollama服务点重启就行。
• macOS用户可以用launchctl设置环境变量，或者直接在启动Ollama的时候带参数启动，适合不想改系统配置的临时用场景。

注意：别直接把11434端口映射到公网，默认配置没有鉴权，谁都能调用你的模型跑请求，被人刷了资源得不偿失。

模型加载慢、GPU没跑满的问题

这个一般是因为Ollama默认没把模型层全部拉到显存里计算，走内存交换当然慢，同样通过环境变量设置就行：

• 新增系统变量OLLAMA_GPU_LAYERS，值不用精确算，填一个比你跑的模型总层数稍大的数就可以，程序会自动把能塞进显存的层都放进去，不会报错。要是不知道模型有多少层，往大了填就行，大不了自动用满显存。
• 如果是用Docker部署的，启动的时候一定要加--gpus all参数，不然容器默认访问不到显卡，全程用CPU跑自然慢。
• 自己单用户用的话不用改并行数参数，保持默认就好，开高了反而会挤占显存拖慢速度。

改完配置不生效的问题

这个坑我自己刚开始用的时候也踩过，本质都是旧的Ollama进程没杀干净，读的还是旧配置：

• 改完环境变量别只点托盘里的重启，先把所有Ollama相关的进程全杀掉，Windows直接在任务管理器里找带Ollama字样的进程结束任务，Linux直接敲命令杀进程：

  pkill ollama

• 杀完进程如果还是启动失败，先查下11434端口是不是被残留进程占了，Linux用ss -tulpn | grep 11434，Windows用netstat -ano | findstr 11434，找到对应的PID结束掉再启动服务就行。
• 如果你是直接在终端里敲ollama serve启动的，改完系统环境变量要把当前终端关了重开，不然终端读的还是启动时的旧环境变量。

对了，要是按步骤改完还是局域网连不上，先看看两台设备是不是真的在同一个网段，别连了开AP隔离的访客WiFi还在那调半天参数，白费劲。