用Python对接本地Ollama写轻量问答脚本

上周帮隔壁工位刚学Python的实习生搭本地大模型调用脚本，发现很多教程上来就堆一堆重框架，新手跟着敲半天都跑不通，干脆把最精简的可运行步骤整理出来。

先把前置环境准备好

1. 先确认电脑上装了Python3.8及以上版本，打开终端敲下面的命令，能正常返回版本号就可以：

   python --version

   要是提示找不到命令，就先去Python官网下对应系统的安装包，装的时候记得勾选Add Python to PATH，不然后面跑命令会报错。
2. 安装Ollama客户端，直接去官方站点下对应系统的安装包，全程点下一步就行。装完之后在终端拉一个轻量的开源模型，普通办公本也能流畅跑：

   ollama pull qwen2:0.5b

   这里提前说个坑：别一上来就拉7B以上参数的大模型，显存不够的话程序会直接无响应，先拿小模型把流程跑通再换大的也不迟。

写代码的部分真的没几行

1. 先装唯一需要的依赖包，就是Ollama官方的Python库，不用装那些动辄几百兆的AI框架：

   pip install ollama

2. 新建一个叫local_qa.py的文件，把下面的代码原封不动粘进去：

   import ollama
   
   # 调用本地已经拉取好的模型
   response = ollama.chat(
       model='qwen2:0.5b',
       messages=[
           {'role': 'user', 'content': '用一句话解释什么是物联网'}
       ]
   )
   print(response['message']['content'])
   

3. 回到终端执行这个脚本：

   python local_qa.py

   等个几秒（具体时长看你电脑配置），就能看到模型返回的回答了，全程不用申请任何API密钥，所有数据都只在你本地跑，不会传到外网。

可以自己调整的小细节

• 想换模型的话，先在终端敲ollama list查看本地已经下载好的模型列表，把代码里的model参数换成对应名字就行；
• 想做连续对话的话，就把之前的问答记录都存到messages列表里，每次请求带着发过去就行，一开始不用搞复杂的封装；
• 要是想加本地知识库的能力，前期也不用上来就搭向量数据库，先把你要参考的文档片段拼到提问的prompt里，跑通逻辑之后再慢慢加功能。

反正我给实习生演示的时候，从装环境到第一次跑通也就花了十来分钟，看网络和设备情况，比你找那些满是广告的在线AI工具省心多了。