本地搭建AI知识库的嵌入方案选型与实操

前几天翻本地文件夹，发现去年搭个人知识库时存了好几个版本的嵌入调用脚本，换过几次方案才摸清楚不同场景下哪个顺手，索性整理成实操步骤，省得后来人挨个试错。

开箱即用的单脚本方案

如果只是写个小脚本处理自己的本地笔记，不需要给其他程序提供接口，直接用sentence-transformers调用预训练模型是最省事的，全程不用额外搭服务：

1. 先安装依赖包：

   pip install sentence-transformers

2. 加载对应模型生成向量即可，中文场景推荐用bge-small-zh这类轻量中文模型：

   from sentence_transformers import SentenceTransformer
   # 首次运行会自动下载模型，中文场景替换为BAAI/bge-small-zh-v1.5即可
   model = SentenceTransformer('all-MiniLM-L6-v2')
   docs = ["你的笔记片段1", "你的笔记片段2"]
   embeddings = model.encode(docs)
   

这个方案的好处是依赖少、几行代码就能跑通，普通笔记本无压力；缺点是如果多个程序都要做嵌入，每个进程都会单独加载一遍模型，会产生重复的内存占用，适合个人单脚本处理几十到几百篇笔记的小知识库场景。

支持多端调用的服务化方案

如果同时要给网页前端、对话机器人、桌面笔记端多个应用提供嵌入能力，搭个常驻的嵌入服务更划算，用Ollama就能快速搞定：

1. 先安装Ollama，Linux/Mac直接在终端跑安装命令：

   curl -fsSL https://ollama.com/install.sh | sh

   ，Windows用户直接从官网下载安装包即可。
2. 拉取嵌入模型，终端执行：

   ollama pull nomic-embed-text

3. 所有程序都可以通过本地接口调用，不用重复加载模型：

   import requests
   # 不管是Python、JS还是其他语言，只要能发HTTP请求就能调用
   resp = requests.post('http://localhost:11434/api/embeddings', json={
       "model": "nomic-embed-text",
       "prompt": "待生成向量的文本内容"
   })
   embedding = resp.json()['embedding']
   

这个方案的好处是服务常驻、多端可调用，换模型只需要在终端pull，不用改各个应用的加载逻辑；缺点是会持续占一部分后台内存，适合同时部署了本地大模型、需要多端共用嵌入能力的场景，比如和朋友合租小服务器搭共享知识库也能用。

适配低性能设备的轻量方案

如果要在树莓派、旧笔记本这类性能有限的物联网/边缘设备上跑嵌入，用量化后的轻量模型更合适，用FastEmbed可以快速调用：

1. 安装依赖：

   pip install fastembed

2. 开启量化参数加载模型：

   from fastembed import TextEmbedding
   # 开启量化后模型体积更小，启动速度更快
   model = TextEmbedding(model_name="BAAI/bge-small-zh-v1.5", quantize=True)
   embeddings = list(model.embed(["待处理的设备文档片段"]))
   

这个方案的好处是量化后内存占用比原生模型低不少，低性能设备也能流畅跑；缺点是量化后语义匹配精度会有略微下降，适合在边缘网关、开发板上搭简单的设备手册检索这类对精度要求不极端的场景。

提醒一句：不用盲目追参数量大的嵌入模型，个人使用场景下，百兆参数量级的模型足够应付日常检索需求，硬上大模型只会拖慢响应速度，实际感知提升并不明显。

反正我自己现在写单脚本处理私人笔记用第一种，搭多端联动的本地AI服务用第二种，折腾树莓派小项目就用第三种，从来没固定用某一个，看场景挑顺手的就行。