侧边栏壁纸
  • 累计撰写 95 篇文章
  • 累计收到 2 条评论

本地部署Qwen2小模型写短剧脚本的实操记录

2026-11-21 / 0 评论 / 4 阅读

本地部署Qwen2小模型写短剧脚本的实操记录

昨晚临睡前在树莓派4B上敲完最后一行pip install的命令,居然真把Qwen2-1.5B-instruct跑起来生成短剧脚本了,没靠云API,这点挺爽。

先把环境装对,别上来就下大模型

我这边用的是Python3.10版本,别赶新鲜用3.12,之前试过装llama-cpp-python的时候卡了好久编译报错,最后还是滚回3.10才顺。具体安装步骤没那么复杂:

  1. 先建个独立虚拟环境,省得把全局Python包搞乱:
    python -m venv qwen-drama
    # Windows用户激活命令是 qwen-drama\Scripts\activate
    source qwen-drama/bin/activate
  2. 装两个核心依赖,llama-cpp-python用来跑量化后的大模型,剩下那个是我偷懒加的简单选单,嫌麻烦可以不装:
    pip install llama-cpp-python==0.2.77
    pip install simple-term-menu
Apple Silicon芯片的Mac用户注意,装llama-cpp-python之前先执行export CMAKE_ARGS="-DLLAMA_METAL=on",不然默认用CPU跑,速度慢到你能去泡杯茶回来还等不到第一个字。

模型文件别下错版本

模型我直接用的Qwen2官方放出的GGUF量化版,选q4_k_m量化等级就够用,体积大概1G左右,普通笔记本、树莓派这类低性能设备都能扛住。这个我还没细测更高精度量化的效果,反正生成爽点短剧脚本完全够用,别乱下第三方魔改的模型,容易输出乱码或者内容跑飞。模型直接去Hugging Face搜Qwen2-1.5B-Instruct-GGUF就能找到,下完放到项目文件夹下新建的models目录里就行。

核心脚本就几十行,改改就能用

没写什么复杂逻辑,跑通能用就行,复制下面的代码存成drama_gen.py,把模型路径改成你自己下的文件名就能跑:

from llama_cpp import Llama
import os
# 加载本地模型
llm = Llama(
    model_path="./models/qwen2-1_5b-instruct-q4_k_m.gguf",
    n_ctx=2048,  # 上下文窗口,写1分钟短剧2k长度足够
    n_threads=os.cpu_count(),  # 自动匹配CPU核心数,看设备性能调整
    verbose=False
)
# 自己调的短剧专属prompt,对准爽点节奏
prompt_template = """<|im_start|>system
你是新媒体短剧脚本写手,专门写1分钟左右的反转爽剧,开头3秒要有冲突,结尾留钩子。<|im_end|>
<|im_start|>user
帮我写一个关于{topic}的短剧脚本,包含人物对话和简单镜头提示<|im_end|>
<|im_start|>assistant"""
if __name__ == "__main__":
    topic = input("输入短剧核心主题,比如'赘婿打脸丈母娘':")
    prompt = prompt_template.format(topic=topic)
    output = llm(
        prompt,
        max_tokens=512,
        stop=["<|im_end|>"],
        temperature=0.8  # 创意度参数,太高容易写飞
    )
    print("\n生成的脚本:\n")
    print(output['choices'][0]['text'].strip())

几个调整的小要点记一下:

  • 要是生成的内容太刻板,就把temperature往0.9左右调,要是太离谱没逻辑,就降到0.6上下,多试两次就找着合适的数值
  • 设备内存小的话,把n_ctx降到1024就行,不用硬开高,写短脚本完全够用
  • 我没加批量导出、格式排版这类功能,反正自己用每次复制粘贴就行,懒得写那么复杂

对了,要是想直接把生成的脚本转成配音,加个edge-tts的调用也就多几行代码,有空我再折腾。

评论一下?

OωO
取消