
昨晚临睡前在树莓派4B上敲完最后一行pip install的命令,居然真把Qwen2-1.5B-instruct跑起来生成短剧脚本了,没靠云API,这点挺爽。
先把环境装对,别上来就下大模型
我这边用的是Python3.10版本,别赶新鲜用3.12,之前试过装llama-cpp-python的时候卡了好久编译报错,最后还是滚回3.10才顺。具体安装步骤没那么复杂:
- 先建个独立虚拟环境,省得把全局Python包搞乱:
python -m venv qwen-drama # Windows用户激活命令是 qwen-drama\Scripts\activate source qwen-drama/bin/activate - 装两个核心依赖,llama-cpp-python用来跑量化后的大模型,剩下那个是我偷懒加的简单选单,嫌麻烦可以不装:
pip install llama-cpp-python==0.2.77 pip install simple-term-menu
Apple Silicon芯片的Mac用户注意,装llama-cpp-python之前先执行export CMAKE_ARGS="-DLLAMA_METAL=on",不然默认用CPU跑,速度慢到你能去泡杯茶回来还等不到第一个字。
模型文件别下错版本
模型我直接用的Qwen2官方放出的GGUF量化版,选q4_k_m量化等级就够用,体积大概1G左右,普通笔记本、树莓派这类低性能设备都能扛住。这个我还没细测更高精度量化的效果,反正生成爽点短剧脚本完全够用,别乱下第三方魔改的模型,容易输出乱码或者内容跑飞。模型直接去Hugging Face搜Qwen2-1.5B-Instruct-GGUF就能找到,下完放到项目文件夹下新建的models目录里就行。
核心脚本就几十行,改改就能用
没写什么复杂逻辑,跑通能用就行,复制下面的代码存成drama_gen.py,把模型路径改成你自己下的文件名就能跑:
from llama_cpp import Llama
import os
# 加载本地模型
llm = Llama(
model_path="./models/qwen2-1_5b-instruct-q4_k_m.gguf",
n_ctx=2048, # 上下文窗口,写1分钟短剧2k长度足够
n_threads=os.cpu_count(), # 自动匹配CPU核心数,看设备性能调整
verbose=False
)
# 自己调的短剧专属prompt,对准爽点节奏
prompt_template = """<|im_start|>system
你是新媒体短剧脚本写手,专门写1分钟左右的反转爽剧,开头3秒要有冲突,结尾留钩子。<|im_end|>
<|im_start|>user
帮我写一个关于{topic}的短剧脚本,包含人物对话和简单镜头提示<|im_end|>
<|im_start|>assistant"""
if __name__ == "__main__":
topic = input("输入短剧核心主题,比如'赘婿打脸丈母娘':")
prompt = prompt_template.format(topic=topic)
output = llm(
prompt,
max_tokens=512,
stop=["<|im_end|>"],
temperature=0.8 # 创意度参数,太高容易写飞
)
print("\n生成的脚本:\n")
print(output['choices'][0]['text'].strip())
几个调整的小要点记一下:
- 要是生成的内容太刻板,就把temperature往0.9左右调,要是太离谱没逻辑,就降到0.6上下,多试两次就找着合适的数值
- 设备内存小的话,把n_ctx降到1024就行,不用硬开高,写短脚本完全够用
- 我没加批量导出、格式排版这类功能,反正自己用每次复制粘贴就行,懒得写那么复杂
对了,要是想直接把生成的脚本转成配音,加个edge-tts的调用也就多几行代码,有空我再折腾。
评论一下?