搭本地AI写短剧脚本？这几个坑我帮你踩过了

昨天摸鱼刷技术论坛，看到好几个刚入门的朋友卡本地AI写短剧脚本的步骤，有人装了一下午依赖还是跑不通，索性把最近被问最多的几个问题整理出来，挨个说解法。

高频问题汇总

• 装完依赖跑代码就提示显存/内存不足，直接崩溃
• 生成的台词全是书面语，根本没有短剧那股爽感
• 生成一段几百字的脚本要等好久，有没有不换硬件的提速方法

跑起来就崩？先别着急换大模型

说白了大部分人第一次跑崩，都是一上来就照着旧教程下7B、13B的大模型，普通消费级显卡根本扛不住，刚开始练手完全可以先上轻量量化模型，步骤给你列好：

1. 先确认自己装的PyTorch是对应CUDA版本的，别直接装默认CPU版，安装命令去PyTorch官网选对应版本复制就行，别瞎找网上的旧命令
2. 加载模型的时候不要硬塞到显存里，加两个参数就能大幅降低资源占用，核心代码片段如下：

from transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfig
# 4位量化配置，能省不少资源
bnb_config = BitsAndBytesConfig(load_in_4bit=True)
tokenizer = AutoTokenizer.from_pretrained("Qwen/Qwen1.5-1.8B-Chat")
# 自动分配设备，有显存用显存，不够的内存凑
model = AutoModelForCausalLM.from_pretrained(
    "Qwen/Qwen1.5-1.8B-Chat",
    quantization_config=bnb_config,
    device_map="auto"
)

注意：装BitsAndBytes的时候如果报编译错误，Windows用户直接找对应版本的预编译whl包装，别硬杠源码编译，纯纯浪费时间。

台词太书面？别光靠模型自己悟

很多人生成的时候就丢一句“帮我写个短剧脚本”，模型当然给你写得跟命题作文似的，你得把要求拆细了喂进去，prompt里至少要包含这几个要素：

• 明确题材：比如赘婿逆袭、婆媳矛盾、重生复仇这类具体赛道
• 格式要求：比如分场景、人物台词单起一行、单句台词不超20个字
• 风格要求：比如台词要口语化、短平快、每段要有冲突点、结尾留钩子

给你个能直接用的prompt示例：

prompt = """你是短视频短剧编剧，写一个赘婿参加家宴被嘲讽，随后亮出身份打脸的1分钟短剧脚本，
要求：1. 台词全是口语，不要书面表达；2. 每句台词不超18字；3. 开头3句就要抛出冲突；4. 最后留个下集钩子。
直接输出脚本内容，不要多余解释。"""

生成太慢？这几个改动能提不少速度

不用上来就想着换显卡，先改几个设置试试，速度提升挺明显的，具体幅度看设备情况：

1. 模型加载完别反复初始化，把模型和tokenizer的加载代码写在全局，不要放进生成函数里每次调用都重载
2. 生成的时候配置合适的参数，关闭不必要的冗余计算，参考代码如下：

inputs = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **inputs,
    max_new_tokens=300,
    temperature=0.7,
    do_sample=True,
    pad_token_id=tokenizer.eos_token_id
)
print(tokenizer.decode(outputs[0], skip_special_tokens=True))

如果还是觉得慢，可以开流式输出，不用等所有内容生成完再打印，生成一句出一句，体感上会顺畅很多。

对了，跑的时候别开着几十个Chrome标签页后台挂着游戏，不然再怎么调参数都容易卡。