做AI应用半年,我最大的转变是对提示词的态度:以前觉得"提示词就是写几句话,好坏看运气",直到一个内部AI工具因为提示词不稳定被业务部门投诉,我才意识到——提示词是AI应用的"代码",不稳定就是bug。经过几个月的实践和调优,我把一套稳定的提示词方法论总结出来了,现在内部AI工具的答案稳定性明显提升。这篇文章完整分享。
先搞清楚病根。同样的输入,AI两次回答不一样,原因通常有三个:
经过反复调优,我现在写提示词固定用五段结构,效果稳定很多:
你是一名资深数据分析师,擅长从业务数据中提炼结论。
角色不是装饰,它真的会改变回答的专业性和风格。做技术文档问答时用"技术专家"角色,做客服话术时用"客服主管"角色,输出的语言习惯会跟着变。
任务:分析本周各渠道的转化数据,找出变化最大的指标并给出可能原因。
任务要具体到"输出什么、解决什么",不要写"帮我看看这些数据"这种含糊话。
以下是本周数据:{数据}。字段含义:{字段说明}。
这段最关键:数据要结构化、标注清楚字段含义,模型才不会猜。
输出要求:1)先给结论,用"本周核心发现"开头;2)每个结论必须引用具体数字;3)只陈述数据事实,推测要标注"推测";4)使用Markdown列表格式。
约束写得越具体,输出越可控。"引用具体数字""标注推测"这两条,直接解决了"编数据"和"过度解读"两大问题。
注意事项:数据中没有的信息,回答"数据中未提及",禁止编造。
给模型"说不知道"的许可,是防幻觉最简单有效的一招。
我之前全部用默认值,事实问答偶尔"飘"一下,设到0.1后基本稳定。
在提示词里放1-3个"输入→期望输出"的示例,比任何描述都管用。比如让AI输出JSON,给一个完整示例,它就不会输出别的格式。
现在凡是程序要解析的输出,一律要求JSON并用"输出格式"字段锁死,解析层再加校验。格式稳定了,后面所有下游逻辑才能稳定。
我建了一个20条左右的测试用例集(覆盖典型输入、边界输入、反例输入),每次改提示词都跑一遍,看是否回归。没有测试集的提示词调优,都是玄学。
调优时把错误分三类处理:格式错误(约束没写清)、内容错误(理解偏差,改任务描述)、编造错误(加边界兜底)。分类后,修起来有的放矢。
提示词放在Git里管理,每次改动留记录。有一次业务说"这个月回答质量下降了",我翻Git记录发现是上周改了提示词把"引用数字"的约束删了——一查即破。
我的核心体会:提示词是AI应用的"代码",要用写代码的态度对待它——结构化、可测试、可版本管理。做AI应用半年,最值钱的不是模型选型,而是这套"五段式模板+场景化参数+测试集调优"的方法论。
现在的内部工具,答案稳定性从"时好时坏"变成了"基本可控",业务投诉也少了。如果你也在写提示词,建议从今天开始:把提示词写进Git、建个20条的测试集、每次改动全量回归。坚持一个月,你会看到"稳定性"这个词真正落到你的AI工具上。