提示词在企业项目里怎么管:版本、测试与交接

提示词是代码的一部分,却常被当成随手改的配置。本文说明为什么它必须进版本管理、怎么做回归测试,以及写法上几条具体建议。

要点速览
  • 提示词决定系统行为,必须进版本管理,而不是放在后台让人随手改。
  • 改动要记录原因,并能回滚 —— 半年后没人记得为什么加了某句约束。
  • 回归测试集用于发现修好 A 却弄坏 B,这在提示词调整中非常常见。
  • 约束写成肯定句更可靠,「只输出 JSON」优于「不要输出多余解释」。
  • 确定性的业务规则应当用代码判断,交给模型既不可靠也无法审计。

提示词决定了模型在这个系统里的行为,改一个词可能让输出格式整个变掉。但在很多项目里,它被存在某个配置界面上,谁都能改,改了没有记录,出问题后无法回滚 —— 这是把核心逻辑放在了版本管理之外。

当作代码对待

  • 进代码仓库,改动走正常的评审流程,而不是在后台直接编辑生效;
  • 每次改动记录原因,因为半年后没人记得为什么加了某句约束;
  • 能回滚到上一版,这在改坏了的时候是唯一的退路;
  • 与模型版本一起记录 —— 同一段提示词在不同模型上的表现可能完全不同。

回归测试集是必需品

准备二三十组输入与期望输出,每次改提示词后全部跑一遍。目的是发现「修好了 A 却弄坏了 B」—— 这在提示词调整里非常常见,因为一段约束往往同时影响多种情况。

期望输出不必逐字匹配,可以用结构检查(字段是否齐全、格式是否合法)加上人工抽查。完全自动化的评判本身也会出错,但有一套固定的检查总比每次凭印象判断可靠。

写法上的几条

第一,明确输出格式并给出例子。要求返回结构化数据时,给一个完整的样例比用文字描述格式有效得多。

第二,把边界情况写进去。遇到材料不足怎么办、遇到多个候选答案怎么办、遇到无法判断怎么办 —— 不写,模型就会自行发挥。

第三,约束写成肯定句。「只输出 JSON」比「不要输出多余的解释」更可靠,因为后者需要模型理解什么算多余。

第四,不要把业务规则全部塞进提示词。能用代码判断的条件就用代码判断,提示词负责语言层面的任务。把审批阈值、价格计算这类确定性逻辑交给模型,既不可靠也无法审计。

交接时要留下什么

提示词本身、对应的模型与参数、回归测试集、以及一份说明:每段约束是为了解决什么问题。最后一项最容易缺失,而缺了它,接手的人要么不敢动,要么删掉一句看似多余的约束然后引发一堆回归。

这几项应当作为交付物写进验收清单,相关做法见AI 智能体解决方案与合作流程。

常见问题

提示词需要做版本管理吗?

需要,应当和代码一样进仓库并走评审。提示词改一个词可能让输出格式整个变化,没有版本记录就无法定位问题、也无法回滚。同时要记录配套的模型版本,因为同一段提示词在不同模型上的表现可能差别很大。

怎么验证提示词改动没有引入问题?

维护一份二三十组输入与期望输出的回归测试集,每次改动后全部跑一遍。期望输出不必逐字匹配,可用结构检查加人工抽查。提示词调整经常出现修好一种情况却弄坏另一种,没有回归集就只能靠运气。

业务规则能不能都写进提示词?

不建议。能用代码判断的确定性逻辑,例如审批阈值、价格计算、权限校验,应当由代码处理。交给模型既不可靠,也无法满足审计要求。提示词应当只负责语言层面的任务。

参考资料

  1. AI Risk Management Framework · NIST
  2. 大模型服务平台百炼文档 · 阿里云
# 提示词# 工程管理# 测试# AI 项目
免费咨询

聊聊你的项目

留下联系方式,我们一个工作日内联系你。先沟通需求和现状,再给方案;报价当面沟通。

  • 一个工作日内回复
  • 需求沟通免费,不强推方案
  • 交付管理后台与文档,可自行维护
仅用于本次咨询联系,不会用于其他用途。