从试点到推广:中间断掉的那几步
试点效果不错,推广后却用不起来,是 AI 项目最常见的结局。本文说明试点与生产的差距在哪,以及推广前要补齐什么。
- 试点用户是主动报名、用正确方式提问的,推广后面对的情况完全不同。
- 用量、问法多样性、内容覆盖、运维归属,这四项在试点阶段被掩盖。
- 其他部门的文档往往格式混乱,整理工作量常是推广延期的真正原因。
- 培训要讲清楚限制而不只是功能,预期过高会让用户在第一次出错后放弃。
- 分批推广并保留随时回退的开关,前两批数据用来重新校准容量估算。
AI 试点大多会成功。参与的人是主动报名的、问题是挑过的、有人在旁边盯着。推广之后面对的是不想改变习惯的同事、各种没见过的问法,以及没人专门盯着的日常运行 —— 两者之间的差距,往往比技术实现本身更难跨越。
试点掩盖了什么
- 用量:试点几十人,推广几百人,并发、成本、限流的问题这时才出现;
- 问法多样性:试点用户会用「正确」的方式提问,真实用户不会;
- 内容覆盖:试点只涉及某个部门的文档,推广后要覆盖全公司,而其他部门的文档可能根本没整理过;
- 运维:试点期间有人随时修,推广后需要明确谁负责、多久响应。
推广前要补齐的几项
容量与成本:按推广后的预期用量重新估算,并设置用量告警和超限行为。这件事在试点阶段看不出必要性,但推广第一周往往就会触发。
内容准备:其他部门的文档往往格式混乱、版本不明。不要指望导进去就能用,先抽查几份评估整理工作量,这部分常常是推广延期的真正原因。
运维归属:明确谁负责日常监控、谁负责内容更新、问题反馈走什么渠道、多久回应。没有这几条,系统会在出第一个问题后迅速失去信任。
培训要讲限制而不只是功能
推广培训通常只演示能做什么。更重要的是说清楚不能做什么、什么情况下不要依赖它的答案、以及发现错误时怎么反馈。用户对能力的预期如果被抬得过高,第一次遇到错误就会彻底放弃。
分批而不是一次铺开
- 按部门或业务线分批,每批之间留出修正时间;
- 每批上线后收集答不上来的问题,补充内容后再推下一批;
- 保留随时回退的开关 —— 出现严重问题时能立刻关闭入口,而不是紧急改代码;
- 前两批的数据用来重新校准容量与成本估算。
最后一点:给推广期留出明确的观察窗口和负责人,而不是上线即结项。AI 系统的表现依赖内容和使用方式,这两者在推广期都在变化。相关安排见AI 智能体解决方案与合作流程。
常见问题
AI 试点成功了,推广还要注意什么?
重点补四项:按推广后用量重估容量与成本并设置告警、评估其他部门文档的整理工作量、明确运维归属与响应时限、以及培训中讲清楚系统的限制。试点阶段这四项都被参与者的主动性和小规模掩盖了。
为什么推广后用户觉得不好用?
常见原因有两类:一是真实用户的问法远比试点多样,系统覆盖不足;二是对能力的预期被培训抬得过高,第一次遇到错误就彻底放弃。前者靠收集答不上来的问题持续补内容,后者靠在培训中如实说明限制。
应该一次全员推广还是分批?
分批更稳妥。按部门或业务线分批,每批之间留出修正时间,用收集到的答不上来的问题补充内容后再推下一批。同时保留能立即关闭入口的开关,避免出现严重问题时只能紧急改代码。
参考资料
- AI Risk Management Framework · NIST
- 大模型服务平台百炼文档 · 阿里云