人机协作怎么分工:哪些环节必须留人
全自动不是目标。本文按错误代价和可逆性划分环节,说明哪些该由 AI 直接完成、哪些要人确认、哪些根本不该交给 AI。
- 按错误代价与可逆性划分环节,比讨论能不能全自动更有用。
- 不可逆动作不应交给 AI 决定,这与模型准确率高低无关。
- 确认按钮很容易变成机械点击,必须展示依据并对异常情况做视觉区分。
- 修改率长期接近零时要区分:是 AI 确实准,还是没人在真看。
- 转人工的触发条件要宽松,且必须带上下文,不能让用户重说一遍。
「能不能全自动」是 AI 项目里最常被问的问题。更有用的问法是:这个环节出错的代价是什么、能不能撤销。按这两个维度划分,分工就清楚了,而且不依赖对模型能力的乐观估计。
三类环节
- 错误代价低且可逆:AI 直接做。例如给咨询分类、生成草稿、整理会议纪要。错了改一下就行;
- 代价中等或不易撤销:AI 做,人确认后生效。例如对外回复、工单派发、合同要点摘录;
- 代价高或不可逆:不交给 AI 决定。例如付款、签约、删除数据、对外承诺。AI 可以提供信息辅助判断,但动作由人执行。
这个划分与模型强弱无关。即使模型准确率很高,不可逆动作的错误代价也不会因此降低 —— 百分之一的概率乘以一个严重后果,仍然是不可接受的。
人工确认最容易流于形式
加一个确认按钮很容易,但如果 AI 的建议绝大多数时候是对的,人会很快变成机械点击,确认环节就名存实亡。这种状态下系统看起来有人把关,实际上没有。
几条让确认真正发生作用的做法:把 AI 的依据一并展示出来,让人能快速核对而不是只看结论;对低置信或异常的情况做视觉区分,把注意力引到需要看的那几条;记录确认行为本身,包括修改率 —— 如果修改率长期接近零,要么是 AI 确实很准,要么是没人在真看,这两者要区分开。
给人留下接管的路径
无论自动化程度多高,都要有一个明确的转人工入口,并且触发条件要宽松。用户明确表达不满、连续两次没有解决问题、涉及投诉或金额争议,都应当直接转人工而不是继续尝试。
转交时要把上下文一并带过去。让用户把问题重说一遍,是转人工体验最差的一种实现,也会让前面的自动化白做。
分工会随时间调整
运行一段时间后,用实际数据重新评估:哪些环节的人工修改率很低,可以放宽;哪些环节出过问题,要收紧。把这件事做成定期复核,而不是上线时定死。相关设计可参考AI 智能体解决方案,流程安排见合作流程。
常见问题
哪些环节不能交给 AI 自动完成?
错误代价高或不可逆的环节:付款、签约、删除数据、对外做出承诺。AI 可以提供信息辅助判断,但动作本身应由人执行。这一判断与模型准确率无关,因为小概率乘以严重后果仍然不可接受。
加了人工确认就安全了吗?
不一定。当 AI 建议大多数时候正确时,确认很容易退化为机械点击。要让确认真正起作用,需要同时展示 AI 的依据以便快速核对、对低置信与异常情况做视觉区分,并记录修改率作为监控指标。
转人工应该什么时候触发?
条件宜宽不宜严:用户明确表达不满、连续两次未解决问题、涉及投诉或金额争议时都应直接转人工。转交时必须带上完整上下文,让用户重新描述一遍是体验最差的实现方式。
参考资料
- AI Risk Management Framework · NIST
- 生成式人工智能服务管理暂行办法 · 国家互联网信息办公室