人机协作怎么分工:哪些环节必须留人

全自动不是目标。本文按错误代价和可逆性划分环节,说明哪些该由 AI 直接完成、哪些要人确认、哪些根本不该交给 AI。

要点速览
  • 按错误代价与可逆性划分环节,比讨论能不能全自动更有用。
  • 不可逆动作不应交给 AI 决定,这与模型准确率高低无关。
  • 确认按钮很容易变成机械点击,必须展示依据并对异常情况做视觉区分。
  • 修改率长期接近零时要区分:是 AI 确实准,还是没人在真看。
  • 转人工的触发条件要宽松,且必须带上下文,不能让用户重说一遍。

「能不能全自动」是 AI 项目里最常被问的问题。更有用的问法是:这个环节出错的代价是什么、能不能撤销。按这两个维度划分,分工就清楚了,而且不依赖对模型能力的乐观估计。

三类环节

  • 错误代价低且可逆:AI 直接做。例如给咨询分类、生成草稿、整理会议纪要。错了改一下就行;
  • 代价中等或不易撤销:AI 做,人确认后生效。例如对外回复、工单派发、合同要点摘录;
  • 代价高或不可逆:不交给 AI 决定。例如付款、签约、删除数据、对外承诺。AI 可以提供信息辅助判断,但动作由人执行。

这个划分与模型强弱无关。即使模型准确率很高,不可逆动作的错误代价也不会因此降低 —— 百分之一的概率乘以一个严重后果,仍然是不可接受的。

人工确认最容易流于形式

加一个确认按钮很容易,但如果 AI 的建议绝大多数时候是对的,人会很快变成机械点击,确认环节就名存实亡。这种状态下系统看起来有人把关,实际上没有。

几条让确认真正发生作用的做法:把 AI 的依据一并展示出来,让人能快速核对而不是只看结论;对低置信或异常的情况做视觉区分,把注意力引到需要看的那几条;记录确认行为本身,包括修改率 —— 如果修改率长期接近零,要么是 AI 确实很准,要么是没人在真看,这两者要区分开。

给人留下接管的路径

无论自动化程度多高,都要有一个明确的转人工入口,并且触发条件要宽松。用户明确表达不满、连续两次没有解决问题、涉及投诉或金额争议,都应当直接转人工而不是继续尝试。

转交时要把上下文一并带过去。让用户把问题重说一遍,是转人工体验最差的一种实现,也会让前面的自动化白做。

分工会随时间调整

运行一段时间后,用实际数据重新评估:哪些环节的人工修改率很低,可以放宽;哪些环节出过问题,要收紧。把这件事做成定期复核,而不是上线时定死。相关设计可参考AI 智能体解决方案,流程安排见合作流程。

常见问题

哪些环节不能交给 AI 自动完成?

错误代价高或不可逆的环节:付款、签约、删除数据、对外做出承诺。AI 可以提供信息辅助判断,但动作本身应由人执行。这一判断与模型准确率无关,因为小概率乘以严重后果仍然不可接受。

加了人工确认就安全了吗?

不一定。当 AI 建议大多数时候正确时,确认很容易退化为机械点击。要让确认真正起作用,需要同时展示 AI 的依据以便快速核对、对低置信与异常情况做视觉区分,并记录修改率作为监控指标。

转人工应该什么时候触发?

条件宜宽不宜严:用户明确表达不满、连续两次未解决问题、涉及投诉或金额争议时都应直接转人工。转交时必须带上完整上下文,让用户重新描述一遍是体验最差的实现方式。

参考资料

  1. AI Risk Management Framework · NIST
  2. 生成式人工智能服务管理暂行办法 · 国家互联网信息办公室
# 人机协作# AI 智能体# 流程设计# 风险控制
免费咨询

聊聊你的项目

留下联系方式,我们一个工作日内联系你。先沟通需求和现状,再给方案;报价当面沟通。

  • 一个工作日内回复
  • 需求沟通免费,不强推方案
  • 交付管理后台与文档,可自行维护
仅用于本次咨询联系,不会用于其他用途。