业务助手可以回答问题而不修改任何记录。AI Agent 还可能选择下一步、调用工具或协调跨系统工作。只有在改善实际流程并保持授权范围时,这种能力才有意义。吸引人的对话界面不足以证明业务价值。

对印尼企业而言,需要判断哪些工作因语言变化或信息缺失而难以仅用固定规则自动化。例如根据客户消息准备服务工单、收集采购审核材料,或检查文档包是否完整。

以下示例描述可能的设计,并非 Angkasa 已部署案例或测量过的客户成果。每种方案都需要适当接口、访问权限及组织自己的验收标准。

区分 Agent 与预定义工作流

Anthropic 区分预设执行路径的工作流,以及动态选择过程和工具的 Agent。这有助于根据任务需要决定灵活性。

请求分类可能只需要一次模型调用再由普通软件路由;文档审核可以采用固定的提取、验证和审批顺序;开放调查则可能需要选择多个信息来源。增加自主性应解决明确限制,因为它也会增加需要测试与监督的执行路径。

选择有用变化与明确终点的任务

从触发条件到可验证结果梳理任务。完整工单草稿、缺失材料清单或带依据的答案,比笼统的“改善运营”更容易定义完成及失败。目标应能被使用者和审核人员共同判断。

评估输入变化频率、判断需求及错误后果。带少量语言差异的重复流程可能只需有限模型辅助;涉及模糊商业承诺的流程需要有权人员解决不确定性。自主程度与商业价值是不同问题,不能直接画等号。

示例:准备服务工单,不自动作出客户承诺

假设一家分销商收到订单延迟消息。受控助手可以识别订单编号、读取获准状态、检查批准的升级规则,并为服务团队准备工单。员工在发送前查看原始消息、找到的信息和建议回复。

设计应覆盖没有编号、匹配多个订单或客户要求赔偿的情况。系统应澄清或升级,而非虚构状态或自行批准付款。价值来自减少信息搜集并改善审核交接,并不意味着每条客户消息都能自动解决。

将工具设计为范围狭窄、可检查的能力

为每项工具明确目的、输入、返回字段、权限边界和错误处理。查询订单摘要比接受任意数据库查询更容易约束。标识与操作需要在应用中验证,执行时应落实用户真实权限。

区分建议操作与已执行操作。需要审批时,保留准确的获批内容,并拒绝使审批失效的变更。对可重试写操作使用操作标识,避免网络超时导致重复业务动作。这些是应用职责,不能仅依靠提示词。

把检索内容当作信息,而非授权来源

OWASP 将提示注入描述为使模型偏离预期行为的输入。客户消息、附件或检索网页可能包含不应被执行的指令。

权限检查与操作限制必须独立于模型。上传文档中的指令不能授权访问其他客户文件。验证工具参数、减少不必要上下文,并在测试中加入误导内容。检索到一个段落,也不能证明它是最新或已批准的。

让人工审核具备实际可用性

审核界面应展示建议操作、相关证据、可能修改的字段及未解决的不确定性。缺少背景的审批按钮容易形成形式化审核。对于有重要后果的决定,修改和拒绝应与批准一样清楚易用。

明确不同操作的审批人及其不在岗时的转派方式,分别记录审批和执行结果。如果获批操作执行失败,重试应保留授权意图,同时重新检查有关条件,例如记录是否已发生变化。

评估完整任务路径与失败情况

Agent 可能在读取错误记录或调用未授权工具后,仍给出看似合理的答案。需要评估中间操作与最终输出,并准备缺失信息、冲突记录、工具不可用、超时、重复请求以及正确停止或升级的案例。

指标可以包括被接受的任务完成、错误工具选择、未授权操作尝试、额外审核投入和成功任务成本。按任务类别报告结果,避免整体均值掩盖高后果情境中的问题,并为发布决定保留独立测试集。

  • 检查是否取回正确的信息。
  • 确认每次工具调用均在授权范围内。
  • 测试重试与部分完成,防止重复动作。
  • 核实未解决案例能否到达正确审核人。

限制成本、响应时间与执行步数

为任务规定最大步数、工具调用次数和耗时,并说明达到上限时用户收到什么。带有用背景的升级,比反复搜索、重试或索取相同信息更可控。

统计模型、工具、基础设施、人工审核及事件处理的完整成本。用同一任务集与更简单的工作流比较。更大模型或更复杂架构可能增加成本而不改善验收结果,应在观察到具体限制后再增加复杂性。

逐步引入自主操作

从只读检索或草稿准备开始,再在评估和运营条件支持时加入受审核操作。限制初期用户范围,观察人员如何处理纠正、异常和交接。工具、提示、模型或文档来源变化后,应进行相称的回归检查。

当团队能够解释系统对目标任务为何可靠时,再扩展部署。Agent 无需掌控每一步也能创造价值。稳定准备完整、有依据交接材料的有限系统,可能比缺乏可靠边界的全自动尝试更有用。

我们的观点

AI Agent 的价值取决于可检查任务、有用灵活性及明确应用控制。选择满足流程需要的最简单架构,测试从输入到验收的完整路径,并让重要决定处于清晰的人工授权之下。

参考资料与延伸背景

继续阅读