目录

使用 Jev,可以更轻松地将智能体的小型判断从大型 LLM 中拆分出来,交由代码或专用模型处理。设计的重点将从“使用哪个 LLM”转向“如何拆分判断并安全地实现自动化”。

要点#

  • Jev 是面向根据输入状态返回带类型的判断结果这一用途的模型,而非侧重文本生成。
  • 将工具选择、重试判断等简短判断从大型 LLM 中拆分出来,有望降低延迟和成本。
  • 不应仅凭 Jev 的输出授权操作,而应通过策略或代码检查权限。
  • 引入时,先通过影子模式(Shadow Mode)与现有判断对照,观察错误和置信度的趋势,再实现自动化。

将判断分配给代码、Jev 和 LLM#

智能体运行时,除了复杂推理,还会反复进行“使用哪个工具”“是否重试”“是否向人类确认”等简短判断。如果每次都交给大型 LLM,处理时间和成本就会不断累积。

分工原则很简单:能明确确定的事情交给常规代码;存在歧义但范围较小的判断交给 Jev;需要综合多种信息的复杂推理交给大型 LLM。正如 TypeSafe 用“smart if-statements”来描述的那样,Jev 是填补代码与 LLM 之间空白的一种选择。

在前置阶段缩小工具选择范围#

可用工具增多后,每次都将所有候选工具传给 LLM 的架构会变得难以管理。如果先用 Jev 筛选候选项,再由 LLM 做最终判断,就能缩小 LLM 需要考虑的范围。

首先只拆出一个类似 which_tool() 的判断,通过 Jev 的 Choice 选择候选项。测量路由准确率和处理时间,确认效果后再扩大应用范围,这样更容易追踪变更的影响。

结合策略保障安全#

对于文件改写、Shell 命令、外部 API 调用等操作,设计上不应仅凭 Jev 的判断就予以授权。收到 Jev 的输出和置信度后,由 Harness 侧的策略检查权限和操作内容,不符合条件时向人类确认。

例如,作为开始验证时的临时标准,可以设置为:置信度达到 0.95 时自动处理,达到 0.70 但低于 0.95 时进行额外检查,低于 0.70 时向人类确认。这些数值并非可以直接采用的标准。需要在实际任务中测量置信度与准确率的对应关系,再调整阈值。

通过影子模式对照判断#

不要一开始就让 Jev 的判断影响实际执行,而是在现有规则或负责人处理任务的同时,让 Jev 在后台判断相同案例。积累结果后,就能分析错误类型,以及置信度与准确率之间的关系。

引入时,先选择一个目标判断,记录现有判断和 Jev 的输出。收集到足够的评估数据后,在保留需要人工确认的案例的同时,确定可以自动处理的范围。影子模式并非 Jev 特有的功能,而是将新判断模型投入生产环境时的通用做法。

下一步#

梳理智能体内的判断,从 which_tool() 或 should_retry() 中选择一个。通过影子模式对照现有结果与 Jev 的输出,确认准确率与置信度的关系后,再确定策略允许的范围。

来源: https://note.com/npaka/n/ne4547ea3c6f5

目录