目录
如果要快速、低成本地筛选大量条目,适合用 Jev;如果要结合背景知识进行综合评价,或用文字说明理由,则适合用大模型评委。在一项涉及 150 个项目的对比中,Jev 和 Claude Fable 选出的前 10 名有 5 个重合。
要点#
- Jev 每百万输入 token 收费 0.042 美元,不收取输出费用,实测响应时间约为 300 毫秒。
- 从同样的 150 个项目中选出的前 10 名,Jev 与 Fable 有 5 个重合,其他 Claude 模型与 Fable 有 6~7 个重合。
- Jev 适合判断文本中写明的事实,不适合需要背景知识或综合判断的任务。
- 大模型的“置信度”是通过文字自报的,而 Jev 返回的是经过校准、可用于设置阈值的概率。
- 先用 Jev 缩小候选范围,再用大模型评估剩余项目,实测可在 9 秒内完成 150 个项目的初筛,费用为 0.01 美元。
对比揭示的各自优势#
Jev 适合范围明确的判断,例如文章中是否包含某个事实、消息是否要求转账。它返回的是有明确类型的答案,以及各选项的概率。有了用于判断的数值,就可以设置诸如概率在 0.4~0.6 之间时暂缓判断的处理规则。
大模型评委擅长结合多个条件进行比较,以及撰写评价理由。对于“这个设计好吗”这类评价标准模糊的问题,或需要文本之外的背景知识的问题,更适合用大模型。不过,生成的“置信度”未必是经过校准的概率。
如何评估 150 个项目#
实验以 150 个 Jev 相关项目为对象,让 Jev 和 Claude Fable 等大模型评委选出前 10 名。只向 Jev 提供各项目的文本,提出 8 个确认特定信息是否存在的问题,并从其他角度进行交叉核验。判断结果的加权和排名由代码完成。
比较排名靠前的候选项目时,让 Jev 对项目进行两两比较,再颠倒卡片顺序重新提问。这是因为 Jev 在两两比较时,平均会给第二张卡片高出 0.14 的评价。即使调整了比较条件,与 Fable 重合的项目仍只有 5 个。
如何解读这些数字#
评估全部 150 个项目的整套流程中,Jev 调用了 530 次,费用约为 0.027 美元,耗时 30 秒。Claude Fable 的费用约为 0.95 美元,耗时 105 秒。其他 Claude 模型与 Fable 选出的前 10 名有 6~7 个重合,各个 Claude 模型之间也存在差异。
这种差异并不能靠改进 Jev 的提问方式来消除。Jev 容易识别 README 中写明的测量值和阈值,而 Fable 会评估项目在生态系统中的意义。如果文本没有写明后者,Jev 就没有判断依据。前 10 名的重合程度也只是这 150 个项目的结果,不能直接套用于所有筛选任务。
如何决定分工#
按以下顺序思考,更容易决定交给哪一方。
- 只阅读眼前的文本,能否按字面意思作答?如果可以,就适合用 Jev。
- 是否要重复同一种判断数千次、数万次?频率越高,Jev 的低成本和短响应时间就越有价值。
- 是否希望设置阈值,或暂缓判断?如果要通过数值控制,就适合用 Jev。
- 是否需要背景知识、多项标准之间的权衡,或评价理由?如果需要,就交给大模型评委。
“这条消息是否要求转账”适合交给 Jev,而“这个方案总体上是否最好”适合交给大模型。计数、计算、处理日期、多步推理等任务,也属于难以交给 Jev 的领域。
分两阶段使用#
如果想控制成本,可以先用 Jev 对候选项目进行大范围筛选,再让大模型只评估通过筛选的条目。实验中的初筛处理了 150 个项目,费用为 0.01 美元,耗时 9 秒。这提供了一种减少大模型通读全部项目所需费用和时间的方法。
另一种方法是让大模型一次性制定评价规则,再将后续的重复判断交给 Jev。制定规则时利用大模型的判断能力,日常检查则利用 Jev 的概率和低调用费用。正式采用前,请用自己的文本和判断标准评估一小批样本,确认准确度。
下一步#
选择一个实际想要自动化处理的问题,确认答案是否仅由文本内的信息决定,然后用 Jev 尝试小规模判断。
来源:https://jevbooks.com/zh/jev-vs-llm-judge/
目录
