目录
Strands Decider 2B是一款拥有20亿参数的开源模型,它不生成文本,而是从选项中选择答案。它可以在本地CPU或GPU上运行,适合以低延迟尝试工具选择、输入检查等判断任务。
要点#
- 拥有20亿参数,便于在本地环境中尝试运行和进一步训练。
- 返回各选项的分数和置信度,也能高效处理针对同一输入的多个问题。
- 在JevBench公开测试集中,位列33个2B级模型中的第3名;排除参数量略超2B的模型后,位列30个模型中的第1名。
- 本地测量的延迟中位数约为115ms,M3 MacBook上执行小型任务约为153ms。
- 它不负责聊天、摘要或复杂推理,而是用于辅助完成固定的判断任务。
这款模型能做什么#
一般的LLM会自由生成文本。Decider则从预先提供的候选项中选出一个,或回答二选一的问题。例如,将咨询分配给“billing”“sales”或“retail”的分类任务。
它在返回答案的同时,也会返回各候选项的分数,因此除了选择结果,还能处理对该判断的信任程度。由于它被设计为必须从选项中作答,因此很容易集成到输出格式受限的处理流程中。
相应地,它无法自由撰写文本,不适合代码生成、文档摘要或对话。它也不擅长分步骤思考难题,因此,与其把它看作LLM的替代品,不如将其视为承担智能体部分判断任务的模型。
2B模型的工作原理#
模型以Qwen3.5-2B为基础,移除了用于生成文本的LM head,并添加了一个为候选项打分的小型pointer head。pointer head的参数量略超100万,基础模型本体则通过rank-16的LoRA adapter进行进一步训练。
公开版本为v19。这一版本是在早期采用slot head的方案上持续改进而来的,仓库中也记录了各版本的变更。训练数据和训练脚本同样已公开,因此除了运行推理,还可以研究模型的构建方式或自行训练。
准确率与速度参考#
公开评估使用JevBench公开测试集,检验准确率和置信度校准情况。Decider 2B在33个2B级模型中排名第3,排除参数量略超2B的模型后,在30个模型中排名第1。据报告,它在该基准的简单任务上达到了100%的正确率,但这只是基准测试结果,不代表在实际业务数据上也能达到相同精度。
耗时随任务规模增大而大致线性增长。在Nvidia RTX 3090上测得的延迟中位数约为115ms,在M3 MacBook上执行小型任务约为153ms。两者均为发布方的本地测量值,结果会因设备、输入长度和实现方式而变化。最稳妥的做法是在部署环境中重新测量。
先用CLI试一试#
如果已有Python环境,可以先安装CLI,运行一道简短的选择题。
pip install strands-decider
strands-decider ask StrandsAgents/strands-decider-2B-hobson-v19 \
--state "3日間、支払いが失敗しています。" \
--choice "担当チームは?=billing,sales,retail"输出包含选中的候选项、confidence以及各候选项的分数。示例中选中了billing,confidence为0.768,候选项分数分别为billing 0.845、retail 0.091、sales 0.064。confidence和候选项分数是显示中的两个不同值,在实际处理时应先确认各自的含义。
潜在用途包括模型路由、工具选择、评估、安全护栏,以及记忆和上下文管理。如果将复杂判断交给LLM,只把固定模式的判断交给Decider,就有可能降低延迟和成本。
集成到智能体时的注意事项#
Strands示例会在执行工具前用Decider进行检查。示例中的智能体被问到天气时,会倾向于推测地点并调用工具,而Decider会判断“参数是否有用户发言作为依据”“在确认前调用是否为时过早”。如果用户没有提供地点,就会阻止调用,并向用户确认。
作为小型演示,该示例中的问题、阈值和策略均由手动设置。实际部署时,应根据误判的影响设计问题和判断标准,并用真实数据验证准确率与置信度。不要仅凭模型分数就授权执行重要操作,必要时还应加入确认机制。
下一步#
先安装CLI,准备少量贴近自身用途的选择题,在本地环境中检查答案、分数和处理时间。
来源: https://strandsagents.com/blog/introducing-strands-decider/
目录
