目录
BotPsy是一个在本地运行特定用途助手工作流的有力选择。据Tether AI Research称,这款拥有8亿参数的模型在6项工具使用基准测试中的5项上超越了作为对照的2B模型。它值得用于尝试常规工具调用,但从搜索表现和安全性评分来看,还不能让它不受限制地自主运行。
要点#
- 据报告,BotPsy专注于函数调用,在全部6项受评估的智能体基准测试中均超越了基础模型Qwen3.5-0.8B。
- 它在其中5项上超越了Qwen3.5-2B-Think,但在通用知识方面明显落后。
- 本地推理可以让模型处理留在自己的硬件内,但数据的发送目的地也取决于所连接的工具。
- 公告提到了safetensors和GGUF格式。是否可下载、许可条款以及在所用设备上的性能仍需确认。
BotPsy能做什么#
BotPsy于2026年11月11日发布,是在Qwen3.5-0.8B基础上进一步训练、用于选择工具和指定参数的模型。预期任务包括更新日历、文档操作、客户支持和设备控制等。
区分“选择行动”和“知道答案”有助于理解它的定位。BotPsy可以通过连接的服务获取信息或执行任务,但需要应用程序提供工具、管理权限并执行调用。仅有模型权重并不能构成完整的个人助手。
可以先从查找日历空闲时段、获取订单状态、起草待确认消息等范围明确的任务入手。它远不适合自由度较高的研究任务。
分数说明了什么#
研究团队报告了以下结果,评分范围为0~100。数值越高,性能越好。
| 基准测试 | BotPsy 0.8B | 基础模型 0.8B | Qwen3.5 2B | |---|---:|---:|---:| | BFCL v4 | 44.0 | 23.4 | 37.7 | | ACEBench | 58.7 | 30.1 | 55.4 | | τ-bench | 51.5 | 23.2 | 46.5 | | ToolSandbox | 64.6 | 30.5 | 41.2 | | BrowseComp-Plus | 4.5 | 1.9 | 2.8 | | Claw-Eval | 46.5 | 39.3 | 48.9 |
这些是开发方针对选定对照模型报告的数值,并非对其广泛优势的独立验证。从实用角度看,最有力的依据是它在结构化工作流中的改进。在BFCL多轮评估中,分数从基础模型的7.5提升至BotPsy的46.1。
分数的绝对值也很重要。即使在BrowseComp-Plus中位居对照模型之首,4.5的分数仍表明它在高难度研究任务上表现较弱。同样,在按用途划分的报告中,简单场景的综合得分为75,复杂场景则仅为39.5。一次调用成功,并不意味着能够可靠地自动完成一整套流程。
训练方法#
BotPsy按顺序分4个阶段训练。在监督微调阶段,它学习工具使用对话,其中也包括不应调用工具的示例。随后,通过多教师在策略蒸馏,使用3个专门化的Qwen3.5-4B教师模型,改善工具使用、推理和指令遵循能力。
之后进行两阶段强化学习。第一阶段侧重工具调用,工具名称、参数名称和参数值正确时均可获得部分分数。第二阶段将范围扩展至数学、代码、结构化输出和模拟业务操作等可验证任务。
这一训练流程应对了具体的权衡问题。早期的工具专项训练降低了知识和指令遵循得分,后续阶段则使其恢复。最终IFEval得分达到90.8,高于基础模型的59.7。这一结果支持在严格输出要求下进行试用,但不能证明它在长对话中也能保持可靠。
部署前的检查事项#
公告提到了bf16、Q8和Q4版本,并表示将为QVAC SDK和llama.cpp提供safetensors及GGUF文件。不过,关于发布的表述中也使用了将来时,因此需要确认所需文件是否已可获取。实际许可也需核实:正文提到了Apache 2.0,同时又将其描述为用于研究和教育用途。
参数少并不意味着能在智能手机上实用运行。公布的结果没有提供各设备的延迟、峰值内存占用、电池消耗或量化导致的质量下降数据。推理token较少说明效率可能提高,但不代表已在硬件实测中实现加速。
安全性也是部署时的限制因素。团队报告称,在自动红队测试中,21%的测试出现了不安全响应;在提示注入攻击下,这一比例为31%。应限制工具权限,将获取的内容视为不可信,并要求在发送消息、付款和删除文件前进行确认。此外,本地推理也无法阻止搜索或邮件工具向外部发送数据。
下一步#
在启用真实账户访问之前,先在目标设备的沙箱环境中测试20个代表性任务,记录工具参数的准确性、任务完成情况、延迟以及未经授权的操作尝试。
来源: https://huggingface.co/blog/qvac/botpsy
目录
