目录
XYBench表明,即使回答中包含更好的解决方案,AI助手仍往往会助长用户的错误做法。对于评估助手的团队,切实的启示是:应衡量回答是否将有用的解决方案作为核心建议。
要点#
- XYBench收录了8,115道问题,用于检验助手能否回应不当请求背后的目标。
- 在Stack Overflow问题中,受评模型侧重实际目标的回答仅占35〜41%。
- 明确用户目标后,部分结果有所改善,但纠正错误前提的表现并未持续改善。
- 评估应同时考察是否包含有用建议,以及这些建议受到多大重视。
请求有时会掩盖问题#
假设用户因为纸杯蛋糕上的糖霜不断滑落,询问如何让糖霜更硬。用户想要的处理方法是让糖霜变硬。但如果纸杯蛋糕还温热,真正有用的建议就是先让蛋糕冷却。
这就是XY问题:一个人想实现X,认定方法Y行得通,于是就Y寻求帮助。即使针对Y给出了技术上正确的回答,也可能浪费时间,或强化导致问题的错误认知。
XYBench检验助手能否识别这种偏差,并调整建议的方向。这个基准由Ai2与卡内基梅隆大学、NVIDIA和约翰斯·霍普金斯大学的研究人员共同开发,评估的是实际效用:回答能否引导用户找到符合其真正目标的解决方案。
基准衡量什么#
该数据集结合了1,557个Stack Overflow问题、184个Stack Exchange问题、102个人工精选案例,以及从WikiHow指南生成的6,272个问题。每个案例都区分了明确提出的请求与可从上下文推断的实际目标。
XYBench从多个独立角度为回答评分:是否分别包含针对请求和目标的解决方案,更侧重哪一方,以及是否在不推荐或避开错误做法的同时,引导用户转向其他方向。
这种区分很重要。助手可能用几个段落建议购买吸力更强的吸尘器,随后才简短提及检查软管是否堵塞。虽然包含了有用的建议,回答仍将用户的大部分注意力引向可能并不必要的购买。如果只根据是否包含建议评分,就会忽略这一缺陷。
模型的不足之处#
主要评估针对Claude Sonnet 4.6、GPT-5、Gemini 3.1 Pro、Qwen3.5-9B和DeepSeek-V4 Pro,逐一检验了各模型对每道问题的一次回答。在全部四个数据来源中,所有模型包含针对明确请求的解决方案的频率,都高于包含针对实际目标的解决方案的频率。
在Stack Overflow上,75〜86%的回答包含针对明确请求的解决方案,而包含针对实际目标的解决方案的比例为59〜71%。主要侧重实际目标的回答占35〜41%,侧重明确请求的占47〜57%。其余回答对两者的重视程度相当。
另一项回答选择测试揭示了另一种差距。当研究人员提供按字面回应请求的回答和侧重目标的回答时,上述五个模型及GPT-4.1在71〜84%的Stack Overflow案例中选择了侧重目标的选项。识别更好的建议,比围绕它组织回答更容易。
仅仅知道目标还不够#
在补充实验中,研究人员同时提供了明确提出的请求和预期目标。Sonnet 4.6在Stack Overflow上包含针对实际目标的解决方案的比例从59%升至67%。但识别出错误认知的比例从47%降至34%。
这一结果揭示了简单处理方法的局限。明确目标有时能让助手更容易给出相关建议,却不一定会让它质疑无效的做法。在所有具有人类参考回答的数据来源中,本次实验的全部模型在识别错误认知方面仍逊于人类。
测试提示词或训练方法变更的团队,应分别对这些结果评分。既要检查是否包含有效的解决方案,也要检查回答是否将其作为推荐采取的做法。不能将一项指标的改善报告为两项均有改善。
需要注意的局限#
XYBench的大部分问题是使用Sonnet 4.5从WikiHow指南生成的。因此,该基准混合了公开论坛问题和合成问题,不应将总体结果直接视为客户对话中失败率的估计值。
自动评估也使用了Sonnet 4.5。两名人类评估者独立评估了500条回答,平均一致率在是否包含解决方案上为97.5〜100%,在识别错误认知上为84.6〜93.3%,在侧重点上为74.2〜79.8%。与回答优先级最相关的区分,判定一致性也最低。
评估对象是英文问题,主要涉及操作步骤,且仅限一轮问答。它并未展示助手通过多轮交流澄清模糊目标的能力。此外,也不应将引导用户转向其他方向作为一律适用的规则。推断出的目标必须得到问题上下文的支持。
下一步#
让助手回答XYBench中的50道问题,并人工检查每条回答是否将针对实际目标的解决方案作为核心建议。将这次审查作为修改提示词或训练方法前的基准。
来源: https://huggingface.co/blog/allenai/xybench
目录
