目录
Open ASR Leaderboard 新增针对埃及口音和尼日利亚口音英语的非公开测试,共增加了 2.89 小时的自然对话。在为标准评测未充分覆盖的口音用户选择语音识别模型时,这些测试能提供更相关的判断依据。
要点#
- Liva AI 的两个非公开数据集新增了 1.34 小时的埃及英语和 1.55 小时的尼日利亚英语。
- 两者均收录自然对话语音,转写保留了标点、大小写区分和言语停顿等特征。
- Private 标签页现可对比美国和美国以外的评测结果,并显示按卡奇鲁“同心三圈”模型划分的口音类别。
- 这些测试扩大了评测覆盖范围,但各团队仍需验证模型在自身用户和录音条件下的表现。
新测试的覆盖对象#
此次更新于 2026 年 11 月 6 日公布,新增了 Liva AI 提供的两个数据集。
| 数据集 | 口音 | 时长 | 说话风格 | |---|---|---:|---| | Liva AI Conversational EG | 埃及英语 | 1.34 小时 | 自然对话 | | Liva AI Conversational NG | 尼日利亚英语 | 1.55 小时 | 自然对话 |
这些测试针对带有口音的英语,并非评测阿拉伯语或尼日利亚的其他语言。在判断结果是否适用于产品时,这一区别很重要。
参考转写除保留标点和大小写区分外,还包含言语停顿等特征。在与其他基准测试比较分数之前,请先确认其转写和评分规则。转写方式或归一化处理的差异可能影响比较。
为何按口音进行非公开测试很重要#
语音识别的综合得分高,并不意味着在所有口音上都表现一致。对于面向埃及英语或尼日利亚英语使用者的服务,各自说话人群体的评测结果比单看综合得分更有用。
非公开评测数据也有助于减少针对公开基准样本直接优化的空间。此次新增测试通过引入未使用过的评测数据和另一家数据提供方,旨在同时提升代表性与可信度。
因此,这些评测类别可为模型选型提供有用依据,但不能保证生产环境中的准确率。其价值在于揭示整体平均值难以体现的性能差异。
如何解读分类结果#
排行榜的 Private 标签页提供两种口音比较。第一种比较美国英语与美国以外的英语,后者包括英国、澳大利亚、加拿大、印度、尼日利亚和埃及。
第二种比较遵循卡奇鲁的“同心三圈”模型。
- 内圈:美国、英国、澳大利亚、加拿大。
- 外圈与扩展圈的合并类别:印度、尼日利亚、埃及。
公告称,未来随着口音种类增加,外圈和扩展圈将分开展示。目前,请将这一合并类别视为粗略概览。如果产品面向特定说话人群体,应尽可能查看各口音的单独结果。分组得分可能掩盖组内说话人群体之间的差异。
选型前应确认的事项#
新增数据集的总时长仍不足 3 小时。虽然评测覆盖范围有所扩大,但仅凭这些数据,无法判断模型在这两个市场的所有说话人群体、话题、设备和声学环境中的表现。
所提供的公告未列出模型得分或最佳模型名称,也缺乏足够细节来评估说话人的多样性。若声称某个系统最适合埃及英语或尼日利亚英语,仍需通过实际排行榜结果和评测资料加以验证。
请利用新结果缩小候选范围,再验证剩余候选模型是否满足产品要求。
- 分别查看埃及英语和尼日利亚英语的评测结果,不要只依赖综合排名。
- 在跨基准比较结果前,阅读评分和归一化规则。
- 使用能代表目标用户的语音进行测试,并涵盖实际会遇到的录音条件。
- 在比较识别质量的同时,评估应用可接受的延迟和成本。
下一步#
打开 Open ASR Leaderboard 的 Private 标签页,在埃及英语和尼日利亚英语评测类别中,对比当前使用的语音识别模型与一个备选模型,并分别记录结果。
来源: https://huggingface.co/blog/open-asr-leaderboard-liva
目录
